非常风气网www.verywind.cn

linux主机如何禁用火车头采集器等爬虫蜘蛛程序？

很纠结啊
我意思是进制用户使用这类程序占用服务器的资源

第1个回答 2010-08-24

要是APACHE的话，在根目录下，加一个 ROBOT.TXT的文件
里面写上禁止爬虫访问的目录！

具体的可以上百度上GOOGLE一下！嘿嘿

第2个回答 2010-08-26

禁止采集ip

相关了解……

你可能感兴趣的内容

大家正在搜

如何在Linux服务器上限制蜘蛛的爬行

linux怎么样运行火车头

如何设置让网站禁止被爬虫收录？

怎么样阻止不友好的搜索引擎机器人蜘蛛爬虫

如何阻止百度baidu爬虫和谷歌蜘蛛抓取网站内容

linux下nginx如何启用网站日志，查看蜘蛛爬虫

Linux/Nginx如何查看搜索引擎蜘蛛爬虫的行为

本站内容来自于网友发表，不代表本站立场，仅表示其个人看法，不对其真实性、正确性、有效性作任何的担保
相关事宜请发邮件给我们 contact email
© 非常风气网