如题所述
爬虫本质上不需要分布式。因为你要爬一个网站通常5-10个线程足够了,再多就是对网站压力测试了。
你只需要将任务分配到不同的机器上,然后各运行各自己的,结果合并一下就可以。 这个与nutch人map, reduse也没有什么差别。只是手工分,手工合并。当然也可以用脚本分,脚本合并,脚本远程启动。有一个远程控制模块,似乎叫rpy。很简单,很容易上手。可以远程控制一个模块。
数据库用postgresql不是很好。因为爬行结果放在关系型数据库里太吃力。特别是网页内容。通常是URL放在redis里。 内容放在文件系统里,你可以用hadoop+hdfs+thrift方案放在hadoop里。
如果使用了hadoop,就干脆模仿nutch的流程,把python脚本也交给hadoop去管理好了。
至于控制与通信这个都让hadoop来处理好了。
当然我个人觉着rpy方式更简单。 里面控制与通信都是现成的。10分钟就学会了。
还是回到原来的说法,大部分情况下,单机多线程跑爬虫足够用了。 不需要分布式。而且效率甚至比分布式更高。
你只需要将任务分配到不同的机器上,然后各运行各自己的,结果合并一下就可以。 这个与nutch人map, reduse也没有什么差别。只是手工分,手工合并。当然也可以用脚本分,脚本合并,脚本远程启动。有一个远程控制模块,似乎叫rpy。很简单,很容易上手。可以远程控制一个模块。
数据库用postgresql不是很好。因为爬行结果放在关系型数据库里太吃力。特别是网页内容。通常是URL放在redis里。 内容放在文件系统里,你可以用hadoop+hdfs+thrift方案放在hadoop里。
如果使用了hadoop,就干脆模仿nutch的流程,把python脚本也交给hadoop去管理好了。
至于控制与通信这个都让hadoop来处理好了。
当然我个人觉着rpy方式更简单。 里面控制与通信都是现成的。10分钟就学会了。
还是回到原来的说法,大部分情况下,单机多线程跑爬虫足够用了。 不需要分布式。而且效率甚至比分布式更高。
温馨提示:答案为网友推荐,仅供参考