比如这个网站：http://news.sohu.com/1/0903/61/subject212846158.shtml 分页是调用js然后跳转，如果不处理爬虫只能爬一页信息，如何实现全部爬取？使用java语言~~
第1个回答 2019-06-22
这个比较简单,我看他的url有规律,所以比好弄
第2个回答 2018-07-18
你解决了吗 能告诉一下怎么解决的吗
第3个回答 2014-08-20
这个问题你解决了吗？能否交流一下，我也在做这个...
第4个回答 2013-03-09
爬虫可以全部把网页信息下载下来，你是想得到js中的链接？追问
自己写爬虫，如果分页直接是url那就能全爬下来，但如果是调用js代码，就无法直接爬到此页之外的其他页~想办法通过调用js等方法得到其他页的url，但是不会弄~~
追答嗯？首先 提供一个home page ，你通过这个网址获取到该网页的所有内容，然后你在对该网页的内容进行处理，也就是说，你提取出来该网页中的所有链接，然后把这些链接放入一个未访问的链表中去，然后再对未访问链表进行逐个遍历，然后采用相同的方式，再获取内容，再解析、、、
本回答被网友采纳第5个回答 2013-03-08
有很多 是AJAX的，客户端没解析JS的功能，别想全解决这样的问题
