如题所述
手动打开知乎也只能看到很少一部分,必须下拉才会加载。所以要模拟这种动作吧。追问
可是为什么URL没有变化呢
知乎一个URL在网页可以浏览全部话题而且URL还没有变化,但是源码用UTF-8解析就是没有后面回答的内容
追答这种网站太常见了。百度知道回答的不同阶段,内容也不一样,但问题网址还是不变的。内部实现机制我不是做网站的,但你应该听说过javascript,ajax啥的,背后在做一些post/get的动作。
要做好爬虫,最好有开发网站的经验。
嗯嗯,谢谢!
温馨提示:答案为网友推荐,仅供参考