Python如何爬取知乎一个话题下的全部源码?(为什么我只能获取很少一部分)

如题所述

手动打开知乎也只能看到很少一部分,必须下拉才会加载。所以要模拟这种动作吧。追问

可是为什么URL没有变化呢

知乎一个URL在网页可以浏览全部话题而且URL还没有变化,但是源码用UTF-8解析就是没有后面回答的内容

追答

这种网站太常见了。百度知道回答的不同阶段,内容也不一样,但问题网址还是不变的。内部实现机制我不是做网站的,但你应该听说过javascript,ajax啥的,背后在做一些post/get的动作。
要做好爬虫,最好有开发网站的经验。

追问

嗯嗯,谢谢!

温馨提示:答案为网友推荐,仅供参考

相关了解……

你可能感兴趣的内容

本站内容来自于网友发表,不代表本站立场,仅表示其个人看法,不对其真实性、正确性、有效性作任何的担保
相关事宜请发邮件给我们
© 非常风气网