1
我使用python编程，并使用美丽的汤来解析The History Channel's News Feed中的文章。到目前为止，我可以弄清楚如何从单个文章中获得文章文本，但我无法弄清楚如何从无限的feed中获取链接。我尝试插入RSS feed并使用feedparser，但只提供了20篇最新的文章。从无限大的网页获取所有文章链接？
有没有办法让我失去更多？ Pythonic方法首选！
A
回答
1
在引擎盖下，无限滚动通常是通过从可以直接从url访问的分页结果中注入记录来处理的。使用Postman Interceptor，您可以发现分页结果的url模式。
结果本页面的第二页是：http://www.history.com/api/html/news?sidebars=aetn_content&includejs=aetn_content&page=2
循环一翻和刮走！
相关问题
- 1. 从网页提取所有链接
- 2. Python无法从网页获取链接
- 3. Jsoup从页面获取所有链接
- 4. 无法获取网页中的所有链接 - Selenium
- 5. Python和硒 - 从网页获取所有链接
- 6. 获取文本中所有页面上的所有链接。
- 7. 获取页面上的所有链接
- 8. [JAVA]从网页获取HTML链接
- 9. 从python网页获取链接
- 10. 从网页获取所有HTTP网址
- 11. 如何获取特定网站中的所有页面链接？
- 12. 如何使用perl获取网页中的所有链接？
- 13. 获取链接到网页的所有CSS样式表
- 14. 使用Ruby获取网页的所有链接
- 15. 获取HTML网页上的所有链接
- 16. 如何从网站获取所有网站链接？
- 17. Schema.org微数据条文章页面上的所有链接到文章
- 18. 无法正确获取所有链接
- 19. 从页面抓取所有链接
- 20. 无法获取所有页面的链接
- 21. 从页面获取所有链接美丽的汤
- 22. 如何从DOM中的页面获取所有链接？
- 23. 获取具有图像/视频/文章链接的推文
- 24. 从网页获取所有链接和图像的最快方法？
- 25. 如何从网页上的所有嵌入式视频获取链接？
- 26. 从文章（脚本块页面）链接改变的链接
- 27. 从网站获取链接
- 28. 获取所有文章的标题
- 29. 我正在尝试从网站获取所有链接，并在所有链接上单击一个链接
- 30. 无头CMS：Wordpress Rest-API - 添加现有文章/页面的链接
非常感谢！ –