如何使用提交表单在入口处网页抓取？

Question

我一直想弄清楚如何webscrape此页：sick.com 我无法弄清楚。我一直在尝试Visual Web Ripper，但它没有通过提交表单，因为它不记得cookie。你有什么想法？ Sick.com可以提取数据，但他们懒得给我们提供数据库。

Answer 1

我对Visual Web Ripper不太熟悉，但听起来你只需要选择一个替代工具来跟踪你的cookies。有许多像scrapy和Mechanize这样的开源工具。我使用了屏幕刮板，它正在跟踪cookie。

也就是说，您也可以确保在使用Visual Web Ripper时，您在请求搜索结果之前请求初始搜索页面。也就是说，初始请求应该设置cookie，然后在做出后续请求时传播。