Webkit爬虫是否需要使用鱿鱼代理？

Question

我正在写一个使用webkit的爬虫，webkit缓存的东西吗？我是否需要使用squid作为我的基于webkit的爬行器的代理？

Answer 1

您使用的是QWebKit？ PyQt/PySide默认不使用磁盘缓存。您必须将QNetworkDiskCache对象设置为QNetworkManager才能启用缓存。

在webscraping库中查看webkit.py模块的源代码，它展示了如何在QWebkit中启用缓存。