要使用BeautifulSoup和urllib的哪个Python版本？

Question

我正在使用Python进行网络爬行。我在使用Python版本3时遇到了问题。所以我想知道哪个版本的Python适合于网页爬行。

Answer 1

我认为，转向Python 2.7肯定有反驳的理由。我没有理由想到，特别是对于网络爬行，你需要恢复到Python 2.7。

BeautifulSoup 4和lxml都完全移植到Python 3.5。

urllib在Python 3.5中完全可用。你应该知道在Python 2.7和Python 3.5中有urllib的differences in the implementation。

但是，我建议你使用Requests包而不是urllib。这里是一个post突出他们的一些差异。

如果您需要加载需要JavaScript的页面，Selenium也适用于Python 3.5。 Selenium也可以支持无头浏览（例如PhantomJS）。

另外，这里有一个来自Python的官方post，可以帮助你引导你的决定。

Answer 2

如果你选择安装的标准Python发行之一， 请确保您有Python的2.7.3或更高版本，但不使用Python 3.0或更高版本 ;这些版本当然是最前沿的版本，但是我们将使用的许多软件包还没有支持Python 3.X ，直到他们这样做，3.X并没有那么吸引人。对于一个好的 讨论Python 3.X的内容和不可用的内容，请参阅选择 Python版本。

得到了这个website，介绍和讨论了Python的网络cralling。我建议你接受他们的建议。我也经历过Python 2.7。*是目前应用程序使用其他软件包的最佳选择。