Python请求与PyCurl性能

Question

请求库如何与PyCurl性能相比较？

我的理解是Requests是urllib的python包装器，而PyCurl是libcurl的python包装器，它是本地的，所以PyCurl应该获得更好的性能，但不知道多少。

我找不到任何比较基准。

Answer 1

I wrote you a full benchmark，使用gUnicorn支持一个简单的瓶应用/ meinheld + nginx的（性能和HTTPS），看到需要多长时间才能完成10,000个请求。 AWS在一对卸载的c4.large实例上运行测试，并且服务器实例不受CPU限制。

TL; DR摘要：如果您正在进行大量网络连接，请使用PyCurl，否则请使用请求。 PyCurl可以按照请求的速度快速完成2x-3x的请求，直到达到大请求的带宽限制（这里大约为520 MB或65 MB/s），并使用3x至10x的CPU功耗。这些数字比较了连接池行为相同的情况;默认情况下，PyCurl使用连接池和DNS缓存，而请求没有，所以一个天真的实现将会慢10倍。

注意，双对数曲线仅用于从下面的图中，由于幅度所涉及的订单

• pycurl需要大约73 CPU微秒发出请求重用连接
• 请求大约需要526 CPU微秒发出请求重用连接
• pycurl大约需要165 CPU微秒至打开时，当新的连接和发出请求（无连接复用），或〜92微秒打开
• 请求大约需要 CPU微秒至打开一个新的连接和发出请求（无连接复用），或〜 552微秒打开

Full results are in the link，以及基准方法和系统配置。

注意事项：虽然我不厌其烦地保证结果科学地收集，这只是一个测试系统类型和一个操作系统，性能有限的子集，尤其是HTTPS选项。

Answer 2

首先，requests构建在urllib3 library的顶部，stdlib urllib或urllib2库根本不被使用。

在性能上比较requests与pycurl毫无意义。 pycurl可能使用C代码进行工作，但与所有网络编程一样，执行速度在很大程度上取决于将您的机器与目标服务器分开的网络。而且，目标服务器的响应速度可能会很慢。

最后，requests有一个更友好的API可供使用，并且您会发现使用这个友好的API可以提高工作效率。

Answer 3

集中于大小 -

1. 在我的Mac书航8GB的RAM和512GB固态硬盘，以3千字节第二进来一个100MB的文件（从互联网和WiFi），pycurl， curl和请求库的get函数（不管分块还是流）都几乎相同。

2. 在一个较小的Quad core Intel Linux box与4GB的RAM，通过本地主机（从Apache在同一个盒子），对于1GB文件，curl和pycurl比'请求'库快2.5倍。对于请求分块和流式传输可以提高10％（大于50,000的块大小）。

我想我不得不换请求出去pycurl，但不能使我做不会有客户端和服务器关闭应用程序。