我可以一次下载多个线程的速度很快,但问题是,几分钟后它会逐渐减慢到几乎完全停止,我不知道为什么。我的代码没有什么问题,我可以看到,而且我的RAM/CPU很好。我唯一能想到的就是urllib2没有正确处理大量的连接。如果有帮助,我使用代理服务器,但是我没有这个问题。有没有人对此问题有任何建议或见解?谢谢!Python多线程与Urllib2问题
3
A
回答
3
您是否确定在没有python的情况下同时进行下载的次数会继续快速下载?也许这个问题不在你的代码中,而是你的连接受到限制或者服务于这些文件的网站。
如果这不是问题,您可以尝试使用pyprocessing库来实现多进程版本而不是多线程版本。如果您使用的是python 2.6,则该分发包含的分步处理为multiprocessing。将线程代码转换为多进程代码非常容易,因此如果只是为了确认问题是否与线程有关,那么值得一试。
1
与其他答案一样,该问题可能与您的连接或提供文件的站点有关。如果你可以在本地运行测试服务器的代码,那么你将能够消除这种情况。
如果使用测试服务器时问题消失,则问题出在您的连接或远程服务器上。
如果使用测试服务器时问题仍然存在,那么它最像是代码中的某些东西,但是至少会有服务器日志让您更深入地了解正在发生的事情。
至于另一种可以探索的途径,this thread建议使用httplib2而不是urllib2。
相关问题
- 1. python多线程问题
- 2. FMDB与多线程问题
- 3. Python线程或与sqlite3和matplotlib多线程问题
- 4. Python urllib2解析html问题
- 5. Python线程问题
- 6. Python线程问题
- 7. java编程和java单线程多线程问题(单线程与多线程)
- 8. Python中的time.sleep和多线程问题
- 9. Python多线程基本问题
- 10. python多线程问题在cronjob
- 11. python,COM和多线程问题
- 12. 基本python多线程问题
- 13. 多线程PHP与多线程Python
- 14. 与Python的urllib2
- 15. 多线程问题
- 16. 多线程问题
- 17. 多线程问题
- 18. 多线程问题
- 19. 多线程问题
- 20. 多线程问题
- 21. 多线程问题
- 22. 多线程问题
- 23. urllib2和线程
- 24. 问题与线程
- 25. 多线程问题与HttpClient的
- 26. WPF定制BalloonTips问题与多线程
- 27. NSFetchedResultsController/CoreData与多个线程问题
- 28. 问题与GCD和太多的线程
- 29. Python问题与多个循环和线程
- 30. Python套接字与多线程同步问题