我有一个Ubuntu的笔记本电脑8 GB的RAM。而且也有一个2 GB CSV文件但是当我使用熊猫方法read_csv加载我的数据压头被完全填充,同时有7 GB RAM可用。 如何2 GB的文件填写7 GB的RAM?加载csv文件时出现内存错误?
回答
的原因,你得到这个low_memory警告,可能是因为猜测dtypes为每列是非常内存有较高要求。 Pandas试图通过分析每列中的数据来确定要设置的dtype。
在使用32bit系统的情况: 内存错误使用Windows的32位版本时,发生了很多与蟒蛇。这是因为默认情况下,32位进程只能获得2GB的内存。
试试这个:
tp = pd.read_csv('file_name.csv', header=None, chunksize=1000)
df = pd.concat(tp, ignore_index=True)
是。那是因为dtypes,我转换一些列DTYPE因为我是加载。谢谢。 –
好心给予好评和接受的答案,如果这有助于。 – harshil9968
我尝试过upvote,但没有公开显示,因为我的声望不到15;) –
尽量让chunksize参数的使用:
df = pd.concat((chunk for chunk in pd.read_csv('/path/to/file.csv', chunksize=10**4)),
ignore_index=True)
- 1. 将数据导出到csv文件时出现内存错误
- 2. 从Google云端存储加载csv文件时出现BigQuery错误
- 3. 加载文档时出现javascript错误
- 4. 尝试从资源文件加载jpeg时出现内存错误Delphi XE7/OSX
- 5. 加载'mingw-0.9.3-0'时出现“dos:内存分配错误”
- 6. 在CircularImageView中加载图像时出现内存不足错误
- 7. 将大型csv文件读入字典时出现内存错误
- 8. 加载远程内容时出现“错误#2032:流错误”
- 9. 将XML转换为CSV时出现内存不足错误
- 10. Weka加载CSV文件错误
- 11. 下载CSV文件时出错
- 12. 解析大文件时出现内存错误 - Python
- 13. 尝试读取90 MB EPUB文件时出现内存错误
- 14. 使用ByteArrayDataSource下载多部分文件时出现内存不足错误
- 15. Python:下载大文件时出现无法预知的内存错误
- 16. 文件加载时出错
- 17. 使用keras时出现内存错误
- 18. 访问ALAssetsLibrary时出现内存错误
- 19. 运行VBA时出现内存错误
- 20. 使用write.csv时出现内存错误
- 21. 调用gl.GenVertexArrays时出现内存错误
- 22. 在sparklyr中加载文件时出现Java错误
- 23. 加载mysqldump文件时出现sql语法错误
- 24. 加载JavaScript文件时出现错误502
- 25. 当在Matlab中加载文件.dat时出现错误
- 26. 从资产文件夹加载字体时出现Android错误
- 27. 加载文件时出现SSIS难以理解的错误
- 28. 加载一个TXT文件时出现JQuery Load()错误
- 29. 加载自定义.mbtiles文件时出现“无数据”错误
- 30. 加载图片时出现策略文件错误facebook
你能粘贴代码陪你的问题? –
这些线程可能是有用的http://stackoverflow.com/questions/19590966/memory-error-with-large-data-sets-for-pandas-concat-and-numpy-append http://stackoverflow.com/questions/17557074/memory-error-when-using-pandas-read-csv – Bharath