什么是流式传输大型CSV文件的最快方式？

Question

我将内置的csv阅读器与Pandas的read_csv进行了比较。前者显着较慢。但是，由于内存限制，我需要传输csv文件。什么流式csv阅读器与熊猫一样快或几乎一样快？

Answer 1

在pandas.read_csv您可以使用“CHUNKSIZE”选项，如果你这样做，通过大熊猫返回的对象将是（类型TextFileReader）迭代器，当遍历会返回一个数据帧阅读过NUMBER_OF_ROWS < = CHUNKSIZE（直到我阅读源代码时，我才意识到这个选项存在...）。