Dask groupby MemoryError：

Question

我有超过1B记录的Parquet文件。 我试图运行与下面的语句groupby：

dfg = df[['col1','col2','col3']].groupby(['col1','col2']]).count().compute() 

我用下面的配置的client运行。
client = distributed.Client(set_as_default=True)

我得到一个MemoryError:

我应该用不同的客户端配置运行？

我与核心独立的工作站上运行：24，内存：123 GB

BTW - 最后我需要保存count回到原来的df作为新列。

有什么建议吗？我应该在数据库中运行groupby而不是Dask？

Answer 1

您正在进行的操作，groupby(...).count()应该在少量空间中完成。

我看到的唯一可能是你的分区可能非常大，所以一次有24个分区存在问题？

对不起，我不能在这里更有帮助。