如何处理Python的内存不足

Question

我有我操纵的巨大字典。超过1000万字被散列。它太慢了，有一段时间内存不足。

有没有更好的方法来处理这些庞大的数据结构？

Answer 1

是的。它被称为数据库。由于字典为你工作（除了内存问题），我会假设一个SQLite数据库可以为你工作。你可以很容易地使用sqlite3，它有很好的文档记录。

当然，如果您可以将值表示为json之类的值或者愿意信任本地文件中的pickle数据，那么这只是一个很好的解决方案。也许你应该发布关于字典价值的细节。 （我假设键是单词，如果不是，请纠正我）

您可能还想看看不生成整个字典，只处理它的块。这在你的特定用例中可能并不实用（通常不适用于那些不幸使用字典的东西），但如果你能想到一种方法，重新设计你的算法以允许它可能是值得的。

Answer 2

我不确定你说的话是什么，但我想他们是相当大的结构，如果内存是一个问题。

我确实通过从Python 32位切换到Python 64位解决了Python MemoryError问题。事实上，一些Python结构对于4 GB地址空间已变得很大。您可能想尝试一下，作为解决您的问题的简单解决方案。