如何保存运行python程序的状态以便恢复以后

Question

我正在开发机器学习分析程序，它必须在linux中处理27GB的文本文件。虽然我的生产系统不会经常重新启动，但我需要在家庭计算机或开发环境中进行测试。

现在我经常停电，所以我很难连续运行3周。

我的程序读取文件，应用一些解析，将过滤的数据保存在字典中的新文件中，然后将这些算法应用于这些文件，然后将结果保存在mysqlDB中。

我无法找到如何保存算法状态。

Answer 1

我关于算法的状态都被保存在一个类中，你可以序列化类的保存到磁盘：http://docs.python.org/2/library/pickle.html

Answer 2

由于整个算法状态可以被保存在一个类中，你可能想使用pickle （如上所述），but pickle comes with it's own overloads and risks。

要获得更好的方法，您可能需要查看this article，这可以解释为什么您应该使用camel库而不是pickle。