熊猫和numpy线程安全

Question

我在网络服务器（apache + modwsgi + django）上使用pandas，并且有一个难以复制的bug，现在我发现它是由不是线程安全的熊猫引起的。

经过大量的代码缩减后，我终于找到了一个简短的独立程序，可以用来重现问题。你可以在下面看到它。

重点是：与this question的回答相反，这个例子表明即使非常简单的操作不会修改数据帧，熊猫也会崩溃。我无法想象这个简单的代码片断如何可能与线程不安全...

问题是关于在网络服务器中使用熊猫和numpy。可能吗？我应该如何使用熊猫来修复我的代码？ （锁的使用的一个例子将是有益的）

这里是使段错误的代码：

import threading 
import pandas as pd 
import numpy as np 

def let_crash(crash=True): 
    t = 0.02 * np.arange(100000) # ok con 10000                    
    data = pd.DataFrame({'t': t}) 
    if crash: 
     data['t'] * 1.5 # CRASH 
    else: 
     data['t'].values * 1.5 # THIS IS OK! 

if __name__ == '__main__': 
     threads = [] 
     for i in range(100): 
      if True: # asynchronous                       
       t = threading.Thread(target=let_crash, args =()) 
       t.daemon = True 
       t.start() 
       threads.append(t) 
      else: # synchronous                        
       let_crash() 
     for t in threads: 
      t.join() 

我的环境：蟒2.7.3，1.8.0 numpy的，熊猫0.13.1

Answer 1

请参阅此处的文档中的警告：http://pandas.pydata.org/pandas-docs/dev/gotchas.html#thread-safety

熊猫不是线程安全的，因为底层的复制机制不是。 Numpy我相信有一个原子复制操作，但熊猫有一个层以上。

复制是大熊猫操作的基础（如大多数操作产生一个新的对象返回给用户）

这是不平凡的解决这一问题，并会拿出一个相当沉重的PERF的成本因此将需要一点点正确处理这一问题的工作。

最简单的就是不要在线程之间共享对象或将它们锁定在使用状态。

Answer 2

将mod_wsgi配置为在单线程模式下运行。

WSGIDaemonProcess mysite processes=5 threads=1 
WSGIProcessGroup mysite 
WSGIApplicationGroup %{GLOBAL} 

在这种情况下，它使用的mod_wsgi daemon模式，这样的进程/线程可以独立于你使用任何的Apache MPM进行设置。