使用非缺失数据填充熊猫数据框中两列的缺失数据

Question

我有一个3列的熊猫数据框。

data = data[['id','foo','bar']] 

约1％的数据集foo和bar都丢失，但没有id。我打算用非零的foo和bar随机对进行估算。假设id永远不为null，并且foo和bar都为null或者都为非null。

Answer 1

你是否想要做类似的事情？

import pandas as pd 
import numpy as np 
index = range(10) 
df = pd.DataFrame(np.random.randn(10,2), index=index, columns=['foo','bar']) 
df['foo'].iloc[0:4] = np.nan 

invalid = df['foo'].isnull() 
nInvalid = df[invalid].shape[0] 
valids = df['foo'][-invalid] 
nValid = valids.shape[0] 
randomInst = np.random.randint(0,nValid,nInvalid) 
df['foo'].loc[invalid] = valids.iloc[randomInst].as_matrix() 

编辑适用于酒吧以及：

df['bar'].loc[invalid] = df['bar'][-invalid].iloc[randomInst].as_matrix() 

Answer 2

能

这个帮助你吗？

import pandas as pd 
data = pd.DataFrame(data) 
invalid_data = data[(data['foo'].isnull()) & (data['bar'].isnull())] 

Answer 3

假设“富”值丢失时，所述“酒吧”值也被缺失（按您的问题），并且所述列类型是浮点：

mask = df['foo'].isnull() 
df.loc[mask,['foo', 'bar']] = np.random.random((np.sum(mask), 2)) 

---

如果你想使用有效值从实际数据框本身（因为它们更能代表你的数据的取值范围），你可以改用以下：

df.loc[mask,['foo', 'bar']] = df[['foo', 'bar']][~mask].sample(np.sum(mask)).values 

（可能用replace=True作为sample方法的参数;当然也是np.random.random。）