通过丢弃缺失的元素

Question

问题

冷凝熊猫数据帧我有一个数据帧，看起来像这样：

Key Var ID_1 Var_1 ID_2 Var_2 ID_3 Var_3 
1 True 1.0 True NaN NaN 5.0 True 
2 True NaN NaN  4.0 False 7.0 True 
3 False 2.0 False 5.0 True NaN NaN 

每一行有数据的恰好2非空集（ID/VAR），其余三分之一保证为空。我想要做的是通过删除缺少的元素来“浓缩”数据框。

所需的输出

Key Var  First_ID First_Var Second_ID Second_Var 
1 True 1   True  5   True 
2 True 4   False  7   True 
3 False 2   False  5   True 

的顺序不是重要的，只要该ID /无功对被保持。

---

目前的解决方案

下面是我有一个有效的解决方案：

import pandas as pd 
import numpy as np 

data = pd.DataFrame({'Key': [1, 2, 3], 'Var': [True, True, False], 'ID_1':[1, np.NaN, 2], 
        'Var_1': [True, np.NaN, False], 'ID_2': [np.NaN, 4, 5], 'Var_2': [np.NaN, False, True], 
        'ID_3': [5, 7, np.NaN], 'Var_3': [True, True, np.NaN]}) 

sorted_columns = ['Key', 'Var', 'ID_1', 'Var_1', 'ID_2', 'Var_2', 'ID_3', 'Var_3'] 
data = data[sorted_columns] 

output = np.empty(shape=[data.shape[0], 6], dtype=str) 

for i, *row in data.itertuples(): 
    output[i] = [element for element in row if np.isfinite(element)] 

print(output) 


[['1' 'T' '1' 'T' '5' 'T'] 
['2' 'T' '4' 'F' '7' 'T'] 
['3' 'F' '2' 'F' '5' 'T']] 

这是可以接受的，但不理想。我可以生活在没有列名的地方，但我最大的问题是不得不将数据内的数据转换为字符串，以避免我的布尔转换为数字。

还有其他解决方案在保存数据方面做得更好吗？如果结果是熊猫数据框，则为奖励点。

Answer 1

有一个简单的解决方案即推的NaN向右拖放上轴1.即

所述的NaN

ndf = data.apply(lambda x : sorted(x,key=pd.isnull),1).dropna(1) 

输出：

 
    Key Var ID_1 Var_1 ID_2 Var_2 
0 1 True 1 True 5 True 
1 2 True 4 False 7 True 
2 3 False 2 False 5 True 

希望它能帮助。

从Divakar here一个numpy的解决方案为10X速度即

def mask_app(a): 
    out = np.full(a.shape,np.nan,dtype=a.dtype) 
    mask = ~np.isnan(a.astype(float)) 
    out[np.sort(mask,1)[:,::-1]] = a[mask] 
    return out 

ndf = pd.DataFrame(mask_app(data.values),columns=data.columns).dropna(1) 

 
    Key Var ID_1 Var_1 ID_2 Var_2 
0 1 True 1 True 5 True 
1 2 True 4 False 7 True 
2 3 False 2 False 5 True