Python的大熊猫只有比较相同标记的数据框对象

Question

我尝试了所有的解决方案在这里： Pandas "Can only compare identically-labeled DataFrame objects" error

并没有为我工作。这是我得到的。我有两个数据帧。一种是系统中已经存在的一组财务数据，另一套是可能存在或可能不存在于系统中的一组财务数据。我需要找到差异并添加不存在的东西。

下面是代码：

import pandas as pd 
import numpy as np 
from azure.storage.blob import AppendBlobService, PublicAccess, ContentSettings 
from io import StringIO 

dataUrl = "http://ichart.finance.yahoo.com/table.csv?s=MSFT" 
blobUrlBase = "https://pyjobs.blob.core.windows.net/" 
data = pd.read_csv(dataUrl) 

abs = AppendBlobService(account_name='pyjobs', account_key='***') 
abs.create_container("stocks", public_access = PublicAccess.Container) 
abs.append_blob_from_text('stocks', 'msft', data[:25].to_csv(index=False)) 
existing = pd.read_csv(StringIO(abs.get_blob_to_text('stocks', 'msft').content)) 

ne = (data != existing).any(1) 

失败的代码是最后一行。我正在阅读一篇关于确定数据帧之间差异的文章。

我检查了所有列上的dtypes，它们看起来是相同的。我也做了一个并排输出，我排序轴，指数，下降指数等仍然得到那个血腥的错误。

这是现有的第一行数据

>>> existing[:1] 
     Date  Open High Low Close Volume Adj Close 
0 2016-05-27 51.919998 52.32 51.77 52.32 17653700  52.32 
>>> data[:1] 
     Date  Open High Low Close Volume Adj Close 
0 2016-05-27 51.919998 52.32 51.77 52.32 17653700  52.32 

这里的输出是确切的错误我收到：

>>> ne = (data != existing).any(1) 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
    File "C:\Anaconda3\lib\site-packages\pandas\core\ops.py", line 1169, in f 
    return self._compare_frame(other, func, str_rep) 
    File "C:\Anaconda3\lib\site-packages\pandas\core\frame.py", line 3571, in _compare_frame 
    raise ValueError('Can only compare identically-labeled ' 
ValueError: Can only compare identically-labeled DataFrame objects 

Answer 1

为了解决这个问题，你要比较的底层numpy阵列。

import pandas as pd 

df1 = pd.DataFrame([[1, 2], [3, 4]], columns=['A', 'B'], index=['One', 'Two']) 
df2 = pd.DataFrame([[1, 2], [3, 4]], columns=['a', 'b'], index=['one', 'two']) 


df1.values == df2.values 

array([[ True, True], 
     [ True, True]], dtype=bool) 

Answer 2

用一些假数据复制以实现删除重复项的最终目标。请注意，这不是原始问题的答案，但答案是我试图做什么导致了这个问题。

b = pd.DataFrame({'A': ['A4', 'A5', 'A6', 'A7'], 
        'B': ['B4', 'B5', 'B6', 'B7'], 
        'C': ['C4', 'C5', 'C6', 'C7'], 
        'D': ['D4', 'D5', 'D6', 'D7']}, 
        index=[4, 5, 6, 7]) 


c = pd.DataFrame({'A': ['A7', 'A8', 'A9', 'A10', 'A11'], 
        'A': ['A7', 'A8', 'A9', 'A10', 'A11'], 
        'B': ['B7', 'B8', 'B9', 'B10', 'B11'], 
        'C': ['C7', 'C8', 'C9', 'C10', 'C11'], 
        'D': ['D7', 'D8', 'D9', 'D10', 'D11']}, 
        index=[7, 8, 9, 10, 11]) 

result = pd.concat([b,c]) 
idx = np.unique(result["A"], return_index=True)[1] 
result.iloc[idx].sort() 

Answer 3

如果要比较2个数据帧。使用诸如.eq（），.nq（），gt（）等方法检查Pandas中的灵活比较...>等于，不等于或大于等于。

实施例：

df['new_col'] = df.gt(df_1)

http://pandas.pydata.org/pandas-docs/stable/basics.html#flexible-comparisons