我有两个熊猫数据帧,它们有一些相同的行。

假设dataframe2是dataframe1的子集。

我怎么能得到dataframe1的行不在dataframe2?

df1 = pandas.DataFrame(data = {'col1' : [1, 2, 3, 4, 5], 'col2' : [10, 11, 12, 13, 14]}) 
df2 = pandas.DataFrame(data = {'col1' : [1, 2, 3], 'col2' : [10, 11, 12]})

df1

   col1  col2
0     1    10
1     2    11
2     3    12
3     4    13
4     5    14

df2

   col1  col2
0     1    10
1     2    11
2     3    12

预期结果:

   col1  col2
3     4    13
4     5    14

当前回答

你也可以concat df1, df2:

x = pd.concat([df1, df2])

然后删除所有重复项:

y = x.drop_duplicates(keep=False, inplace=False)

其他回答

你也可以concat df1, df2:

x = pd.concat([df1, df2])

然后删除所有重复项:

y = x.drop_duplicates(keep=False, inplace=False)

有点晚了,但可能值得检查pd.merge的“indicator”参数。

请看另一个问题的例子: 比较PandaS数据框架并返回第一个数据框架中缺少的行

假设你有两个数据框架,df_1和df_2有多个字段(column_names),你想在df_1中找到那些不在df_2中的条目。Fields_x, fields_y),执行以下步骤。

步骤1。将列key1和key2分别添加到df_1和df_2中。

步骤2。合并数据帧,如下所示。Field_x和field_y是我们想要的列。

步骤3。只选择df_1中key1不等于key2的行。

第四。删除key1和key2。

这种方法将解决你的问题,即使有大数据集也能快速工作。我已经尝试了超过1,000,000行的数据框架。

df_1['key1'] = 1
df_2['key2'] = 1
df_1 = pd.merge(df_1, df_2, on=['field_x', 'field_y'], how = 'left')
df_1 = df_1[~(df_1.key2 == df_1.key1)]
df_1 = df_1.drop(['key1','key2'], axis=1)

我这样做的方法包括添加一个新的列,该列对一个数据框架是唯一的,并使用它来选择是否保留一个条目

df2[col3] = 1
df1 = pd.merge(df_1, df_2, on=['field_x', 'field_y'], how = 'outer')
df1['Empt'].fillna(0, inplace=True)

这使得df1中的每个条目都有一个代码-如果它对df1是唯一的,则为0,如果它在两个数据框架中都是1。然后使用它来限制您想要的内容

answer = nonuni[nonuni['Empt'] == 0]

pd。concat([df1, df2]).drop_duplicate (keep=False)将两个dataframe连接在一起,然后删除所有重复的数据,只保留唯一的行。默认情况下,它将保留第一次出现的副本,但设置keep=False将删除所有副本。

请记住,如果您需要比较具有不同名称的列的dataframe,那么在连接数据aframe之前,必须确保列具有相同的名称。

此外,如果数据框架的列顺序不同,也会影响最终结果。