一种方法是在两个dfs中存储一个内部合并表单的结果，然后我们可以简单地选择当一列的值不在这个公共值时的行:

In [119]:

common = df1.merge(df2,on=['col1','col2'])
print(common)
df1[(~df1.col1.isin(common.col1))&(~df1.col2.isin(common.col2))]
   col1  col2
0     1    10
1     2    11
2     3    12
Out[119]:
   col1  col2
3     4    13
4     5    14

EDIT

你已经发现的另一个方法是使用isin，它会生成NaN行，你可以删除:

In [138]:

df1[~df1.isin(df2)].dropna()
Out[138]:
   col1  col2
3     4    13
4     5    14

然而，如果df2不以同样的方式开始行，那么这将不起作用:

df2 = pd.DataFrame(data = {'col1' : [2, 3,4], 'col2' : [11, 12,13]})

将产生整个df:

In [140]:

df1[~df1.isin(df2)].dropna()
Out[140]:
   col1  col2
0     1    10
1     2    11
2     3    12
3     4    13
4     5    14

pd。concat([df1, df2]).drop_duplicate (keep=False)将两个dataframe连接在一起，然后删除所有重复的数据，只保留唯一的行。默认情况下，它将保留第一次出现的副本，但设置keep=False将删除所有副本。

请记住，如果您需要比较具有不同名称的列的dataframe，那么在连接数据aframe之前，必须确保列具有相同的名称。

此外，如果数据框架的列顺序不同，也会影响最终结果。

这个怎么样:

df1 = pandas.DataFrame(data = {'col1' : [1, 2, 3, 4, 5], 
                               'col2' : [10, 11, 12, 13, 14]}) 
df2 = pandas.DataFrame(data = {'col1' : [1, 2, 3], 
                               'col2' : [10, 11, 12]})
records_df2 = set([tuple(row) for row in df2.values])
in_df2_mask = np.array([tuple(row) in records_df2 for row in df1.values])
result = df1[~in_df2_mask]

如前所述，isin要求列和索引必须相同才能进行匹配。如果match只适用于行内容，一种获取掩码的方法是将行转换为(Multi)Index:

In [77]: df1 = pandas.DataFrame(data = {'col1' : [1, 2, 3, 4, 5, 3], 'col2' : [10, 11, 12, 13, 14, 10]})
In [78]: df2 = pandas.DataFrame(data = {'col1' : [1, 3, 4], 'col2' : [10, 12, 13]})
In [79]: df1.loc[~df1.set_index(list(df1.columns)).index.isin(df2.set_index(list(df2.columns)).index)]
Out[79]:
   col1  col2
1     2    11
4     5    14
5     3    10

如果需要考虑索引，set_index有关键字参数append来将列追加到现有索引。如果列没有对齐，list(df.columns)可以替换为列规范以对齐数据。

pandas.MultiIndex.from_tuples(df<N>.to_records(index = False).tolist())

也可以用来创建指数，但我怀疑这是否更有效。

假设你有两个数据框架，df_1和df_2有多个字段(column_names)，你想在df_1中找到那些不在df_2中的条目。Fields_x, fields_y)，执行以下步骤。

步骤1。将列key1和key2分别添加到df_1和df_2中。

步骤2。合并数据帧，如下所示。Field_x和field_y是我们想要的列。

步骤3。只选择df_1中key1不等于key2的行。

第四。删除key1和key2。

这种方法将解决你的问题，即使有大数据集也能快速工作。我已经尝试了超过1,000,000行的数据框架。

df_1['key1'] = 1
df_2['key2'] = 1
df_1 = pd.merge(df_1, df_2, on=['field_x', 'field_y'], how = 'left')
df_1 = df_1[~(df_1.key2 == df_1.key1)]
df_1 = df_1.drop(['key1','key2'], axis=1)

我有一个简单的2步更简单的方法: 如OP所述，假设dataframe2是dataframe1的子集，两个dataframe中的列是相同的，

df1 = pd.DataFrame(data = {'col1' : [1, 2, 3, 4, 5, 3], 
                           'col2' : [10, 11, 12, 13, 14, 10]}) 
df2 = pd.DataFrame(data = {'col1' : [1, 2, 3],
                           'col2' : [10, 11, 12]})

### Step 1: just append the 2nd df at the end of the 1st df 
df_both = df1.append(df2)

### Step 2: drop rows which contain duplicates, Drop all duplicates.
df_dif = df_both.drop_duplicates(keep=False)

## mission accompliched!
df_dif
Out[20]: 
   col1  col2
3     4    13
4     5    14
5     3    10