我有两个pandas数据帧,它们有一些共同的行。
假设dataframe2是DataFrame1的子集。
如何获取不在DataFrame2中的dataframe1的行?
df1 = pandas.DataFrame(data = {'col1' : [1, 2, 3, 4, 5], 'col2' : [10, 11, 12, 13, 14]})
df2 = pandas.DataFrame(data = {'col1' : [1, 2, 3], 'col2' : [10, 11, 12]})
一种方法是将内部合并的结果存储在两个dfs中,然后我们可以简单地选择行,当一个列的值不是这样的:
In [119]:
common = df1.merge(df2,on=['col1','col2'])
print(common)
df1[(~df1.col1.isin(common.col1))&(~df1.col2.isin(common.col2))]
col1 col2
0 1 10
1 2 11
2 3 12
Out[119]:
col1 col2
3 4 13
4 5 14
编辑
您已经发现的另一种方法是使用isin
,它将生成可以删除的nan
行:
In [138]:
df1[~df1.isin(df2)].dropna()
Out[138]:
col1 col2
3 4 13
4 5 14
但是,如果df2没有以相同的方式启动行,那么这将不起作用:
df2 = pd.DataFrame(data = {'col1' : [2, 3,4], 'col2' : [11, 12,13]})
将产生整个DF:
In [140]:
df1[~df1.isin(df2)].dropna()
Out[140]:
col1 col2
0 1 10
1 2 11
2 3 12
3 4 13
4 5 14
当前选择的解决方案产生不正确的结果。 为了正确解决这个问题,我们可以执行从DF1
到DF2
的左联接,确保首先只获取DF2
的唯一行。
首先,我们需要修改原始数据框架,以添加带有数据[3,10]的行。
df1 = pd.DataFrame(data = {'col1' : [1, 2, 3, 4, 5, 3],
'col2' : [10, 11, 12, 13, 14, 10]})
df2 = pd.DataFrame(data = {'col1' : [1, 2, 3],
'col2' : [10, 11, 12]})
df1
col1 col2
0 1 10
1 2 11
2 3 12
3 4 13
4 5 14
5 3 10
df2
col1 col2
0 1 10
1 2 11
2 3 12
执行左联接,消除DF2
中的重复项,以便DF1
的每一行正好与DF2
的一行联接。 使用参数indicator
返回一个额外的列,指示该行来自哪个表。
df_all = df1.merge(df2.drop_duplicates(), on=['col1','col2'],
how='left', indicator=True)
df_all
col1 col2 _merge
0 1 10 both
1 2 11 both
2 3 12 both
3 4 13 left_only
4 5 14 left_only
5 3 10 left_only
创建布尔条件:
df_all['_merge'] == 'left_only'
0 False
1 False
2 False
3 True
4 True
5 True
Name: _merge, dtype: bool
少数解决方案犯了同样的错误--它们只检查每个值在每列中是独立的,而不是一起在同一行中。 添加最后一行(它是唯一的,但包含DF2
中两列的值)会暴露错误:
common = df1.merge(df2,on=['col1','col2'])
(~df1.col1.isin(common.col1))&(~df1.col2.isin(common.col2))
0 False
1 False
2 False
3 True
4 True
5 False
dtype: bool
此解决方案得到同样的错误结果:
df1.isin(df2.to_dict('l')).all(1)
假设索引在数据帧中是一致的(不考虑实际的col值):
df1[~df1.index.isin(df2.index)]