python中DataFrame数据合并merge()和concat()方法详解
更新时间：2022年07月05日 08:38:26 作者：侯小啾
Pandas提供了很多合并Series和Dataframe的强大的功能，通过这些功能可以方便的进行数据分析,下面这篇文章主要给大家介绍了关于python中DataFrame数据合并merge()和concat()方法的相关资料,需要的朋友可以参考下
merge()
1.常规合并
①方法1
指定一个参照列，以该列为准，合并其他列。
import pandas as pd
df1 = pd.DataFrame({'id': ['001', '002', '003'],
'num1': [120, 101, 104],
'num2': [110, 102, 121],
'num3': [105, 120, 113]})
df2 = pd.DataFrame({'id': ['001', '002', '003'],
'num4': [80, 86, 79]})
print(df1)
print("=======================================")
print(df2)
print("=======================================")
df_merge = pd.merge(df1, df2, on='id')
print(df_merge)
②方法2
要实现该合并，也可以通过索引来合并，即以index列为基准。将left_index 和 right_index 都设置为True
即可。（left_index 和 right_index 都默认为False，left_index表示左表以左表数据的index为基准， right_index表示右表以右表数据的index为基准。）
import pandas as pd
df1 = pd.DataFrame({'id': ['001', '002', '003'],
'num1': [120, 101, 104],
'num2': [110, 102, 121],
'num3': [105, 120, 113]})
df2 = pd.DataFrame({'id': ['001', '002', '003'],
'num4': [80, 86, 79]})
print(df1)
print("=======================================")
print(df2)
print("=======================================")
df_merge = pd.merge(df1, df2, left_index=True, right_index=True)
print(df_merge)
相比方法①，区别在于，如图，方法②合并出的数据中有重复列。
重要参数
pd.merge(right,how=‘inner’, on=“None”, left_on=“None”, right_on=“None”, left_index=False, right_index=False )
| 参数 | 描述 |
|---|---|
| left | 左表，合并对象，DataFrame或Series |
| right | 右表，合并对象，DataFrame或Series |
| how | 合并方式，可以是left(左合并), right(右合并), outer(外合并), inner(内合并) |
| on | 基准列 的列名 |
| left_on | 左表基准列列名 |
| right_on | 右表基准列列名 |
| left_index | 左列是否以index为基准，默认False，否 |
| right_index | 右列是否以index为基准，默认False，否 |
其中，left_index与right_index 不能与 on 同时指定。
合并方式 left right outer inner
准备数据‘
新准备一组数据:
import pandas as pd
df1 = pd.DataFrame({'id': ['001', '002', '003'],
'num1': [120, 101, 104],
'num2': [110, 102, 121],
'num3': [105, 120, 113]})
df2 = pd.DataFrame({'id': ['001', '004', '003'],
'num4': [80, 86, 79]})
print(df1)
print("=======================================")
print(df2)
print("=======================================")
inner（默认）
使用来自两个数据集的键的交集
df_merge = pd.merge(df1, df2, on='id') print(df_merge)
outer
使用来自两个数据集的键的并集
df_merge = pd.merge(df1, df2, on='id', how="outer") print(df_merge)
left
使用来自左数据集的键
df_merge = pd.merge(df1, df2, on='id', how='left') print(df_merge)
right
使用来自右数据集的键
df_merge = pd.merge(df1, df2, on='id', how='right') print(df_merge)
2.多对一合并
import pandas as pd
df1 = pd.DataFrame({'id': ['001', '002', '003'],
'num1': [120, 101, 104],
'num2': [110, 102, 121],
'num3': [105, 120, 113]})
df2 = pd.DataFrame({'id': ['001', '001', '003'],
'num4': [80, 86, 79]})
print(df1)
print("=======================================")
print(df2)
print("=======================================")
如图，df2中有重复id1的数据。
合并
df_merge = pd.merge(df1, df2, on='id') print(df_merge)
合并结果如图所示：
依然按照默认的Inner方式，使用来自两个数据集的键的交集。且重复的键的行会在合并结果中体现为多行。
3.多对多合并
如图表1和表2中都存在多行id重复的。
import pandas as pd
df1 = pd.DataFrame({'id': ['001', '002', '002', '002', '003'],
'num1': [120, 101, 104, 114, 123],
'num2': [110, 102, 121, 113, 126],
'num3': [105, 120, 113, 124, 128]})
df2 = pd.DataFrame({'id': ['001', '001', '002', '003', '001'],
'num4': [80, 86, 79, 88, 93]})
print(df1)
print("=======================================")
print(df2)
print("=======================================")
df_merge = pd.merge(df1, df2, on='id') print(df_merge)
concat()
pd.concat(objs, axis=0, join=‘outer’, ignore_index:bool=False,keys=None,levels=None,names=None, verify_integrity:bool=False,sort:bool=False,copy:bool=True)
| 参数 | 描述 |
|---|---|
| objs | Series，DataFrame或Panel对象的序列或映射 |
| axis | 默认为0，表示列。如果为1则表示行。 |
| join | 默认为"outer"，也可以为"inner" |
| ignore_index | 默认为False，表示保留索引（不忽略）。设为True则表示忽略索引。 |
其他重要参数通过实例说明。
1.相同字段的表首位相连
首先准备三组DataFrame数据：
import pandas as pd
df1 = pd.DataFrame({'id': ['001', '002', '003'],
'num1': [120, 114, 123],
'num2': [110, 102, 121],
'num3': [113, 124, 128]})
df2 = pd.DataFrame({'id': ['004', '005'],
'num1': [120, 101],
'num2': [113, 126],
'num3': [105, 128]})
df3 = pd.DataFrame({'id': ['007', '008', '009'],
'num1': [120, 101, 125],
'num2': [113, 126, 163],
'num3': [105, 128, 114]})
print(df1)
print("=======================================")
print(df2)
print("=======================================")
print(df3)
合并
dfs = [df1, df2, df3] result = pd.concat(dfs) print(result)
如果想要在合并后，标记一下数据都来自于哪张表或者数据的某类别，则也可以给concat加上 参数keys 。
result = pd.concat(dfs, keys=['table1', 'table2', 'table3']) print(result)
此时，添加的keys与原来的index组成元组，共同成为新的index。
print(result.index)
2.横向表合并（行对齐）
准备两组DataFrame数据：
import pandas as pd
df1 = pd.DataFrame({'num1': [120, 114, 123],
'num2': [110, 102, 121],
'num3': [113, 124, 128]}, index=['001', '002', '003'])
df2 = pd.DataFrame({'num3': [117, 120, 101, 126],
'num5': [113, 125, 126, 133],
'num6': [105, 130, 128, 128]}, index=['002', '003', '004', '005'])
print(df1)
print("=======================================")
print(df2)
当axis为默认值0时：
result = pd.concat([df1, df2]) print(result)
横向合并需要将axis设置为1 ：
result = pd.concat([df1, df2], axis=1) print(result)
对比以上输出差异。
- axis=0时，即默认纵向合并时，如果出现重复的行，则会同时体现在结果中
- axis=1时，即横向合并时，如果出现重复的列，则会同时体现在结果中。
3.交叉合并
result = pd.concat([df1, df2], axis=1, join='inner') print(result)
总结
到此这篇关于python中DataFrame数据合并merge()和concat()方法的文章就介绍到这了,更多相关python数据合并merge()和concat()方法内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
在本篇内容中小编给各位分享了关于python集合的作用以及相关实例内容，需要的朋友们可以学习参考下。2020-07-07
本文主要介绍了numpy.sum()坐标轴问题的解决，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-03-03
这篇文章主要介绍了django使用channels实现通信的示例，帮助大家更好的理解和学习django框架，感兴趣的朋友可以了解下2020-10-10
使用pycallgraph分析python代码函数调用流程以及框架解析
这篇文章主要介绍了使用pycallgraph分析python代码函数调用流程以及框架解析,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-03-03
turtle库是Python语言中一个很流行的绘制图像的函数库，想象一个小乌龟,它根据一组函数指令的控制，在这个平面坐标系中移动，从而在它爬行的路径上绘制了图形,需要的朋友可以参考下2023-04-04
这篇文章主要介绍了Python函数装饰器原理与用法,结合实例形式详细分析了Python装饰器的原理、功能、分类、常见操作技巧与使用注意事项,需要的朋友可以参考下2019-08-08
这篇文章主要为大家详细介绍了python实现批量提取指定文件夹下同类型文件，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-04-04
这篇文章主要介绍了Python线上环境如何优雅地使用日志，本文通过示例给大家分析对比了与 print 相比 logging 有什么优势,需要的朋友可以参考下2019-07-07
这篇文章主要介绍了Pycharm中Python环境配置常见问题,结合图文形式分析了Pycharm中Python环境配置模块路径问题、虚拟环境创建、配置远程服务器、连接数据库等常见问题与操作方法,需要的朋友可以参考下2020-01-01
Python内置函数之filter map reduce介绍
Python内置了一些非常有趣、有用的函数，如：filter、map、reduce，都是对一个集合进行处理，filter很容易理解用于过滤，map用于映射，reduce用于归并. 是Python列表方法的三架马车2014-11-11
最新评论