.Net Core导入千万级数据至Mysql的步骤
更新时间：2021年05月24日 10:46:03 作者：编程乐趣
最近在工作中，涉及到一个数据迁移功能，从一个txt文本文件导入到MySQL功能。数据迁移，在互联网企业可以说经常碰到，而且涉及到千万级、亿级的数据量是很常见的。今天我们就来谈谈MySQL怎么高性能插入千万级的数据。
前期准备
订单测试表
CREATE TABLE `trade` ( `id` VARCHAR(50) NULL DEFAULT NULL COLLATE 'utf8_unicode_ci', `trade_no` VARCHAR(50) NULL DEFAULT NULL COLLATE 'utf8_unicode_ci', UNIQUE INDEX `id` (`id`), INDEX `trade_no` (`trade_no`) ) COMMENT='订单' COLLATE='utf8_unicode_ci' ENGINE=InnoDB;
测试环境
操作系统：Window 10 专业版
CPU：Inter(R) Core(TM) i7-8650U CPU @1.90GHZ 2.11 GHZ
内存：16G
MySQL版本：5.7.26
实现方法：
1、单条数据插入
这是最普通的方式，通过循环一条一条的导入数据，这个方式的缺点很明显就是每一次都需要连接一次数据库。
实现代码：
//开始时间
var startTime = DateTime.Now;
using (var conn = new MySqlConnection(connsql))
{
conn.Open();
//插入10万数据
for (var i = 0; i < 100000; i++)
{
//插入
var sql = string.Format("insert into trade(id,trade_no) values('{0}','{1}');",
Guid.NewGuid().ToString(), "trade_" + (i + 1)
);
var sqlComm = new MySqlCommand();
sqlComm.Connection = conn;
sqlComm.CommandText = sql;
sqlComm.ExecuteNonQuery();
sqlComm.Dispose();
}
conn.Close();
}
//完成时间
var endTime = DateTime.Now;
//耗时
var spanTime = endTime - startTime;
Console.WriteLine("循环插入方式耗时：" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");
10万条测试耗时：
上面的例子，我们是批量导入10万条数据，需要连接10万次数据库。我们把SQL语句改为1000条拼接为1条，这样就能减少数据库连接，实现代码修改如下：
//开始时间
var startTime = DateTime.Now;
using (var conn = new MySqlConnection(connsql))
{
conn.Open();
//插入10万数据
var sql = new StringBuilder();
for (var i = 0; i < 100000; i++)
{
//插入
sql.AppendFormat("insert into trade(id,trade_no) values('{0}','{1}');",
Guid.NewGuid().ToString(), "trade_" + (i + 1)
);
//合并插入
if (i % 1000 == 999)
{
var sqlComm = new MySqlCommand();
sqlComm.Connection = conn;
sqlComm.CommandText = sql.ToString();
sqlComm.ExecuteNonQuery();
sqlComm.Dispose();
sql.Clear();
}
}
conn.Close();
}
//完成时间
var endTime = DateTime.Now;
//耗时
var spanTime = endTime - startTime;
Console.WriteLine("循环插入方式耗时：" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");
10万条测试耗时：
通过优化后，原本需要10万次连接数据库，只需连接100次。从最终运行效果看，由于数据库是在同一台服务器，不涉及网络传输，性能提升不明显。
2、合并数据插入
在MySQL同样也支持，通过合并数据来实现批量数据导入。实现代码：
//开始时间
var startTime = DateTime.Now;
using (var conn = new MySqlConnection(connsql))
{
conn.Open();
//插入10万数据
var sql = new StringBuilder();
for (var i = 0; i < 100000; i++)
{
if (i % 1000 == 0)
{
sql.Append("insert into trade(id,trade_no) values");
}
//拼接
sql.AppendFormat("('{0}','{1}'),", Guid.NewGuid().ToString(), "trade_" + (i + 1));
//一次性插入1000条
if (i % 1000 == 999)
{
var sqlComm = new MySqlCommand();
sqlComm.Connection = conn;
sqlComm.CommandText = sql.ToString().TrimEnd(',');
sqlComm.ExecuteNonQuery();
sqlComm.Dispose();
sql.Clear();
}
}
conn.Close();
}
//完成时间
var endTime = DateTime.Now;
//耗时
var spanTime = endTime - startTime;
Console.WriteLine("合并数据插入方式耗时：" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");
10万条测试耗时：
通过这种方式插入操作明显能够提高程序的插入效率。虽然第一种方法通过优化后，同样的可以减少数据库连接次数，但第二种方法：合并后日志量(MySQL的binlog和innodb的事务让日志)减少了，降低日志刷盘的数据量和频率，从而提高效率。同时也能减少SQL语句解析的次数，减少网络传输的IO。
3、MySqlBulkLoader插入
MySQLBulkLoader也称为LOAD DATA INFILE，它的原理是从文件读取数据。所以我们需要将我们的数据集保存到文件，然后再从文件里面读取。
实现代码：
//开始时间
var startTime = DateTime.Now;
using (var conn = new MySqlConnection(connsql))
{
conn.Open();
var table = new DataTable();
table.Columns.Add("id", typeof(string));
table.Columns.Add("trade_no", typeof(string));
//生成10万数据
for (var i = 0; i < 100000; i++)
{
if (i % 500000 == 0)
{
table.Rows.Clear();
}
//记录
var row = table.NewRow();
row[0] = Guid.NewGuid().ToString();
row[1] = "trade_" + (i + 1);
table.Rows.Add(row);
//50万条一批次插入
if (i % 500000 != 499999 && i < (100000 - 1))
{
continue;
}
Console.WriteLine("开始插入:" + i);
//数据转换为csv格式
var tradeCsv = DataTableToCsv(table);
var tradeFilePath = System.AppDomain.CurrentDomain.BaseDirectory + "trade.csv";
File.WriteAllText(tradeFilePath, tradeCsv);
#region 保存至数据库
var bulkCopy = new MySqlBulkLoader(conn)
{
FieldTerminator = ",",
FieldQuotationCharacter = '"',
EscapeCharacter = '"',
LineTerminator = "\r\n",
FileName = tradeFilePath,
NumberOfLinesToSkip = 0,
TableName = "trade"
};
bulkCopy.Columns.AddRange(table.Columns.Cast<DataColumn>().Select(colum => colum.ColumnName).ToList());
bulkCopy.Load();
#endregion
}
conn.Close();
}
//完成时间
var endTime = DateTime.Now;
//耗时
var spanTime = endTime - startTime;
Console.WriteLine("MySqlBulk方式耗时：" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");
10万条测试耗时：
注意：MySQL数据库配置需开启：允许文件导入。配置如下：
secure_file_priv=
性能测试对比
针对上面三种方法，分别测试10万、20万、100万、1000万条数据记录，最终性能入如下：
最后
通过测试数据看，随着数据量的增大，MySqlBulkLoader的方式表现依旧良好，其他方式性能下降比较明显。MySqlBulkLoader的方式完全可以满足我们的需求。
以上就是.Net Core导入千万级数据至Mysql的步骤的详细内容，更多关于导入千万级数据至Mysql的资料请关注脚本之家其它相关文章！
相关文章
由于安装MySQL的时候，疏忽没有选择底层编码方式，采用默认的ASCII的编码格式，于是接二连三的中文转换问题随之而来，就想卸载了重新安装MYSQL，这一卸载倒是出了问题，导致安装的时候安装不上，在网上找了一个多小时也没解决。2011-08-08
本文主要介绍了浅谈MYSQL存储过程和存储函数，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-05-05
Mysql排序和分页(order by&limit)及存在的坑
这篇文章主要介绍了Mysql排序和分页(order by&limit)及存在的坑，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-09-09
这篇文章主要介绍了MySQL中的事务机制,事务机制在各大MySQL教程中均为重要知识,需要的朋友可以参考下2015-06-06
实现MySQL与elasticsearch的数据同步的代码示例
MySQL 自身简单、高效、可靠，是又拍云内部使用最广泛的数据库，但是当数据量达到一定程度的时候，对整个 MySQL 的操作会变得非常迟缓，这个时候我们就需要MySQL与elasticsearch数据同步，接下来就给大家介绍如何实现数据同步2023-07-07![Mysql启动与数据库的创建方法[图文]](//img.jbzj.com/images/xgimg/bcimg5.png)
Mysql启动与数据库的创建方法，mysql数据库入门2012-03-03
MySQL支持大量的列类型，它可以被分为3类：数字类型、日期和时间类型以及字符串(字符)类型。本节首先给出可用类型的一个概述，并且总结每个列类型的存储需求，然后提供每个类中的类型性质的更详细的描述2016-12-12
这篇文章主要介绍了Mysql使用存储过程快速添加百万数据,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-08-08
这篇文章主要介绍了mysql错误代码之1064的解决方案，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-01-01
本文介绍下，在mysql数据库中，有关case when语句的用法，介绍了case when语句的基础知识，并提供了相关实例，供大家学习参考，有需要的朋友不要错过2021-08-08
![Mysql启动与数据库的创建方法[图文]](http://img.jbzj.com/images/xgimg/bcimg5.png)
最新评论