mysql高效导数据的方法讲解
更新时间：2013年09月28日 21:06:00 作者：
模拟现网测试，需要搭建测试环境，导入上亿级的数据到数据库。对于到的问题做些简单记录，有需要的朋友可以参考一下
数据：一个db，2000个表格，2000张表格数据，每条记录30个column，平均每张表格4.3w条记录，总共86388670条记录。
机器：linux 64bit 8G内存 4核IntelX3320@2.5GHz
基本思路：
mysql -utest -pxxxx -s -e "source xxxx.sql"
将load语句放在xxxx.sql中
load语法：
load data [low_priority] [local] infile 'file_name.txt' [replace | ignore]
如果串行导入数据，会很慢，考虑并行，但可能有冲突，解决办法：
load之前清空表
truncate table xxxx 或 delete from table xxxx;
或使用replace或ignore关键字。
机器：linux 64bit 8G内存 4核IntelX3320@2.5GHz
基本思路：
复制代码 代码如下:
mysql -utest -pxxxx -s -e "source xxxx.sql"
将load语句放在xxxx.sql中
load语法：
复制代码 代码如下:
load data [low_priority] [local] infile 'file_name.txt' [replace | ignore]
如果串行导入数据，会很慢，考虑并行，但可能有冲突，解决办法：
load之前清空表
复制代码 代码如下:
truncate table xxxx 或 delete from table xxxx;
或使用replace或ignore关键字。
相关文章
这篇文章主要介绍了详解MySQL主从不一致情形与解决方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2019-04-04
这篇文章主要给大家介绍了关于MySQL中sleep函数特殊现象的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者使用MySQL具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2019-10-10
这篇文章主要介绍了MySQL8.0内存相关参数总结，帮助大家更好的理解和学习mysql，感兴趣的朋友可以了解下2020-08-08
升级到mysql-connector-java8.0.27的注意事项
这篇文章主要介绍了升级到mysql-connector-java8.0.27的注意事项,凡是升级总会碰到点问题，换了连接器后部署果然报错了，下面小编给大家分享解决方法，需要的朋友可以参考下2021-12-12
本文介绍了在MySQL数据库中进行数据批量插入和性能测试的方法,包括使用Navicat批量插入数据、编写SQL测试、索引的创建和使用、查询测试以及提升SQL性能的优化方法,感兴趣的可以参考一下2024-11-11
相信很多人都需要用到这个语句，请看下文:(在4.1以后的版本才有效)2008-08-08
这篇文章主要介绍了mysql中的字符集和校验规则的相关资料，帮助大家更好的理解和学习MySQL，感兴趣的朋友可以了解下2020-12-12
在MySQL执行UPDATE语句时遇到的错误1175的解决方案
MySQL安全更新模式（SafeUpdateMode）限制了UPDATE和DELETE操作,要求使用WHERE子句时必须基于主键或索引列,或者使用LIMIT限制行数,若SQL语句未满足这些条件,会触发错误1175,本文介绍在MySQL执行UPDATE语句时遇到的错误1175的解决方案,感兴趣的朋友一起看看吧2025-02-02
这篇文章主要介绍了MySQL Varchar 类型尾部空格,在这里需要注意的是 binary 排序规则的 pad 属性为 NO PAD，这里其实不是个例外，因为 char、varchar 和 text 类型都归类为 nonbinary，感兴趣的朋友跟随小编一起学习下吧2022-04-04
MySQL数据库遭到攻击篡改(使用备份和binlog进行数据恢复)
这篇文章主要介绍了MySQL数据库遭到攻击篡改(使用备份和binlog进行数据恢复),需要的朋友可以参考下2016-04-04
最新评论