提高MySQL中数据装载效率
更新时间：2009年11月02日 16:59:10 作者：
很多时候关心的是优化SELECT 查询，因为它们是最常用的查询，而且确定怎样优化它们并不总是直截了当。
相对来说，将数据装入数据库是直截了当的。然而，也存在可用来改善数据装载操作效率的策略，其基本原理如下：
成批装载较单行装载更快，因为在装载每个记录后，不需要刷新索引高速缓存;可在成批记录装入后才刷新。
在表无索引时装载比索引后装载更快。如果有索引，不仅必须增加记录到数据文件，而且还要修改每个索引以反映增加了的新记录。
较短的SQL 语句比较长的SQL 语句要快，因为它们涉及服务器方的分析较少，而且还因为将它们通过网络从客户机发送到服务器更快。这些因素中有一些似乎微不足道（特别是最后一个因素），但如果要装载大量的数据，即使是很小的因素也会产生很大的不同结果。我们可以利用上述的一般原理推导出几个关于如何最快地装载数据的实际结论：
LOAD DATA（包括其所有形式）比INSERT 效率高，因为其成批装载行。索引刷新较少，并且服务器只需分析和解释一条语句而不是几条语句。
LOAD DATA 比LOAD DATA LOCAL 效率更高。利用LOAD DATA，文件必须定位在服务器上，而且必须具有FILE 权限，但服务器可从磁盘直接读取文件。利用LOAD DATA LOCAL，客户机读取文件并将其通过网络发送给服务器，这样做很慢。
如果必须使用INSERT，应该利用允许在单个语句中指定多行的形式，例如：
可在语句中指定的行越多越好。这样会减少所需的语句数目，降低索引刷新量。如果使用mysqldump 生成数据库备份文件，应该使用--extended-insert 选项，使转储文件包含多行INSERT 语句。还可以使用- - o p t（优化） ，它启用--extended-insert 选项。反之，应该避免使用mysqldump 的--complete-insert 选项;此选项会导致INSERT 语句为单行，执行时间更长，比不用--complete-insert 选项生成的语句需要更多的分析。
使用压缩了的客户机/服务器协议以减少网络数据流量。对于大多数MySQL客户机，可以用--compress 命令行选项来指定。它一般只用于较慢的网络，因为压缩需要占用大量的处理器时间。
让MySQL插入缺省值;不要在INSERT 语句中指定将以任意方式赋予缺省值的列。平均来说，这样做语句会更短，能减少通过网络传送给服务器的字符数。此外，语句包含的值较少，服务器所进行的分析和转换就会较少。
如果表是索引的，则可利用批量插入（ LOAD DATA 或多行的INSERT 语句）来减少索引的开销。这样会最小化索引更新的影响，因为索引只需要在所有行处理过时才进行刷新，而不是在每行处理后就刷新。
如果需要将大量数据装入一个新表，应该创建该表且在未索引时装载，装载数据后才创建索引，这样做较快。一次创建索引（而不是每行修改一次索引）较快。
如果在装载之前删除或禁用索引，装入数据后再重新创建或启用索引可能使装载更快。如果想对数据装载使用删除或禁用策略，一定要做一些实验，看这样做是否值得（如果将少量数据装入一个大表中，重建和索引所花费的时间可能比装载数据的时间还要长）。
可用DROP INDEX 和CREATE INDEX 来删除和重建索引。另一种可供选择的方法是利用myisamchk 或isamchk 禁用和启用索引。这需要在MySQL服务器主机上有一个帐户，并对表文件有写入权。为了禁用表索引，可进入相应的数据库目录，执行下列命令之一：
对具有.MYI 扩展名的索引文件的MyISAM 表使用myisamchk，对具有.ISM 扩展名的索引文件的ISAM 表使用isamchk。在向表中装入数据后，按如下激活索引：
如果决定使用索引禁用和激活，应该使用第13章中介绍的表修复锁定协议以阻止服务器同时更改锁（虽然此时不对表进行修复，但要对它像表修复过程一样进行修改，因此需要使用相同的锁定协议）。
上述数据装载原理也适用于与需要执行不同操作的客户机有关的固定查询。例如，一般希望避免在频繁更新的表上长时间运行SELECT 查询。长时间运行SELECT 查询会产生大量争用，并降低写入程序的性能。一种可能的解决方法为，如果执行写入的主要是INSERT 操作，那么先将记录存入一个临时表，然后定期地将这些记录加入主表中。如果需要立即访问新记录，这不是一个可行的方法。但只要能在一个较短的时间内不访问它们，就可以使用这个方法。使用临时表有两个方面的好处。首先，它减少了与主表上SELECT 查询语句的争用，因此，执行更快。其次，从临时表将记录装入主表的总时间较分别装载记录的总时间少;相应的索引高速缓存只需在每个批量装载结束时进行刷新，而不是在每行装载后刷新。这个策略的一个应用是进入Web 服务器的Web 页访问MySQL数据库。在此情形下，可能没有保证记录立即进入主表的较高权限。
如果数据并不完全是那种在系统非正常关闭事件中插入的单个记录，那么减少索引刷新的另一策略是使用MyISAM 表的DELAYED_KEY_WRITE 表创建选项（如果将MySQL用于某些数据录入工作时可能会出现这种情况）。此选项使索引高速缓存只偶尔刷新，而不是在每次插入后都要刷新。
如果希望在服务器范围内利用延迟索引刷新，只要利用--delayed-key-write 选项启动mysqld 即可。在此情形下，索引块写操作延迟到必须刷新块以便为其他索引值腾出空间为止，或延迟到执行了一个flush-tables 命令后，或延迟到该索引表关闭。
成批装载较单行装载更快，因为在装载每个记录后，不需要刷新索引高速缓存;可在成批记录装入后才刷新。
在表无索引时装载比索引后装载更快。如果有索引，不仅必须增加记录到数据文件，而且还要修改每个索引以反映增加了的新记录。
较短的SQL 语句比较长的SQL 语句要快，因为它们涉及服务器方的分析较少，而且还因为将它们通过网络从客户机发送到服务器更快。这些因素中有一些似乎微不足道（特别是最后一个因素），但如果要装载大量的数据，即使是很小的因素也会产生很大的不同结果。我们可以利用上述的一般原理推导出几个关于如何最快地装载数据的实际结论：
LOAD DATA（包括其所有形式）比INSERT 效率高，因为其成批装载行。索引刷新较少，并且服务器只需分析和解释一条语句而不是几条语句。
LOAD DATA 比LOAD DATA LOCAL 效率更高。利用LOAD DATA，文件必须定位在服务器上，而且必须具有FILE 权限，但服务器可从磁盘直接读取文件。利用LOAD DATA LOCAL，客户机读取文件并将其通过网络发送给服务器，这样做很慢。
如果必须使用INSERT，应该利用允许在单个语句中指定多行的形式，例如：
可在语句中指定的行越多越好。这样会减少所需的语句数目，降低索引刷新量。如果使用mysqldump 生成数据库备份文件，应该使用--extended-insert 选项，使转储文件包含多行INSERT 语句。还可以使用- - o p t（优化） ，它启用--extended-insert 选项。反之，应该避免使用mysqldump 的--complete-insert 选项;此选项会导致INSERT 语句为单行，执行时间更长，比不用--complete-insert 选项生成的语句需要更多的分析。
使用压缩了的客户机/服务器协议以减少网络数据流量。对于大多数MySQL客户机，可以用--compress 命令行选项来指定。它一般只用于较慢的网络，因为压缩需要占用大量的处理器时间。
让MySQL插入缺省值;不要在INSERT 语句中指定将以任意方式赋予缺省值的列。平均来说，这样做语句会更短，能减少通过网络传送给服务器的字符数。此外，语句包含的值较少，服务器所进行的分析和转换就会较少。
如果表是索引的，则可利用批量插入（ LOAD DATA 或多行的INSERT 语句）来减少索引的开销。这样会最小化索引更新的影响，因为索引只需要在所有行处理过时才进行刷新，而不是在每行处理后就刷新。
如果需要将大量数据装入一个新表，应该创建该表且在未索引时装载，装载数据后才创建索引，这样做较快。一次创建索引（而不是每行修改一次索引）较快。
如果在装载之前删除或禁用索引，装入数据后再重新创建或启用索引可能使装载更快。如果想对数据装载使用删除或禁用策略，一定要做一些实验，看这样做是否值得（如果将少量数据装入一个大表中，重建和索引所花费的时间可能比装载数据的时间还要长）。
可用DROP INDEX 和CREATE INDEX 来删除和重建索引。另一种可供选择的方法是利用myisamchk 或isamchk 禁用和启用索引。这需要在MySQL服务器主机上有一个帐户，并对表文件有写入权。为了禁用表索引，可进入相应的数据库目录，执行下列命令之一：
对具有.MYI 扩展名的索引文件的MyISAM 表使用myisamchk，对具有.ISM 扩展名的索引文件的ISAM 表使用isamchk。在向表中装入数据后，按如下激活索引：
如果决定使用索引禁用和激活，应该使用第13章中介绍的表修复锁定协议以阻止服务器同时更改锁（虽然此时不对表进行修复，但要对它像表修复过程一样进行修改，因此需要使用相同的锁定协议）。
上述数据装载原理也适用于与需要执行不同操作的客户机有关的固定查询。例如，一般希望避免在频繁更新的表上长时间运行SELECT 查询。长时间运行SELECT 查询会产生大量争用，并降低写入程序的性能。一种可能的解决方法为，如果执行写入的主要是INSERT 操作，那么先将记录存入一个临时表，然后定期地将这些记录加入主表中。如果需要立即访问新记录，这不是一个可行的方法。但只要能在一个较短的时间内不访问它们，就可以使用这个方法。使用临时表有两个方面的好处。首先，它减少了与主表上SELECT 查询语句的争用，因此，执行更快。其次，从临时表将记录装入主表的总时间较分别装载记录的总时间少;相应的索引高速缓存只需在每个批量装载结束时进行刷新，而不是在每行装载后刷新。这个策略的一个应用是进入Web 服务器的Web 页访问MySQL数据库。在此情形下，可能没有保证记录立即进入主表的较高权限。
如果数据并不完全是那种在系统非正常关闭事件中插入的单个记录，那么减少索引刷新的另一策略是使用MyISAM 表的DELAYED_KEY_WRITE 表创建选项（如果将MySQL用于某些数据录入工作时可能会出现这种情况）。此选项使索引高速缓存只偶尔刷新，而不是在每次插入后都要刷新。
如果希望在服务器范围内利用延迟索引刷新，只要利用--delayed-key-write 选项启动mysqld 即可。在此情形下，索引块写操作延迟到必须刷新块以便为其他索引值腾出空间为止，或延迟到执行了一个flush-tables 命令后，或延迟到该索引表关闭。
相关文章
这篇文章主要介绍了获取MySQL的表中每个userid最后一条记录的方法,并且针对userid不唯一的情况,需要的朋友可以参考下2015-05-05
mysql ON DUPLICATE KEY UPDATE语句示例
本文介绍一下关于mysql中INSERT INTO… ON DUPLICATE KEY UPDATE用法2013-11-11
正则表达式常用来检索和替换那些符合魔种模式的文本,下面这篇文章主要给大家介绍了关于MySQL中正则表达式(REGEXP)使用的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下2022-07-07
这篇文章主要给大家介绍了关于Mysql在线回收undo表空间的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Mysql具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2019-09-09
这篇文章主要为大家分享了mysql 8.0安装配置方法图文教程,感兴趣的朋友可以参考一下2016-11-11
MySQL学习第二天，主要为大家详细介绍了在Windows 64位操作系统下安装和配置MySQL的具体步骤，整理一份mysql winx64安装配置方法教程，感兴趣的小伙伴们可以参考一下2016-05-05
这篇文章主要介绍了mysql创建触发器时报1064错误问题及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-08-08
虽然会有一些常规意义上的数据表错误设计和优秀设计原则，但是同样也会有 MySQL 特定的一些情况，这会导致我们犯一些 MySQL 特定的错误。本篇讨论常见的设计误区。2021-06-06
一文搞懂mysql如何处理json格式的字段(解析json数据)
这篇文章主要给大家介绍了关于mysql如何处理json格式的字段的相关资料,MySQL中的JSON类型是一种数据类型,用于存储和处理JSON(JavaScript Object Notation)格式的数据,需要的朋友可以参考下2023-12-12
最近在学习中遇到了个小问题,现在将解决的办法分享给同样遇到这个问题的同学,这篇文章主要给大家介绍了关于navicat连接mysql报错10060的解决办法,需要的朋友可以参考下2023-03-03
最新评论