mysql技巧：提高插入数据(添加记录)的速度
更新时间：2014年12月20日 00:54:29 投稿：mdxy-dxy
这篇文章主要介绍了mysql技巧：提高插入数据(添加记录)的速度,需要的朋友可以参考下
问题描述：
普通台式机，采集数据，表中已经有>1000万数据量。
采集回来的数据插入表中的时候很慢，每条约100毫秒。
解决方法：
1、加大mysql配置中的bulk_insert_buffer_size，这个参数默认为8M
bulk_insert_buffer_size=100M
2、改写所有insert语句为insert delayed
这个insert delayed不同之处在于：立即返回结果，后台进行处理插入。
还有一个技巧是在一跳insert中插入多条数据，类似insert into tablename values('xxx','xxx'),('yyy','yyy'),('zzz','zzz')...;但是在我采集程序中改sql比较麻烦，故未采用
脚本之家小编提醒：
说实话一般主要用于数据的采集入库操作，成熟的cms不建议修改，dedecms是由于本人的系统设计问题，建议使用商业版或自行建立索引等，现在大数据首选帝国cms或phpcms。
相关文章
MySQL执行SQL文件报错:Unknown collation ‘utf8mb4_0900_ai_
这篇文章主要给大家分享了MySQL执行SQL文件出现【Unknown collation ‘utf8mb4_0900_ai_ci‘】的解决方案,如果又遇到相同问题的同学,可以参考阅读本文2023-09-09
无论你是技术大佬,还是刚入行的小白,时不时都会踩到Mysql数据库的坑这篇文章主要给大家介绍了关于3个MySQL查询容易踩的坑,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-11-11
这篇文章主要为大家详细介绍了linux下mysql 5.7.16 免安装版本图文教程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-02-02
SQL标准中定义了4种隔离级别，分别是读未提交、读已提交、可重复读以及序列化。不同的隔离级别下，本文将重点探讨下MySQL是如何解决幻读问题的,需要的朋友可以跟着小编一起来探讨一下2023-07-07
MySQL 的 EXPLAIN 是一个用于查询优化的关键字。它用于分析和评估查询语句的执行计划，帮助开发者理解查询语句的性能问题以及优化查询的方式，所以本文就给大家详细的介绍一下MySQL关键字explain的用法,需要的朋友可以参考下2023-07-07
MySQL索引查询limit offset及排序order by用法
这篇文章主要介绍了MySQL限制数据返回条数limit offset及排序order by用法,有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-05-05
这篇文章主要介绍了解决MySql客户端秒退问题（找不到my.ini）,本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下2020-02-02
在向表中插入数据的时候，经常遇到这样的情况：1. 首先判断数据是否存在； 2. 如果不存在，则插入；3.如果存在，则更新。2014-06-06
刚刚我们说过了，生活中难免会有一些不如意，比如，我们用一个字符串类型的字段来作为主键，表面上，这太不如意了，然而，事实也证明这是有用的。2011-03-03
MySQL主从数据一致性怎么恢复，MySQL主从数据库的数据不一致，猜测备库在同步过程中出现了问题，现在的问题很明确，就是如何恢复主从库数据的一致性，下文为大家分享解决方法，感兴趣的小伙伴们可以参考一下2016-04-04
最新评论