mysql千万级数据大表该如何优化?
更新时间：2011年08月06日 23:12:55 作者：
如何设计或优化千万级别的大表？此外无其他信息，个人觉得这个话题有点范，就只好简单说下该如何做，对于一个存储设计，必须考虑业务特点，收集的信息如下
1.数据的容量：1-3年内会大概多少条数据，每条数据大概多少字节；
2.数据项：是否有大字段，那些字段的值是否经常被更新；
3.数据查询SQL条件：哪些数据项的列名称经常出现在WHERE、GROUP BY、ORDER BY子句中等；
4.数据更新类SQL条件：有多少列经常出现UPDATE或DELETE 的WHERE子句中；
5.SQL量的统计比，如：SELECT：UPDATE+DELETE：INSERT=多少？
6.预计大表及相关联的SQL，每天总的执行量在何数量级？
7.表中的数据：更新为主的业务 还是 查询为主的业务
8.打算采用什么数据库物理服务器，以及数据库服务器架构？
9.并发如何？
10.存储引擎选择InnoDB还是MyISAM？
大致明白以上10个问题，至于如何设计此类的大表，应该什么都清楚了！
至于优化若是指创建好的表，不能变动表结构的话，那建议InnoDB引擎，多利用点内存，减轻磁盘IO负载，因为IO往往是数据库服务器的瓶颈
另外对优化索引结构去解决性能问题的话，建议优先考虑修改类SQL语句，使他们更快些，不得已只靠索引组织结构的方式，当然此话前提是，
索引已经创建的非常好，若是读为主，可以考虑打开query_cache，
以及调整一些参数值：sort_buffer_size,read_buffer_size,read_rnd_buffer_size,join_buffer_size
其他人建议：
1. 索引, 避免扫描,基于主键的查找,上亿数据也是很快的;
2. 反范式化设计,以空间换时间,避免join,有些join操作可以在用代码实现,没必要用数据库来实现;
2.数据项：是否有大字段，那些字段的值是否经常被更新；
3.数据查询SQL条件：哪些数据项的列名称经常出现在WHERE、GROUP BY、ORDER BY子句中等；
4.数据更新类SQL条件：有多少列经常出现UPDATE或DELETE 的WHERE子句中；
5.SQL量的统计比，如：SELECT：UPDATE+DELETE：INSERT=多少？
6.预计大表及相关联的SQL，每天总的执行量在何数量级？
7.表中的数据：更新为主的业务 还是 查询为主的业务
8.打算采用什么数据库物理服务器，以及数据库服务器架构？
9.并发如何？
10.存储引擎选择InnoDB还是MyISAM？
大致明白以上10个问题，至于如何设计此类的大表，应该什么都清楚了！
至于优化若是指创建好的表，不能变动表结构的话，那建议InnoDB引擎，多利用点内存，减轻磁盘IO负载，因为IO往往是数据库服务器的瓶颈
另外对优化索引结构去解决性能问题的话，建议优先考虑修改类SQL语句，使他们更快些，不得已只靠索引组织结构的方式，当然此话前提是，
索引已经创建的非常好，若是读为主，可以考虑打开query_cache，
以及调整一些参数值：sort_buffer_size,read_buffer_size,read_rnd_buffer_size,join_buffer_size
其他人建议：
1. 索引, 避免扫描,基于主键的查找,上亿数据也是很快的;
2. 反范式化设计,以空间换时间,避免join,有些join操作可以在用代码实现,没必要用数据库来实现;
相关文章
如何用mysql自带的定时器定时执行sql(每天0点执行与间隔分/时执行)
在开发过程中经常会遇到这样一个问题,每天或者每月必须定时去执行一条sql语句或更新或删除或执行特定的sql语句,下面这篇文章主要给大家介绍了关于如何用mysql自带的定时器定时执行sql(每天0点执行与间隔分/时执行)的相关资料,需要的朋友可以参考下2023-03-03
本文给大家分享的是作者在使用mysql进行千万级数据量分页查询的时候进行性能优化的方法，非常不错的一篇文章，对我们学习mysql性能优化非常有帮助2017-11-11
MySQL是最流行的关系型数据库管理系统，在WEB应用方面MySQL是最好的应用软件之一。在本篇中，会让大家快速掌握MySQL的基本操作，并轻松使用MySQL数据库2022-09-09
这篇文章主要介绍了MySQL常见的底层优化操作教程及相关建议,包括对运行操作系统的硬件方面及存储引擎参数的调整等零碎方面的小整理,需要的朋友可以参考下2015-12-12
这篇文章主要介绍了MySQL中如何重建表问题。具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-02-02
这篇文章主要介绍了mysql 设置自动创建时间及修改时间的方法,结合实例形式分析了mysql针对创建时间及修改时间相关操作技巧,需要的朋友可以参考下2019-09-09
CenOS6.7下mysql 8.0.22 安装配置方法图文教程
这篇文章主要为大家详细介绍了CenOS6.7下mysql 8.0.22 安装配置方法图文教程，文中安装步骤介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2020-11-11
MYSQL ERROR 1045 (28000): Access denied for user (using pass
Mysql中添加用户之后可能出现登录时提示ERROR 1045 (28000): Access denied for user的错误.2009-07-07
这篇文章主要给大家介绍了关于如何一篇文章学会SQL中的递归用法,众所周知目前的mysql版本中并不支持直接的递归查询,但是通过递归到迭代转化的思路,还是可以在一句SQL内实现树的递归查询的,需要的朋友可以参考下2023-10-10
这篇文章主要给大家介绍了关于MySQL因大事务导致Insert慢的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2018-10-10
最新评论