mysql千万级数据大表该如何优化?

 更新时间:2011年08月06日 23:12:55   作者:  
如何设计或优化千万级别的大表?此外无其他信息,个人觉得这个话题有点范,就只好简单说下该如何做,对于一个存储设计,必须考虑业务特点,收集的信息如下
1.数据的容量:1-3年内会大概多少条数据,每条数据大概多少字节;

2.数据项:是否有大字段,那些字段的值是否经常被更新;
3.数据查询SQL条件:哪些数据项的列名称经常出现在WHERE、GROUP BY、ORDER BY子句中等;
4.数据更新类SQL条件:有多少列经常出现UPDATE或DELETE 的WHERE子句中;
5.SQL量的统计比,如:SELECT:UPDATE+DELETE:INSERT=多少?

6.预计大表及相关联的SQL,每天总的执行量在何数量级?
7.表中的数据:更新为主的业务 还是 查询为主的业务
8.打算采用什么数据库物理服务器,以及数据库服务器架构?
9.并发如何?
10.存储引擎选择InnoDB还是MyISAM?

大致明白以上10个问题,至于如何设计此类的大表,应该什么都清楚了!

至于优化若是指创建好的表,不能变动表结构的话,那建议InnoDB引擎,多利用点内存,减轻磁盘IO负载,因为IO往往是数据库服务器的瓶颈

另外对优化索引结构去解决性能问题的话,建议优先考虑修改类SQL语句,使他们更快些,不得已只靠索引组织结构的方式,当然此话前提是,
索引已经创建的非常好,若是读为主,可以考虑打开query_cache,

以及调整一些参数值:sort_buffer_size,read_buffer_size,read_rnd_buffer_size,join_buffer_size

其他人建议:

1. 索引, 避免扫描,基于主键的查找,上亿数据也是很快的;
2. 反范式化设计,以空间换时间,避免join,有些join操作可以在用代码实现,没必要用数据库来实现;

相关文章

  • mysql主从服务器配置特殊问题

    mysql主从服务器配置特殊问题

    如果修改了主服务器的配置,记得删除从服务器上的master.info文件。否则从服务器使用的还是老配置,可能会导致错误。
    2010-12-12
  • MySQL左联多表查询where条件写法示例

    MySQL左联多表查询where条件写法示例

    这篇文章主要介绍了MySQL左联多表查询where条件写法示例,本文直接给出写法示例,需要的朋友可以参考下
    2015-02-02
  • 实现数据库水平切分的两个思路

    实现数据库水平切分的两个思路

    今天小编就为大家分享一篇关于实现数据库水平切分的两个思路,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-03-03
  • MySQL实现批量插入测试数据的方式总结

    MySQL实现批量插入测试数据的方式总结

    在开发过程中经常需要一些测试数据, 这个时候如果手敲的话, 十行二十行还好, 多了就很死亡了, 接下来介绍两种常用的MySQL测试数据批量生成方式,希望对大家有所帮助
    2023-05-05
  • MySQL抛出Incorrect string value异常分析

    MySQL抛出Incorrect string value异常分析

    从上至下统一用上UTF-8就高枕无忧,今天还是遇到字符的异常,本文将介绍解决方法
    2012-11-11
  • 关于SQL嵌套的误解分析

    关于SQL嵌套的误解分析

    之前我曾一直以为:就是在sql语句嵌套时,嵌套查询的约束和外层的约束是没有关系的。
    2010-12-12
  • 查找MySQL中查询慢的SQL语句方法

    查找MySQL中查询慢的SQL语句方法

    这篇文章主要介绍了查找MySQL中查询慢的SQL语句方法,需要的朋友可以参考下
    2017-05-05
  • MySQL配置文件my.cnf参数优化和中文详解

    MySQL配置文件my.cnf参数优化和中文详解

    这篇文章主要介绍了MySQL配置文件my.cnf参数优化和中文详解,非常详细的用中文注释了各个参数的作用以及建议值,需要的朋友可以参考下
    2014-03-03
  • MySQL8.0就地升级到MySQL8.4.0的方法

    MySQL8.0就地升级到MySQL8.4.0的方法

    本文主要介绍了MySQL8.0就地升级到MySQL8.4.0的方法,文中通过代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2024-06-06
  • MySQL完整性约束的定义与实例教程

    MySQL完整性约束的定义与实例教程

    数据完整性约束是对关系性模型完整性规则做某种约束条件,这篇文章主要给大家介绍了关于MySQL完整性约束的相关资料,需要的朋友可以参考下
    2021-05-05

最新评论