MySQL缓存优化方案总结

 更新时间:2023年08月23日 09:03:58   作者:在下uptown  
最近迭代的产品版本从2.X来到了3.X,属于一个非常大的产品升级,比上个版本多了很多功能,那么上线之前肯定要在一个干净的环境里进行测试回归以及性能测试,本文总结一下数据库层面的一些缓存机制对查询速度整体的优化,需要的朋友可以参考下

查询缓存

想必大家应该都知道这个相对比较鸡肋的querycahce机制,从诞生以来就不怎么受人待见,在mysql5.6将该机制默认关闭,到了mysql8直接将他取消了。

查询缓存顾名思义是将查询的结果集缓存住,可以简单理解为整个sql为key,缓存sql的结果,每一次select查询都会先检查querycache是否有缓存,如果存在缓存的数据则直接返回,相比于磁盘读取性能提升n倍。

听起来十分合理,但缺点也十分明显:

  • 基于sql来缓存严格到字节级别,只要sql中多一个空格就不会走缓存。对于线上环境比较生硬。
  • 只适用于读多远大于写少的场景,一有ddl预计缓存就会失效。
  • 打开查询缓存后如果一条sql没有命中会消耗额外的资源把结果集维护起来,浪费资源

所以一般的线上环境都不推荐使用这个机制。

表缓存

如果大家有背过mysql的八股文一定对innodb_buffer_pool_size这个参数不陌生,既然叫innodb_buffer说明这是innodb引擎特有的参数,负责缓存磁盘中的数据减少磁盘IO提升读写速度。

由于innodb读取数据的基本单位是页并且使用B+树索引结构来组织数据,每个索引页通常包含多个数据行,数据行按照主键的顺序进行排序。通过主键索引,可以快速定位到目标数据行所在的索引页,然后读取对应的磁盘页。

每次读取数据会连带着整条数据页被加载,好不容易消耗了资源读磁盘拿出来的数据不能浪费,理所当然的存在了buffer_pool里,比如第一次查询select * from A where id = 1,在1附近的数据都被缓存到了buffer_pool中,下一次执行select * from A where id = 2时就会从缓冲池里拿。

并且buffer_pool通过change_buffer来记录增删改对数据的变更操作,这样就会极大的优化查询速度并节省性能,缓存失效也会根据LRU的机制去淘汰旧缓存。

从这次产品迭代升级的新环境中发现,部署一个新的mysql容器可以注意调整一下innodb_buffer_pool_size对应的值,默认为128M,通过以下命令查看。

show variables like '%innodb_buffer_pool_size%';

一般我们可以调整为机器内存的1/4,这个可以视情况而定,修改完之后会发现性能提升一大截。

ReadySet

先放一下官方文档:

上面的都是MySQL自带的缓存方案,这个组件是最近逛github的时候碰巧看到的中间件,一个高性能且轻量的mysql&pg数据库缓存解决方案,无需额外代码即可将最复杂的 SQL 读取转变为闪电般快速的查找。本质上基于jdbc实现了一套服务,对上层而言就是一个数据库,

由于我也是刚接触不是特别了解只能简单聊一下,它本质上是用一个数据流图的机制去做的,所谓数据流图按我理解就是一个快照,基于用户的sql构建一个快照,后续的增删改语句与buffer pool思路一样,在内存中计算。

这个方案思路上有点类似mysql中的查询缓存buffer_pool的整合版本,也是通过sql去缓存数据,需要主动通过使用CREATE CACHE FROMSQL扩展,将查询缓存在ReadySet中,通过SHOW CACHES查看所有缓存SQL,然后缓存的数据本质上是构造了快照,有数据更新会监听binlog同步到快中中并支持最终一致性保持缓存一致,当然会有一点点的数据延迟。

所以这类中间件用着用着就会带来巨大的内存开销,不过在BI类似的平台中可以试一试。

到此这篇关于MySQL缓存优化方案总结的文章就介绍到这了,更多相关MySQL缓存优化内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • MySQL中有哪些情况下数据库索引会失效详析

    MySQL中有哪些情况下数据库索引会失效详析

    这篇文章主要给大家介绍了关于MySQL中有哪些情况下数据库索引会失效的相关资料,文中通过图文介绍的非常详细,对大家学习或者使用mysql具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2018-07-07
  • MySQL 数据库常用命令 简单超级实用版

    MySQL 数据库常用命令 简单超级实用版

    MySQL 数据库常用命令,都是一些比较基础的东西,更多的命令可以查看相关文章里面的文字。
    2010-07-07
  • Ubuntu下MySQL及工具安装配置详解

    Ubuntu下MySQL及工具安装配置详解

    这篇文章主要为大家详细介绍了Ubuntu下MySQL及工具安装配置方法,感兴趣的小伙伴们可以参考一下
    2016-06-06
  • MySQL时间类型与Java日期时间类对应关系示例详解

    MySQL时间类型与Java日期时间类对应关系示例详解

    在开发中数据库和编程语言通常需要处理日期和时间数据,MySQL数据库和Java编程语言都提供了各种时间类型来处理日期和时间数据,这篇文章主要介绍了MySQL时间类型与Java日期时间类对应关系的相关资料,需要的朋友可以参考下
    2025-08-08
  • 零基础掌握JDBC操作MySQL

    零基础掌握JDBC操作MySQL

    JDBC是指Java数据库连接,是一种标准Java应用编程接口( JAVA API),用来连接 Java 编程语言和广泛的数据库。从根本上来说,JDBC 是一种规范,它提供了一套完整的接口,允许便携式访问到底层数据库
    2022-10-10
  • Mysql中深分页的五种常用方法整理

    Mysql中深分页的五种常用方法整理

    在数据量非常大的情况下,深分页查询则变得很常见,这篇文章为大家整理了5个常用的方法,文中的示例代码讲解详细,大家可以根据自己的需求进行选择
    2025-03-03
  • MySQL数据表分区策略及优缺点分析

    MySQL数据表分区策略及优缺点分析

    项目开发中,随着数据库数据量越来越大,单个表中数据太多,从而导致查询速度变慢,而且由于表的锁机制导致应用操作也受到严重影响,出现了数据库性能瓶颈。因此我们需要考虑分表与分区,MySQL分表分区就是为了解决大数据量导致MySQL性能低下的问题。
    2021-05-05
  • Mysql存储二进制对象数据问题

    Mysql存储二进制对象数据问题

    这篇文章主要介绍了Mysql存储二进制对象数据问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-03-03
  • MySQL9.0(innovation)安装及配置详细教程

    MySQL9.0(innovation)安装及配置详细教程

    MySQL对于开发者来说,不但体积小,速度也很可观,最最重要的是开源,所以非常受开发者们的欢迎,这篇文章主要给大家介绍了关于MySQL9.0(innovation)安装及配置的详细教程,需要的朋友可以参考下
    2024-08-08
  • MySQL如何利用DCL管理用户和控制权限

    MySQL如何利用DCL管理用户和控制权限

    这篇文章主要介绍了MySQL如何利用DCL管理用户和控制权限,帮助大家更好的理解和学习MySQL的使用,感兴趣的朋友可以了解下
    2020-11-11

最新评论