MySQL缓存优化方案总结

 更新时间:2023年08月23日 09:03:58   作者:在下uptown  
最近迭代的产品版本从2.X来到了3.X,属于一个非常大的产品升级,比上个版本多了很多功能,那么上线之前肯定要在一个干净的环境里进行测试回归以及性能测试,本文总结一下数据库层面的一些缓存机制对查询速度整体的优化,需要的朋友可以参考下

查询缓存

想必大家应该都知道这个相对比较鸡肋的querycahce机制,从诞生以来就不怎么受人待见,在mysql5.6将该机制默认关闭,到了mysql8直接将他取消了。

查询缓存顾名思义是将查询的结果集缓存住,可以简单理解为整个sql为key,缓存sql的结果,每一次select查询都会先检查querycache是否有缓存,如果存在缓存的数据则直接返回,相比于磁盘读取性能提升n倍。

听起来十分合理,但缺点也十分明显:

  • 基于sql来缓存严格到字节级别,只要sql中多一个空格就不会走缓存。对于线上环境比较生硬。
  • 只适用于读多远大于写少的场景,一有ddl预计缓存就会失效。
  • 打开查询缓存后如果一条sql没有命中会消耗额外的资源把结果集维护起来,浪费资源

所以一般的线上环境都不推荐使用这个机制。

表缓存

如果大家有背过mysql的八股文一定对innodb_buffer_pool_size这个参数不陌生,既然叫innodb_buffer说明这是innodb引擎特有的参数,负责缓存磁盘中的数据减少磁盘IO提升读写速度。

由于innodb读取数据的基本单位是页并且使用B+树索引结构来组织数据,每个索引页通常包含多个数据行,数据行按照主键的顺序进行排序。通过主键索引,可以快速定位到目标数据行所在的索引页,然后读取对应的磁盘页。

每次读取数据会连带着整条数据页被加载,好不容易消耗了资源读磁盘拿出来的数据不能浪费,理所当然的存在了buffer_pool里,比如第一次查询select * from A where id = 1,在1附近的数据都被缓存到了buffer_pool中,下一次执行select * from A where id = 2时就会从缓冲池里拿。

并且buffer_pool通过change_buffer来记录增删改对数据的变更操作,这样就会极大的优化查询速度并节省性能,缓存失效也会根据LRU的机制去淘汰旧缓存。

从这次产品迭代升级的新环境中发现,部署一个新的mysql容器可以注意调整一下innodb_buffer_pool_size对应的值,默认为128M,通过以下命令查看。

show variables like '%innodb_buffer_pool_size%';

一般我们可以调整为机器内存的1/4,这个可以视情况而定,修改完之后会发现性能提升一大截。

ReadySet

先放一下官方文档:

上面的都是MySQL自带的缓存方案,这个组件是最近逛github的时候碰巧看到的中间件,一个高性能且轻量的mysql&pg数据库缓存解决方案,无需额外代码即可将最复杂的 SQL 读取转变为闪电般快速的查找。本质上基于jdbc实现了一套服务,对上层而言就是一个数据库,

由于我也是刚接触不是特别了解只能简单聊一下,它本质上是用一个数据流图的机制去做的,所谓数据流图按我理解就是一个快照,基于用户的sql构建一个快照,后续的增删改语句与buffer pool思路一样,在内存中计算。

这个方案思路上有点类似mysql中的查询缓存buffer_pool的整合版本,也是通过sql去缓存数据,需要主动通过使用CREATE CACHE FROMSQL扩展,将查询缓存在ReadySet中,通过SHOW CACHES查看所有缓存SQL,然后缓存的数据本质上是构造了快照,有数据更新会监听binlog同步到快中中并支持最终一致性保持缓存一致,当然会有一点点的数据延迟。

所以这类中间件用着用着就会带来巨大的内存开销,不过在BI类似的平台中可以试一试。

到此这篇关于MySQL缓存优化方案总结的文章就介绍到这了,更多相关MySQL缓存优化内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 以Centos为例讲解MySQL在Linux中的部署

    以Centos为例讲解MySQL在Linux中的部署

    这篇文章主要介绍了以Centos为例讲解MySQL在Linux中的部署,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-12-12
  • MySQL5.7更改密码时出现ERROR 1054 (42S22)的解决方法

    MySQL5.7更改密码时出现ERROR 1054 (42S22)的解决方法

    这篇文章主要为大家详细介绍了MySQL5.7更改密码时出现ERROR 1054 (42S22)的解决方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-10-10
  • MySQL中Buffer Pool内存结构详情

    MySQL中Buffer Pool内存结构详情

    这篇文章主要介绍了MySQL中Buffer Pool内存结构详情,文章围绕主题展开详细的内容介绍,具有一定的参考价值,需要的小伙伴可以参考一下
    2022-09-09
  • mysql 8.0.12 简单安装教程

    mysql 8.0.12 简单安装教程

    这篇文章主要为大家详细介绍了mysql 8.0.12 简单安装教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-08-08
  • 30个mysql千万级大数据SQL查询优化技巧详解

    30个mysql千万级大数据SQL查询优化技巧详解

    本文总结了30个mysql千万级大数据SQL查询优化技巧,特别适合大数据里的MYSQL使用
    2018-03-03
  • mysql使用source 命令乱码问题解决方法

    mysql使用source 命令乱码问题解决方法

    从windows上导出一个sql执行文件,再倒入到unbutn中,结果出现乱码,折腾7-8分钟,解决方式在导出mysql sql执行文件的时候,指定一下编码格式
    2013-04-04
  • MySQL数据库迁移OpenGauss数据库解析

    MySQL数据库迁移OpenGauss数据库解析

    这篇文章主要介绍了MySQL数据库迁移OpenGauss数据库解析,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-09-09
  • win2008 R2服务器下修改MySQL 5.5数据库data目录的方法

    win2008 R2服务器下修改MySQL 5.5数据库data目录的方法

    这篇文章主要介绍了win2008 R2服务器下修改MySQL 5.5数据库data目录的方法,需要的朋友可以参考下
    2016-04-04
  • 深入了解MySQL中的慢查询日志

    深入了解MySQL中的慢查询日志

    什么是MySQL慢查询呢?其实就是查询的SQL语句耗费较长的时间。具体耗费多久算慢查询呢?这其实因人而异,有些公司慢查询的阈值是100ms,有些的阈值可能是500ms。本文将通过示例和大家聊聊慢查询的危害和常用场景,感兴趣的可以了解一下
    2023-03-03
  • windows 10 下安装mysql 5.7.17的简单笔记

    windows 10 下安装mysql 5.7.17的简单笔记

    之前一直在Linux下用MySQL,安装也很简单,今天试一下windows下安装,发现有很多坑,今天小编通过本教程给大家记录下,一起看看吧
    2016-12-12

最新评论