MySQL分表实现上百万上千万记录分布存储的批量查询设计模式详解
我们知道可以将一个海量记录的 MySQL 大表根据主键、时间字段，条件字段等分成若干个表甚至保存在若干服务器中。
唯一的问题就是跨服务器批量查询麻烦，只能通过应用程序来解决。谈谈在Java中的解决思路。其他语言原理类似。
这里说的分表不是 MySQL 5.1 的 partition，而是人为把一个表分开存在若干表或不同的服务器。
1. 应用程序级别实现
见示意图
electThreadManager 分表数据查询管理器
它为分表的每个database or server 建立一个 thread pool
addTask() - 添加任务
stopTask() - 停止任务
getResult() - 获取执行结果
最快的执行时间 = 最慢的 MySQL 节点查询消耗时间
最慢的执行时间 = 超时时间
某个 ThreadPool 忙时候处理流程
1. 假如 ThreadPoolN 非常忙，(也意味 DB N 非常忙)；
2. 新的查询任务到来，addTask(), 新的任务的一个thread加到ThreadPoolN任务排队中
3. 外层应用已经获得其他 thread 返回结果，继续等待
4. 外层应用等待超时的时间到，调用 stopTask() 设置该任务全部 thread 中的停止标志, 外层应用返回。
5. 若干时间后，ThreadPoolN取到该排队 Thread, 因为设置了停止位，线程直接运行完成。
2. JDBC 层实现
做一个 JDBC Driver 的包装，拦截 PreparedStatement, Statement 的 executeQuery()
然后调用 SelectThreadManager 完成
3. MySQL partition
MySQL 5.1 的 partition 功能由于单张表的数据跨文件，批量查询时候同样存在上述问题，不过它是在 MySQL 内部实现的，不需要外部调用者关心。其查询实现的原理应该大致类似。
但 partition 只解决了 IO 的瓶颈，并不能解决 CPU 计算的瓶颈，因此无法代替传统的手工分表方式。
相关文章
这篇文章主要介绍了mysql中的find_in_set字符串查找函数，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-08-08
本篇文章是对mysq字段选择进行了详细的分析介绍，需要的朋友参考下2013-06-06
这篇文章主要介绍了Mysql5.7服务无法启动问题，解决办法非常简单，需要的的朋友参考下2017-02-02
在使用mysql的过程中，有个问题就是mysql的优化，mysql中longblob字段在5.5版本中默认的为1M，需要解决问题的朋友可以参考下2014-01-01
开窗函数也叫分析函数有两类,一类是聚合开窗函数,一类是排序开窗函数,下面这篇文章主要给大家介绍了关于SQL中开窗函数的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-08-08
mysql启动失败之mysql服务无法启动(服务没有报告任何错误)的解决方法
作为一名程序猿,必不可少的便是和mysql打交道,那当mysql故障,服务无法启动时该怎么解决呢,下面这篇文章主要给大家介绍了关于mysql启动失败之mysql服务无法启动,服务没有报告任何错误的解决方法,需要的朋友可以参考下2022-05-05
在开发过程中会经常用到mysql导出导入中文表,本文将详细介绍其如何使用，需要的朋友可以参考下2012-11-11
最近在工作的时候突然想到了一个问题，就是mysql如何才能实现批量更新多条记录的同一个字段为不同值，于是就动手实践起来了，发现其中的学问还是挺多的，所以想着就总结下来分享给大家，有需要的朋友们可以参考借鉴，下面来一起看看吧。2016-12-12
本文主要介绍了MySQL中Navicat自动备份的实现,包括手动备份和自动定时备份,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2025-03-03
这篇文章主要介绍了mysql不包含模糊查询问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-08-08
最新评论