MySQL分表自增ID问题的解决方法

 更新时间:2016年06月12日 12:10:12   作者:郑宏鑫erke  
这篇文章主要为大家详细介绍了MySQL分表自增ID问题的解决方法,感兴趣的小伙伴们可以参考一下

当我们对MySQL进行分表操作后,将不能依赖MySQL的自动增量来产生唯一ID了,因为数据已经分散到多个表中。  
 应尽量避免使用自增IP来做为主键,为数据库分表操作带来极大的不便。
 在postgreSQL、oracle、db2数据库中有一个特殊的特性---sequence。 任何时候数据库可以根据当前表中的记录数大小和步长来获取到该表下一条记录数。然而,MySQL是没有这种序列对象的。
 可以通过下面的方法来实现sequence特性产生唯一ID:

 1. 通过MySQL表生成ID
 对于插入也就是insert操作,首先就是获取唯一的id了,就需要一个表来专门创建id,插入一条记录,并获取最后插入的ID。代码如下: 

CREATE TABLE `ttlsa_com`.`create_id` ( 
`id` BIGINT( 20 ) NOT NULL AUTO_INCREMENT PRIMARY KEY
) ENGINE = MYISAM 

 也就是说,当我们需要插入数据的时候,必须由这个表来产生id值,我的php代码的方法如下:

<?php 
function get_AI_ID() { 
 $sql = "insert into create_id (id) values('')"; 
 $this->db->query($sql); 
 return $this->db->insertID(); 
} 
?> 

这种方法效果很好,但是在高并发情况下,MySQL的AUTO_INCREMENT将导致整个数据库慢。如果存在自增字段,MySQL会维护一个自增 锁,innodb会在内存里保存一个计数器来记录auto_increment值,当插入一个新行数据时,就会用一个表锁来锁住这个计数器,直到插入结 束。如果是一行一行的插入是没有问题的,但是在高并发情况下,那就悲催了,表锁会引起SQL阻塞,极大的影响性能,还可能会达到 max_connections值。
 innodb_autoinc_lock_mode:可以设定3个值:0、1、2
 0:traditonal (每次都会产生表锁)
 1:consecutive (默认,可预判行数时使用新方式,不可时使用表锁,对于simple insert会获得批量的锁,保证连续插入)
 2:interleaved (不会锁表,来一个处理一个,并发最高)
 对于myisam表引擎是traditional,每次都会进行表锁的。 

2. 通过redis生成ID 

function get_next_autoincrement_waitlock($timeout = 60){
 $count = $timeout > 0 ? $timeout : 60;
 
 while($r->get("serial:lock")){
 $count++;
 sleep(1);
 if ($count > 10)
 return false;
 }
 
 return true;
}
 
function get_next_autoincrement($timeout = 60){
 // first check if we are locked...
 if (get_next_autoincrement_waitlock($timeout) == false)
 return 0;
 
 $id = $r->incr("serial");
 
 if ( $id > 1 )
 return $id;
 
 // if ID == 1, we assume we do not have "serial" key...
 
 // first we need to get lock.
 if ($r->setnx("serial:lock"), 1){
 $r->expire("serial:lock", 60 * 5);
 
 // get max(id) from database.
 $id = select_db_query("select max(id) from user_posts");
 // or alternatively:
 // select id from user_posts order by id desc limit 1
 
 // increase it
 $id++;
 
 // update Redis key
 $r->set("serial", $id);
 
 // release the lock
 $r->del("serial:lock");
 
 return $id;
 }
 
 // can not get lock.
 return 0;
}
 
$r = new Redis();
$r->connect("127.0.0.1", "6379");
 
$id = get_next_autoincrement();
if ($id){
  $sql = "insert into user_posts(id,user,message)values($id,'$user','$message')"
  $data = exec_db_query($sql);
}

3. 队列方式
 其实这也算是上面的一个解说
 使用队列服务,如redis、memcacheq等等,将一定量的ID预分配在一个队列里,每次插入操作,先从队列中获取一个ID,若插入失败的话,将该ID再次添加到队列中,同时监控队列数量,当小于阀值时,自动向队列中添加元素。
 这种方式可以有规划的对ID进行分配,还会带来经济效应,比如QQ号码,各种靓号,明码标价。如网站的userid, 允许uid登陆,推出各种靓号,明码标价,对于普通的ID打乱后再随机分配。

<?php
 
class common {
 
 private $r;
 
 function construct() {
  $this->__construct();
 }
 
 public function __construct(){
  $this->r=new Redis();
  $this->r->connect('127.0.0.1', 6379);
 }
 
 function set_queue_id($ids){
  if(is_array($ids) && isset($ids)){
  foreach ($ids as $id){
  $this->r->LPUSH('next_autoincrement',$id);
  }
  }
 }
 
 function get_next_autoincrement(){
  return $this->r->LPOP('next_autoincrement');
 }
 
}
 
$createid=array();
while(count($createid)<20){
 $num=rand(1000,4000);
 if(!in_array($num,$createid))
  $createid[]=$num;
}
 
$id=new common();
$id->set_queue_id($createid);
 
var_dump($id->get_next_autoincrement()); 

监控队列数量,并自动补充队列和取到id但并没有使用

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • MySQL亿级大表安全添加字段的三种方案

    MySQL亿级大表安全添加字段的三种方案

    面对 1.35亿条数据 的 MySQL 表添加字段,传统 ALTER TABLE 可能导致长时间锁表,严重影响业务,本文将提供一套完整的 零停机方案,涵盖 Online DDL 优化、专业工具使用 和 Java 应用层配合策略,需要的朋友可以参考下
    2025-03-03
  • win10 安装mysql 8.0.18-winx64的步骤详解

    win10 安装mysql 8.0.18-winx64的步骤详解

    这篇文章主要介绍了win10 安装mysql 8.0.18-winx64的步骤,本文图文并茂给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-11-11
  • Mysql limit 优化,百万至千万级快速分页 复合索引的引用并应用于轻量级框架

    Mysql limit 优化,百万至千万级快速分页 复合索引的引用并应用于轻量级框架

    MySql 性能到底能有多高?用了php半年多,真正如此深入的去思考这个问题还是从前天开始。有过痛苦有过绝望,到现在充满信心!
    2011-05-05
  • 一文搞懂MySQL索引所有知识点

    一文搞懂MySQL索引所有知识点

    这篇文章主要带你搞懂MySQL索引的所有知识点,我们通常所说的索引,包括聚焦索引、覆盖索引、组合索引、前缀索引、唯一索引等,没有特别说明,默认都是使用B+树结构组织,感兴趣的小伙伴可以参考阅读
    2023-03-03
  • MySQL 游标的定义与使用方式

    MySQL 游标的定义与使用方式

    这篇文章主要介绍了MySQL 游标的定义与使用方式,帮助大家更好的理解和使用MySQL,感兴趣的朋友可以了解下
    2021-01-01
  • mysql中找不到my.ini文件的问题及解决

    mysql中找不到my.ini文件的问题及解决

    这篇文章主要介绍了mysql中找不到my.ini文件的问题及解决方案,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-08-08
  • MySQ登录提示ERROR 1045 (28000)错误的解决方法

    MySQ登录提示ERROR 1045 (28000)错误的解决方法

    这篇文章主要为大家详细介绍了MySQ登录提示ERROR 1045 (28000)错误的解决方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-07-07
  • MySQL字符串拼接与分组拼接字符串实例代码

    MySQL字符串拼接与分组拼接字符串实例代码

    做SQL查询时会经常需要,把查询的结果拼接成一个字符串,下面这篇文章主要给大家介绍了关于MySQL字符串拼接与分组拼接字符串的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2023-02-02
  • Centos7下安装和配置MySQL5.7.20的详细教程

    Centos7下安装和配置MySQL5.7.20的详细教程

    这篇文章主要介绍了Linux(CentOS7)下安装和配置MySQL5.7.20详细教程,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价,需要的朋友可以参考下
    2020-05-05
  • MySQL数据库表修复 MyISAM

    MySQL数据库表修复 MyISAM

    这篇文章主要介绍了MySQL数据库表修复 MyISAM ,需要的朋友可以参考下
    2014-06-06

最新评论