数据库分库分表是什么,什么情况下需要用分库分表

 更新时间:2021年03月22日 23:29:56   作者:strawqqhat  
这篇文章主要介绍了数据库分库分表是什么,什么情况下需要用分库分表,需要的朋友可以参考下

数据量在什么情况下需要分表?

为了保证数据库的查询效率,当数据达成一定量时建议进行分表操作

1、oracle

当oracle单表的数据量大于2000万行时,建议进行水平分拆。

2、mysql

当mysql单表的数据量大于1000万行时,建议进行水平分拆。

单表容量到了1000W以上基本上稍微复杂一点的SQL都需要仔细优化,这时候的SQL耗时主要集中在磁盘IO上,数据命令缓存的概率降低,总之不好搞,如果是正常的互联网项目,提前分库分表,在前期能做的先做了,后面会省很多时间处理数据迁移的事情,数据操作比较频繁,比如订单表,可能涉及到的插入和更新操作特别频繁,特别是大并发的时候,这时如果只用一个库,对磁盘的IO和mysql的性能都是一种考验,所以要分库分表,把操作频繁的表和基本信息表分开处理,减小单个数据库的压力,同时也不影响其他基本信息的读写

如果只有一台服务器,当select很多时,update和delete会被这些select访问中的数据堵塞,等待select结束,并发性能不高,此时就要选择读写分离了,主 库 负 责 写 , 从 库 负 责 读 \color{#FF0000}{主库负责写,从库负责读}主库负责写,从库负责读

具体情况根据数据库服务器的配置和架构有关,仅供参考

3、sqlserver

sqlserver一般如下条件就可以选择分区分表操作了

1、表的大小超过2GB。
2、表中包含历史数据,新的数据被增加都新的分区中。

当一个数据表的数据量达到千万级别以后,每次查询都需要消耗大量的时间,所以当表数据量达到一定量级后我们需要对数据表水平切割。水平分区分表就是把逻辑上的一个表,在物理上按照你指定的规则分放到不同的文件里,把一个大的数据文件拆分为多个小文件,还可以把这些小文件放在不同的磁盘下。这样把一个大的文件拆分成多个小文件,便于我们对数据的管理。 

分库分表是什么,什么情况下需要用分库分表

1、什么是分库分表?

顾名思义,即把存于一个库的数据分散到多个库中,把存于一个表的数据分散到多个表中。

2、什么情况下需要分库分表?

当一个数据库被创建之后,随着时间的推移和业务量的增加,数据库中表以及表中的数据量就会越来越多,就有可能出现两种弊端:(1)数据库的存储资源是有限的,其负载能力也是有限的,数据的大量积累肯定会导致其处理数据的能力下降;(2)数据量越多,那么对数据的增删改查操作的开销也会越来越大,所以,当出现如上两种情况,分库分表势在必行。

3、分库分表的方式

(1)垂直切分

适用场景:如果是因为表的个数多而让数据多,可以按照功能划分,把联系密切的表切分出来放在同一个库中(分库);

如果表的字段太多,可以以列为出发点,将字段进行拆分(分表);

(2)水平切分

适用场景:如果是因为表中的数据量过于庞大,则可以采用水平切分,按照某种约定好的规则将数据切分到不同的数据库中;

必须要根据当前数据库的情况做出合适的选择,也可以将两种情况结合在一起。

4、如何联合查找?

分库分表的结果会使数据分散,不好查询,主要有两种查询方式:

(1)、分步查:先查找主表,然后得到关联表的id,再发起请求得到关联数据;

(2)、联合查:同时发起多个查询请求,然后将所有的结果集合起来。 

到此这篇关于数据库分库分表是什么,什么情况下需要用分库分表的文章就介绍到这了,更多相关数据库分库分表内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Mybatis分页插件的实例详解

    Mybatis分页插件的实例详解

    这篇文章主要介绍了Mybatis分页插件的实例详解的相关资料,需要的朋友可以参考下
    2017-07-07
  • dapper使用Insert或update时部分字段不映射到数据库

    dapper使用Insert或update时部分字段不映射到数据库

    我们在使用dapper的insert或update方法时可能会遇见一些实体中存在的字段但是,数据库中不存在的字段,这样在使用insert时就是抛出异常提示字段不存在,这个时候该怎么解决呢,下面给大家分享示例实体代码,感兴趣的朋友一起看看吧
    2023-12-12
  • Navicat Premium自定义 sql 标签的创建方式

    Navicat Premium自定义 sql 标签的创建方式

    Navicat 中可以自定义一下sql语句的标签,方便开发者使用,这篇文章主要介绍了Navicat Premium自定义sql标签的创建方式,包括自定义标签创建方式,结合示例代码给大家介绍的非常详细,需要的朋友可以参考下
    2022-09-09
  • Python使用RethinkDB总结

    Python使用RethinkDB总结

    最近一个项目要用到文档数据库,顺便关注了一下 NoSQL 方面的消息。当前几个比较流行的文档数据库引擎有 MongoDB, CouchDB, OrientDB 等,朋友推荐的是 MongoDB 和 RethinkDB
    2014-03-03
  • 使用alwayson后如何收缩数据库日志的方法详解

    使用alwayson后如何收缩数据库日志的方法详解

    这篇文章主要介绍了使用alwayson后如何收缩数据库日志,本文通过示例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-07-07
  • SQL中游标(cursor)的基本使用实例

    SQL中游标(cursor)的基本使用实例

    当你检索的数据只是一条记录时,你所编写的事务语句代码往往使用SELECT INSERT语句,但如果从某一结果集中逐一地读取一条记录呢?游标为我们提供了一种极为优秀的解决方案,这篇文章主要给大家介绍了关于SQL中游标(cursor)基本使用的相关资料,需要的朋友可以参考下
    2021-11-11
  • SQL语句优化之JOIN和LEFT JOIN 和 RIGHT JOIN语句的优化

    SQL语句优化之JOIN和LEFT JOIN 和 RIGHT JOIN语句的优化

    在数据库的应用中,我们经常需要对数据库进行多表查询,然而当数据量非常大时多表查询会对执行效率产生非常大的影响,因此我们在使用JOIN和LEFT JOIN 和 RIGHT JOIN语句时要特别注意
    2018-03-03
  • 数据库中删除语句Drop、Delete、Truncate的相同点和不同点的比较(实例说明)

    数据库中删除语句Drop、Delete、Truncate的相同点和不同点的比较(实例说明)

    数据库中删除语句Drop、Delete、Truncate的相同点和不同点的比较,通过举例说明让大家了解
    2012-09-09
  • SQLite不支持Right Join的解决办法GROUP BY

    SQLite不支持Right Join的解决办法GROUP BY

    sqlite真的不错,就是不支持right join,所以我们用下面的方法解决
    2008-06-06
  • 如何查看Navicat加密的数据库密码

    如何查看Navicat加密的数据库密码

    本机装的MySQL数据库密码忘记了,打开了Navicat连接过数据库,不过密码是加密的,怎么办呢?今天小编给大家分享如何查看Navicat加密的数据库密码,感兴趣的朋友一起看看吧
    2023-04-04

最新评论