PostgreSQL之分区表(partitioning)

 更新时间:2016年11月28日 22:25:18   投稿:mdxy-dxy  
通过合理的设计,可以将选择一定的规则,将大表切分多个不重不漏的子表,这就是传说中的partitioning。比如,我们可以按时间切分,每天一张子表,比如我们可以按照某其他字段分割,总之了就是化整为零,提高查询的效能

PostgreSQL有一项非常有用的功能,分区表,或者partitioning。当某个TABLE的记录非常的多,千万甚至更多的时候,我们其实需要将他分割成子表。一个庞大的TABLE,就像水果仓库杂乱无章地堆放着无数的苹果桃子和桔子,查找不方便,性能降低,比较合理的做法是将仓库分成三个子区域,分表放苹果桃子和桔子。一张大表就变成了三个小表的集合。

通过合理的设计,可以将选择一定的规则,将大表切分多个不重不漏的子表,这就是传说中的partitioning。比如,我们可以按时间切分,每天一张子表,比如我们可以按照某其他字段分割,总之了就是化整为零,提高查询的效能。

怎么实现这个分区表的功能呢?
   1 建立大表。
   2 创建分区继承
   3 定义Rule或者Trigger?

下面根据一个简单的例子,描述这个过程。我们将学生按照低于60分和不低于60分切分成两张子表。

   1 建立大表   

CREATE TABLE student (student_id bigserial, name varchar(32), score smallint)

   2 创建分区继承。

CREATE TABLE student_qualified (CHECK (score >= 60 )) INHERITS (student) ;
CREATE TABLE student_nqualified (CHECK (score < 60)) INHERITS (student) ;

创建了两个分区表,student_qualified和student_nqualified,继承了大表student的一切字段,同时设定了约束,即CHECK条件。

3 定义Rule或者Trigger。

   虽然我们定义了CHECK条件,但是往student插入数据时,PostgreSQL并不能根据score是否低于60插入的正确的子表,原因是,你并没有定义这种规则,来告诉数据这么做。我们需要定义Rule或者Trigger,将数据插入到正确的分区表。
   先看下Rule的定义:

CREATE OR REPLACE RULE insert_student_qualified 
AS ON INSERT TO student 
    WHERE score >= 60
    DO INSTEAD
    INSERT INTO student_qualified VALUES(NEW.*);

CREATE OR REPLACE RULE insert_student_nqualified 
AS ON INSERT TO student 
    WHERE score < 60
    DO INSTEAD
    INSERT INTO student_nqualified VALUES(NEW.*);

这两个Rule告诉了PostgreSQL,当往总表插数据的时候,如果是score< 60,则插入student_nqualified,如果score>=60,则插入student_qualified.注意了,这个分割一定要不重不漏,如果我们不小心将>=60条件的“=”丢掉,等于60分的记录将会录入大表student,不在任何一个分区表中。
我们插入一些记录:

INSERT INTO student (name,score) VALUES('Jim',77);
INSERT INTO student (name,score) VALUES('Frank',56);
INSERT INTO student (name,score) VALUES('Bean',88);
INSERT INTO student (name,score) VALUES('John',47);
INSERT INTO student (name,score) VALUES('Albert','87');
INSERT INTO student (name,score) VALUES('Joey','60');

我们看下数据分布情况,是否分布到了正确的的分区表:

SELECT p.relname,c.tableoid,c.* 
FROM student c, pg_class p
WHERE c.tableoid = p.oid

输出如下:

我们看到,虽然我们插入的是大表,但是数据却存在了对应的分区子表。符合我们的期望。同时还不影响查询。

Rule是一个分流的办法,还有TRIGGER也能做到让正确的数据流向正确的分区子表。
首先我们定义个function。

CREATE OR REPLACE FUNCTION student_insert_trigger()
RETURNS TRIGGER AS 
$$
BEGIN
   IF(NEW.score >= 60) THEN
     INSERT INTO student_qualified VALUES (NEW.*);
   ELSE 
     INSERT INTO student_nqualified VALUES (NEW.*);
   END IF;
   RETURN NULL;
END;
$$
LANGUAGE plpgsql ;

然后定义TRIGGER,当插入到student之前,就会触发trigger:

CREATE TRIGGER insert_student 
  BEFORE INSERT ON student
  FOR EACH row
  EXECUTE PROCEDURE student_insert_trigger() ;

我们首先通过删除TABLE student,测试下trigger方式。

DROP TABLE STUDENT CASCADE

CREATE TABLE student (student_id bigserial, name varchar(32), score smallint) ;
CREATE TABLE student_qualified (CHECK (score >= 60 )) INHERITS (student) ;
CREATE TABLE student_nqualified (CHECK (score < 60)) INHERITS (student) ;

然后执行定义FUNCTION和定义TRIGGER的语句。就可以查看了。
为了确认我们的触发器的确触发了,我们打开存储过程的统计开关:
在postgresql.conf中,找到track_functions,改成all

track_functions = all

插入之前先看下function student_insert_trigger的统计信息:

执行插入:

INSERT INTO student (name,score) VALUES('Jim',77);
INSERT INTO student (name,score) VALUES('Frank',56);
INSERT INTO student (name,score) VALUES('Bean',88);
INSERT INTO student (name,score) VALUES('John',47);
INSERT INTO student (name,score) VALUES('Albert','87');
INSERT INTO student (name,score) VALUES('Joey','60');

插入后,看下function student_insert_trigger的统计信息

我们看到trigger触发了6次。
执行下查询:

SELECT p.relname,c.tableoid,c.* 
FROM student c, pg_class p
WHERE c.tableoid = p.oid

输出如下:

参考文献

1 PostgreSQL document

相关文章

  • PostgreSQL数据库如何定期清理归档(pg_wal)日志

    PostgreSQL数据库如何定期清理归档(pg_wal)日志

    在⼀般的⽣产环境中,数据库都需要开启归档模式,下面这篇文章主要给大家介绍了关于PostgreSQL数据库如何定期清理归档(pg_wal)日志的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2024-05-05
  • postgresql数据库配置文件postgresql.conf,pg_hba.conf,pg_ident.conf

    postgresql数据库配置文件postgresql.conf,pg_hba.conf,pg_ident.conf

    这篇文章主要为大家介绍了postgresql数据库中三个重要的配置文件postgresql.conf,pg_hba.conf,pg_ident.conf使用示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-02-02
  • postgresql高级应用之合并单元格的思路详解

    postgresql高级应用之合并单元格的思路详解

    这篇文章主要介绍了postgresql高级应用之合并单元格,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-05-05
  • postgresql 循环函数的简单实现操作

    postgresql 循环函数的简单实现操作

    这篇文章主要介绍了postgresql 循环函数的简单实现操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-01-01
  • postgresql 实现修改jsonb字段中的某一个值

    postgresql 实现修改jsonb字段中的某一个值

    这篇文章主要介绍了postgresql 实现修改jsonb字段中的某一个值操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-01-01
  • PostgreSQL慢SQL的定位排查方法

    PostgreSQL慢SQL的定位排查方法

    所谓慢SQL 是指在数据库中执行时间超过指定阈值的语句,慢查询太多,对于业务而言,是有很大风险的,可能随时都会因为某种原因而被触发,本篇文章将介绍 PostgreSQL 慢 SQL 如何定位排查,需要的朋友可以参考下
    2024-07-07
  • postgresql无则插入,有则更新问题

    postgresql无则插入,有则更新问题

    这篇文章主要介绍了postgresql无则插入,有则更新问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-04-04
  • PostgreSQL教程(十五):系统表详解

    PostgreSQL教程(十五):系统表详解

    这篇文章主要介绍了PostgreSQL教程(十五):系统表详解,本文讲解了pg_class、pg_attribute、pg_attrdef、pg_authid、pg_auth_members、pg_constraint、pg_tablespace、pg_namespace、pg_database等表的作用和字段介绍,需要的朋友可以参考下
    2015-05-05
  • Windows版 PostgreSQL 利用 pg_upgrade 进行大版升级操作方法

    Windows版 PostgreSQL 利用 pg_upgrade 进行大版升级操作方法

    最近 PostgreSQL 15 版本正式发布了,新版本的各种特性和好处本文就不展开介绍了,主要介绍一下 Windows 环境下 PostgreSQL 大版本升级的方法,我们现在的几个数据库都是运行在 Windows服务器的 PostgreSQL 14,需要的朋友可以参考下
    2022-10-10
  • Ubuntu中卸载Postgresql出错的解决方法

    Ubuntu中卸载Postgresql出错的解决方法

    这篇文章主要给大家介绍了关于在Ubuntu中卸载Postgresql出错的解决方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧。
    2017-09-09

最新评论