PostgreSQL基于Citus实现分布式集群的全过程

 更新时间:2023年11月28日 11:35:39   作者:IT邦德  
Citus是一个PostgreSQL扩展,它将Postgres转换为分布式数据库,因此您可以在任何规模上实现高性能,因客户的需求,本文详细阐述了PostgreSQL基于Citus实现的分布式集群的全过程,需要的朋友可以参考下

1.Citus介绍

Citus是一个PostgreSQL扩展,它将Postgres转换为分布式数据库,因此您可以在任何规模上实现高性能。

可以使用这些Citus超能力使您的Postgres数据库在单个Citus节点上扩展。或者,您可以构建一个能够处理高交易吞吐量的大型集群,尤其是在多租户应用程序中,运行快速分析查询,并处理大量时间序列或物联网数据进行实时分析。当数据大小和数量增长时,可以轻松地向集群中添加更多的工作节点并重新平衡碎片。

使用Citus,您可以用新的超能力扩展PostgreSQL数据库:

1.分布式表在PostgreSQL节点集群中进行分片,以组合它们的CPU、内存、存储和I/O容量。

2.引用表被复制到所有节点,以便从分布式表中进行联接和外键,从而获得最大的读取性能。

3.分布式查询引擎路由并并行化集群中分布式表上的SELECT、DML和其他操作。

4.列存储压缩数据,加快扫描速度,并支持在常规表和分布式表上进行快速投影。

5.通过从任何节点进行查询,您都可以利用集群的全部容量进行分布式查询

Citus集群由一个中心的协调节点(CN)和若干个工作节点(Worker)构成。

coordinate:协调节点,一般称为cn,存储所有元数据,不存实际数据,该节点直接对用户开放,等于一个客户端。

worker:工作节点,不存储元数据,存储实际数据。执行协调节点发来的查询请求。一般不直接对用户开放。

在这里插入图片描述

2.架构设计

主机名IP操作系统内存/空间角色说明
pgcn172.18.12.80centos7.82c/18G 400Gcoordinate安装PG 14+ Citus 14.1.0
pgwk01172.18.12.81centos7.82c/18G 400Gworker安装PG 14+ Citus 14.1.0
pgwk02172.18.12.82centos7.82c/18G 400Gworker安装PG 14+ Citus 14.1.0
pgwk03172.18.12.83centos7.82c/18G 400Gworker安装PG 14+ Citus 14.1.0
pgwk04172.18.12.84centos7.82c/18G 400Gworker安装PG 14+ Citus 14.1.0

在这里插入图片描述

3.安装citus 

3.1 yum安装

1.安装依赖

yum install -y libcurl-devel lz4 zstd epel-release libzstd-devel unzip libcurl make

2.yum 安装,所有节点均安装

curl https://install.citusdata.com/community/rpm.sh
yum install -y citus_14

在这里插入图片描述

3.2 创建拓展

##以下操作,所有节点均操作

su - postgres
psql
create database clusterdb;
\c clusterdb
alter system set shared_preload_libraries='citus';
clusterdb=# select pg_reload_conf();
clusterdb=# select * from pg_available_extensions where name='citus';
 name  | default_version | installed_version |          comment           
-------+-----------------+-------------------+----------------------------
 citus | 12.1-1          |                   | Citus distributed database
(1 row)
clusterdb=# \q

systemctl status postgresql-14
systemctl restart postgresql-14

root@pgcn:~$ su - postgres
root@pgcn:~$ psql

postgres=# \c clusterdb
You are now connected to database "clusterdb" as user "postgres".

clusterdb=# show shared_preload_libraries;
 shared_preload_libraries 
--------------------------
 citus
(1 row)

clusterdb=# create extension citus;
CREATE EXTENSION

clusterdb=# \dx
                     List of installed extensions
      Name      | Version |   Schema   |         Description          
----------------+---------+------------+------------------------------
 citus          | 12.1-1  | pg_catalog | Citus distributed database
 citus_columnar | 11.3-1  | pg_catalog | Citus Columnar extension
 plpgsql        | 1.0     | pg_catalog | PL/pgSQL procedural language
(3 rows)

clusterdb=# \dx+ citus

在这里插入图片描述

4.集群配置

4.1修改配置文件

1.coordinate节点的pg_hba.conf配置:

cat >> /var/lib/pgsql/14/data/pg_hba.conf <<“EOF”
host all all 0.0.0.0/0 md5
EOF

2.worker节点的pg_hba.conf配置:

cat >> /var/lib/pgsql/14/data/pg_hba.conf <<“EOF”
host all all 172.18.12.0/24 trust
EOF
systemctl restart postgresql-14

在这里插入图片描述

4.2 新增节点

psql -d clusterdb

– 查看工作节点:

SELECT * FROM master_get_active_worker_nodes();
select * from pg_dist_node;
##管理操作仅仅在协调节点(cn)上操作:
– 节点可以是ip或者dns name
SELECT * from master_add_node(‘172.18.12.81', 5432);
SELECT * from master_add_node(‘172.18.12.82', 5432);
SELECT * from master_add_node(‘172.18.12.83', 5432);
SELECT * from master_add_node(‘172.18.12.84', 5432);

4.3 集群信息

-- 查看工作节点
clusterdb=# SELECT * FROM master_get_active_worker_nodes();
  node_name   | node_port 
--------------+-----------
 172.18.12.83 |      5432
 172.18.12.81 |      5432
 172.18.12.84 |      5432
 172.18.12.82 |      5432
(4 rows)

clusterdb=# select * from pg_dist_node;
 nodeid | groupid |   nodename   | nodeport | noderack | hasmetadata | isactive | noderole | nodecluster | metadatasynced | shouldhaveshards 
--------+---------+--------------+----------+----------+-------------+----------+----------+-------------+----------------+------------------
     43 |      43 | 172.18.12.82 |     5432 | default  | t           | t        | primary  | default     | t              | t
     44 |      44 | 172.18.12.83 |     5432 | default  | t           | t        | primary  | default     | t              | t
     46 |      46 | 172.18.12.84 |     5432 | default  | t           | t        | primary  | default     | t              | t
     42 |      42 | 172.18.12.81 |     5432 | default  | t           | t        | primary  | default     | t              | t

以上就是PostgreSQL基于Citus实现分布式集群的全过程的详细内容,更多关于PostgreSQL Citus分布式集群的资料请关注脚本之家其它相关文章!

相关文章

  • PostgreSQL11修改wal-segsize的操作

    PostgreSQL11修改wal-segsize的操作

    这篇文章主要介绍了PostgreSQL11修改wal-segsize的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-01-01
  • postgresql数据库如何查看数据中表的信息

    postgresql数据库如何查看数据中表的信息

    这篇文章主要给大家介绍了关于postgresql数据库如何查看数据中表信息的相关资料,要查询数据表信息,需要用到 系统表或系统视图等,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2024-04-04
  • Postgresql删除数据库表中重复数据的几种方法详解

    Postgresql删除数据库表中重复数据的几种方法详解

    本文详细讲解了Postgresql删除数据库表中重复数据的几种方法,文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-10-10
  • Vcenter清理/storage/archive空间的处理方式

    Vcenter清理/storage/archive空间的处理方式

    通过SSH登陆到Vcenter并检查/storage/archive目录发现占用过高,该目录用于存储归档的日志文件和历史数据,解决方案是保留近30天的归档文件,这篇文章主要给大家介绍了关于Vcenter清理/storage/archive空间的处理方式,需要的朋友可以参考下
    2024-11-11
  • postgresql实现对已有数据表分区处理的操作详解

    postgresql实现对已有数据表分区处理的操作详解

    这篇文章主要为大家详细介绍了postgresql实现对已有数据表分区处理的操作的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下
    2023-12-12
  • PostgreSQL简介及实战应用

    PostgreSQL简介及实战应用

    PostgreSQL是一种功能强大的开源关系型数据库管理系统,以其稳定性、高性能、扩展性和复杂查询能力在众多项目中得到广泛应用,本文将从基础概念讲起,逐步深入到高级特性、性能优化和实战应用,帮助读者全面掌握PostgreSQL,感兴趣的朋友跟随小编一起学习吧
    2025-08-08
  • 解决postgresql 自增id作为key重复的问题

    解决postgresql 自增id作为key重复的问题

    这篇文章主要介绍了解决postgresql 自增id作为key重复的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-02-02
  • postgresql数据库执行计划图文详解

    postgresql数据库执行计划图文详解

    了解PostgreSQL执行计划对于程序员来说是一项关键技能,执行计划是我们优化查询,验证我们的优化查询是否确实按照我们期望的方式运行的重要方式,这篇文章主要给大家介绍了关于postgresql数据库执行计划的相关资料,需要的朋友可以参考下
    2024-01-01
  • 在postgresql数据库中判断是否是数字和日期时间格式函数操作

    在postgresql数据库中判断是否是数字和日期时间格式函数操作

    这篇文章主要介绍了在postgresql数据库中判断是否是数字和日期时间格式函数的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-12-12
  • PostgreSQL主从流复制的完整部署指南

    PostgreSQL主从流复制的完整部署指南

    数据库高可用这件事,做与不做,差别在于:做了一切正常时可能觉得多余,但出问题的时候你会庆幸它还在,PostgreSQL从9.0版本开始原生支持流复制机制,本文将摒弃空泛理论,以CentOS/Ubuntu环境下的PostgreSQL 14为例,手把手带你完成从零搭建、配置调优到故障演练的完整流程
    2026-05-05

最新评论