PostgreSQL基于Citus实现分布式集群的全过程

 更新时间:2023年11月28日 11:35:39   作者:IT邦德  
Citus是一个PostgreSQL扩展,它将Postgres转换为分布式数据库,因此您可以在任何规模上实现高性能,因客户的需求,本文详细阐述了PostgreSQL基于Citus实现的分布式集群的全过程,需要的朋友可以参考下

1.Citus介绍

Citus是一个PostgreSQL扩展,它将Postgres转换为分布式数据库,因此您可以在任何规模上实现高性能。

可以使用这些Citus超能力使您的Postgres数据库在单个Citus节点上扩展。或者,您可以构建一个能够处理高交易吞吐量的大型集群,尤其是在多租户应用程序中,运行快速分析查询,并处理大量时间序列或物联网数据进行实时分析。当数据大小和数量增长时,可以轻松地向集群中添加更多的工作节点并重新平衡碎片。

使用Citus,您可以用新的超能力扩展PostgreSQL数据库:

1.分布式表在PostgreSQL节点集群中进行分片,以组合它们的CPU、内存、存储和I/O容量。

2.引用表被复制到所有节点,以便从分布式表中进行联接和外键,从而获得最大的读取性能。

3.分布式查询引擎路由并并行化集群中分布式表上的SELECT、DML和其他操作。

4.列存储压缩数据,加快扫描速度,并支持在常规表和分布式表上进行快速投影。

5.通过从任何节点进行查询,您都可以利用集群的全部容量进行分布式查询

Citus集群由一个中心的协调节点(CN)和若干个工作节点(Worker)构成。

coordinate:协调节点,一般称为cn,存储所有元数据,不存实际数据,该节点直接对用户开放,等于一个客户端。

worker:工作节点,不存储元数据,存储实际数据。执行协调节点发来的查询请求。一般不直接对用户开放。

在这里插入图片描述

2.架构设计

主机名IP操作系统内存/空间角色说明
pgcn172.18.12.80centos7.82c/18G 400Gcoordinate安装PG 14+ Citus 14.1.0
pgwk01172.18.12.81centos7.82c/18G 400Gworker安装PG 14+ Citus 14.1.0
pgwk02172.18.12.82centos7.82c/18G 400Gworker安装PG 14+ Citus 14.1.0
pgwk03172.18.12.83centos7.82c/18G 400Gworker安装PG 14+ Citus 14.1.0
pgwk04172.18.12.84centos7.82c/18G 400Gworker安装PG 14+ Citus 14.1.0

在这里插入图片描述

3.安装citus 

3.1 yum安装

1.安装依赖

yum install -y libcurl-devel lz4 zstd epel-release libzstd-devel unzip libcurl make

2.yum 安装,所有节点均安装

curl https://install.citusdata.com/community/rpm.sh
yum install -y citus_14

在这里插入图片描述

3.2 创建拓展

##以下操作,所有节点均操作

su - postgres
psql
create database clusterdb;
\c clusterdb
alter system set shared_preload_libraries='citus';
clusterdb=# select pg_reload_conf();
clusterdb=# select * from pg_available_extensions where name='citus';
 name  | default_version | installed_version |          comment           
-------+-----------------+-------------------+----------------------------
 citus | 12.1-1          |                   | Citus distributed database
(1 row)
clusterdb=# \q

systemctl status postgresql-14
systemctl restart postgresql-14

root@pgcn:~$ su - postgres
root@pgcn:~$ psql

postgres=# \c clusterdb
You are now connected to database "clusterdb" as user "postgres".

clusterdb=# show shared_preload_libraries;
 shared_preload_libraries 
--------------------------
 citus
(1 row)

clusterdb=# create extension citus;
CREATE EXTENSION

clusterdb=# \dx
                     List of installed extensions
      Name      | Version |   Schema   |         Description          
----------------+---------+------------+------------------------------
 citus          | 12.1-1  | pg_catalog | Citus distributed database
 citus_columnar | 11.3-1  | pg_catalog | Citus Columnar extension
 plpgsql        | 1.0     | pg_catalog | PL/pgSQL procedural language
(3 rows)

clusterdb=# \dx+ citus

在这里插入图片描述

4.集群配置

4.1修改配置文件

1.coordinate节点的pg_hba.conf配置:

cat >> /var/lib/pgsql/14/data/pg_hba.conf <<“EOF”
host all all 0.0.0.0/0 md5
EOF

2.worker节点的pg_hba.conf配置:

cat >> /var/lib/pgsql/14/data/pg_hba.conf <<“EOF”
host all all 172.18.12.0/24 trust
EOF
systemctl restart postgresql-14

在这里插入图片描述

4.2 新增节点

psql -d clusterdb

– 查看工作节点:

SELECT * FROM master_get_active_worker_nodes();
select * from pg_dist_node;
##管理操作仅仅在协调节点(cn)上操作:
– 节点可以是ip或者dns name
SELECT * from master_add_node(‘172.18.12.81', 5432);
SELECT * from master_add_node(‘172.18.12.82', 5432);
SELECT * from master_add_node(‘172.18.12.83', 5432);
SELECT * from master_add_node(‘172.18.12.84', 5432);

4.3 集群信息

-- 查看工作节点
clusterdb=# SELECT * FROM master_get_active_worker_nodes();
  node_name   | node_port 
--------------+-----------
 172.18.12.83 |      5432
 172.18.12.81 |      5432
 172.18.12.84 |      5432
 172.18.12.82 |      5432
(4 rows)

clusterdb=# select * from pg_dist_node;
 nodeid | groupid |   nodename   | nodeport | noderack | hasmetadata | isactive | noderole | nodecluster | metadatasynced | shouldhaveshards 
--------+---------+--------------+----------+----------+-------------+----------+----------+-------------+----------------+------------------
     43 |      43 | 172.18.12.82 |     5432 | default  | t           | t        | primary  | default     | t              | t
     44 |      44 | 172.18.12.83 |     5432 | default  | t           | t        | primary  | default     | t              | t
     46 |      46 | 172.18.12.84 |     5432 | default  | t           | t        | primary  | default     | t              | t
     42 |      42 | 172.18.12.81 |     5432 | default  | t           | t        | primary  | default     | t              | t

以上就是PostgreSQL基于Citus实现分布式集群的全过程的详细内容,更多关于PostgreSQL Citus分布式集群的资料请关注脚本之家其它相关文章!

相关文章

  • PostgreSQL误删数据库该怎么办详解

    PostgreSQL误删数据库该怎么办详解

    这篇文章主要介绍了PostgreSQL中误删数据库的恢复方法,包括备份恢复、归档日志恢复和操作系统层面的快照恢复,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2025-03-03
  • 用一整天的时间安装postgreSQL  NTFS权限

    用一整天的时间安装postgreSQL NTFS权限

    看标题貌似一天的收获不小,但实际上是被一个问题搞的要死,啥问题?额,又是NTFS权限的问题。
    2009-08-08
  • PostgreSQL 16 新特性之正态分布随机数函数的示例

    PostgreSQL 16 新特性之正态分布随机数函数的示例

    这篇文章主要介绍了PostgreSQL 16 新特性之正态分布随机数函数,PostgreSQL 16 新增了一个内置的 random_normal() 函数,用于生成这种随机数,通过示例代码给大家介绍的非常详细,需要的朋友可以参考下
    2023-01-01
  • 详解如何在Ubuntu 18.04上安装和使用PostgreSQL

    详解如何在Ubuntu 18.04上安装和使用PostgreSQL

    关系数据库管理系统是许多网站和应用程序的关键组件,它们提供了一种结构化的方式来存储、组织和访问信息,本文演示了如何在 Ubuntu 18.04 VPS 实例上安装 Postgres,并提供了基本数据库管理的说明,需要的朋友可以参考下
    2024-07-07
  • Postgresql开启远程访问的步骤全纪录

    Postgresql开启远程访问的步骤全纪录

    postgre一般默认为本地连接,不支持远程访问,所以如果要开启远程访问,需要更改安装文件的配置。下面这篇文章主要给大家介绍了关于Postgresql开启远程访问的相关资料,需要的朋友可以参考借鉴,下面来一起看看吧。
    2018-03-03
  • Postgresql的日志配置教程详解

    Postgresql的日志配置教程详解

    这篇文章主要介绍了Postgresql的日志配置教程详解,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-01-01
  • postgreSQL中的内连接和外连接实现操作

    postgreSQL中的内连接和外连接实现操作

    这篇文章主要介绍了postgreSQL中的内连接和外连接实现操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-01-01
  • 详解PostgreSQL中实现数据透视表的三种方法

    详解PostgreSQL中实现数据透视表的三种方法

    数据透视表(Pivot Table)是进行数据汇总、分析、浏览和展示的强大工具,可以帮助我们了解数据中的对比情况、模式和趋势,是数据分析师和运营人员必备技能之一,本给大家介绍PostgreSQL中实现数据透视表的三种方法,需要的朋友可以参考下
    2024-04-04
  • PostgreSQL数据库事务实现方法分析

    PostgreSQL数据库事务实现方法分析

    这篇文章主要介绍了PostgreSQL数据库事务实现方法,简单讲述了事务的概念、功能,并结合实例形式分析了PostgreSQL数据库事务的定义方法及相关注意事项,需要的朋友可以参考下
    2018-08-08
  • CentOS 9 Stream 上安装 PostgreSQL 16的步骤

    CentOS 9 Stream 上安装 PostgreSQL 16的步

    在CentOS9Stream上安装PostgreSQL16,首先添加PostgreSQL官方仓库,然后禁用系统自带PostgreSQL版本,避免冲突,使用dnf命令安装PostgreSQL16,并初始化数据库,本文给大家介绍CentOS 9 Stream 上安装 PostgreSQL 16的步骤,感兴趣的朋友一起看看吧
    2024-11-11

最新评论