使用Bucardo5实现PostgreSQL的主数据库复制
下一代异步多个主数据库复制系统Bucardo 5发布了。这个版本删除了老版本中两个数据库源的限制，允许有更多的源数据库（即主数据库）以及更多的目标数据库（即备份数据库）。Bucardo还可以复制到其他类型的目标数据库，其中包括MySQL、MariaDB、Oracle、SQLite、MongoDB和Redis。Bucardo已经被完全重写了，这个版本比前一版本Bucardo 4功能更强大，效率更高。你可以访问Bucardo wiki查找最新版本的Bucardo。
这篇文章快速的介绍了一下Bucardo。以后的博客文章将会介绍Bucardo的强大功能，现在我们将介绍如何简单地实现多主数据库复制。
为了演示方便，我使用了亚马逊Web服务（AWS）提供的可快速创建、随意使用的服务器，即运行Amazon Linux的基本t1.micro服务器。如果你按照提示继续的话，它将免费而且简单地给你创建一个服务器实例。一旦实例创建成功，我们就可以使用ec2-user账户通过SSH协议登陆到服务器，这时就可以开始安装PostgreSQL和Bucardo了。
# Always a good idea: $ sudo yum update # This also installs other postgresql packages: $ sudo yum install postgresql-plperl # Create a new Postgres cluster: $ initdb btest
此时，我们仍然不能期待哦你个PostgreSQL，因为这个发布版的socket通信目录使用的是/var/run/postgresql和/tmp。我们调整了第一个目录的权限后就可以启动PostgreSQL了，然后创建第一个测试数据库：
$ sudo chmod 777 /var/run/postgresql $ pg_ctl -D btest -l logfile start $ createdb shake1
接下来我们就可以进行数据库复制了！为了得到样例数据，我使用了开放源代码的Shakespeare项目。它有一个易于装载的小型的、可任意使用的、简单的数据库模式。github上的这个小型项目就包含了一个现成的PostgreSQL数据库模式，现在我们将可以把它装载到新的数据库了:
$ sudo yum install git $ git clone -q https://github.com/catherinedevlin/opensourceshakespeare.git $ psql shake1 -q -f opensourceshakespeare/shakespeare.sql # You can safely ignore the 'role does not exist' errors
我们打算创建这个数据库的副本，这些副本可被当作其他数据源。换个说法，这些服务器拥有相同的数据而且可以写入。实现这些非常简单：
$ createdb shake2 -T shake1 $ createdb shake3 -T shake1
Bucardo需要安装一些依赖包。如果你安装的操作系统发布不同，那么你可能要安装的依赖包就不同：下面是我写这篇文章的时候Amazon Linux需要安装的依赖包。（如果幸运的话，你的发布包可能已经包含了Bucardo，在这种情况下，下面的执行步骤就不需要执行了，你只要运行"yum install bucard"就可以了-不过要确定一下你使用的是版本5或者更好的版本！(通过yum info bucardo查看））
$ sudo yum install perl-ExtUtils-MakeMaker perl-DBD-Pg \ > perl-Encode-Locale perl-Sys-Syslog perl-boolean \ > perl-Time-HiRes perl-Test-Simple perl-Pod-Parser $ sudo yum install cpan $ echo y | cpan DBIx::Safe
在这个系统的yum软件仓库里不包含Perl模块DBIx::Safe，因此我们需要通过CPAN来安装这个模块。一旦上面的所有依赖都安装成功，这时我们就准备安装Bucardo。我们将获取官方压缩包，验证、解压，接着安装：
$ wget -nv http://bucardo.org/Bucardo.tar.gz $ wget -nv http://bucardo.org/Bucardo.tar.gz.asc $ gpg -q --keyserver pgp.mit.edu --recv-key 14964AC8 $ gpg --verify Bucardo.tar.gz.asc $ tar xfz Bucardo.tar.gz $ ln -s Bucardo-5.0.0 bucardo $ cd bucardo $ perl Makefile.PL $ make $ sudo make install
我们对bucardorc文件(设置某些全局信息的文件）进行某些小的调整。然后运行"bucardo install",这条命令将创建bucardo的主数据库，其中包含Bucardo服务进程所需的信息：
$ mkdir pid $ echo -e "piddir=pid\nlogdest=." > .bucardorc $ bucardo install --batch --quiet Creating superuser 'bucardo'
现在已经安装好Bucardo,接下来就准备复制了。此时，我们有了三个可以彼此复制的数据库。下面我们只使用了两条命令就可以实现三数据库彼此复制:
bucardo add dbs s1,s2,s3 dbname=shake1,shake2,shake3 Added databases "s1","s2","s3" $ bucardo add sync bard dbs=s1:source,s2:source,s3:source tables=all Added sync "bard" Created a new relgroup named "bard" Created a new dbgroup named "bard" Added table "public.chapter" Added table "public.character" Added table "public.character_work" Added table "public.paragraph" Added table "public.wordform" Added table "public.work"
第一条命令，我们告诉Bucardo如何连接到三个数据库，我们告诉Bucardo数据库的名字，然后Bucardo把这三个数据库看作(s1,s2,s3)。你还可以指定端口和主机，不过在这个例子里，默认的端口为5432，而且不需要主机（采用的是Unix Socket通信机制）。
第二条命令创建了一个已命名的复制系统，其sync名称为bard。Bucardo需要知道复制到哪儿和如何复制，因此我们告诉它使用三个数据库s1,s2和s3。每一个数据库都可以作为源数据库，因此我们给它们添加了这样的信息。最后我们需要知道要复制什么。在这个例子里，我们需要复制的是所有表（或者更精确点，复制具有主键或者唯一索引的所有数据库）。注意: Bucardo总是把数据库和表放在命名组里-在这个例子里我们只是硬编码其为10，然而通常这个值是表格视图控制器数组的长度。现在例子里，这一切都是自动进行的，dbgroup和relgroup都是以sync的名字命名的。
我们验证一下复制是否运行，即检查一下更新行是否复制到sync里包含的所有数据库了：
$ bucardo start
$ psql shake1 -c \
> "update character set speechcount=123 where charname='Hamlet'"
UPDATE 1
$ for i in {1,2,3}; do psql shake$i -tc "select \
> current_database(), speechcount from character \
> where charname='Hamlet'"; done | grep s
shake1 | 123
shake2 | 123
shake3 | 123
我们还可以查看Bucardo的日志文件"log.bucardo",看看是否有复制操作：
$ tail -2 log.bucardo (25181) KID (bard) Delta count for s1.public."character": 1 (25181) KID (bard) Totals: deletes=2 inserts=2 conflicts=0
上面出现了两条delete和两条insert命令，这是因为更新一行意味着在其他两个数据库上首先运行的是delete，然后才运行insert（技术上采用的COPY)。接下来我们看看Bucardo是怎么处理冲突的。我们将对所有服务器上的同一行进行更新，这样就会产生冲突：
$ for i in {1,2,3}; do psql shake$i -tc \
> "update character set speechcount=$i$i$i \
> where charname='Hamlet'"; done
UPDATE 1
UPDATE 1
UPDATE 1
查看日志表明确实存在冲突，而且也很好的解决了冲突。默认的冲突解决方案表明：最后一个更新的数据库是获胜者，现在所有三个数据库具有与最后一个更新数据库相同的行。
$ tail log.bucardo
(25181) KID (bard) Delta count for s1.public."character": 1
(25181) KID (bard) Delta count for s2.public."character": 1
(25181) KID (bard) Delta count for s3.public."character": 1
(25181) KID (bard) Conflicts for public."character": 1
(25181) KID (bard) Conflicts have been resolved
(25181) KID (bard) Totals: deletes=2 inserts=2 conflicts=1
$ for i in {1,2,3}; do psql shake$i -tc \
> "select current_database(), speechcount \
> from character where charname='Hamlet'"; done | grep s
shake1 | 333
shake2 | 333
shake3 | 333
我们开发这个示例的时候，Bucardo有时运行的非常快，所以没有发生冲突。也就是说，因为更新时顺序执行的。所以在下一个更新之前，存在一个时间窗口可以让Bucardo完成更新的复制。另外，“暂停sync"功能也非常方便，只要在你需要暂时停止运行sync的情况下，运行下面命令即可：
$ bucardo pause bard Syncs paused: bard $ psql shake1 -c "update character set speechcount=1234 where charname='Hamlet'" UPDATE 1 $ psql shake2 -c "update character set speechcount=4321 where charname='Hamlet'" UPDATE 1 $ bucardo resume bard Syncs resumed: bard $ tail log.bucardo (27344) KID (bard) Delta count for s1.public."character": 1 (27344) KID (bard) Delta count for s2.public."character": 1 (27344) KID (bard) Conflicts for public."character": 1 (27344) KID (bard) Conflicts have been resolved (27344) KID (bard) Totals: deletes=2 inserts=2 conflicts=1
Bucardo 5比我们在这儿演示的功能多很多。以后的博客文章里我们将包含它可以完成的其他功能，从复制到比如Oracle、Mysql或者MongoDB等非PostgreSQL系统到使用自定义的冲突解决方案。以及复制时对正在运行的数据实行转换。如果你有任何问题，请在下面的评论里说明，或者写一封短信给Bucardo邮件列表bucardo-general@bucardo.org。
这么多年，如果没有许多人贡献代码、提出漏洞、测试Bucardo以及询问（或者回答！）重大问题，就不可能有这个重大版本的发布。查看 Changes文件，你就可以看到部分贡献者的列表。谢谢你们所有人，特别感谢Jon Jensen,是他在很久之前就开启了这个项目。
相关文章
Hive是一个构建在Hadoop上的数据仓库框架，最初，Hive是由Facebook开发，后台移交由Apache软件基金会开发，并做为一个Apache开源项目，感兴趣的同学可以参考阅读2023-04-04
这篇文章主要介绍了设置CA证书来强化PostgreSQL的安全性的教程,主要用到了CA私钥,需要的朋友可以参考下2015-04-04
众所周知SQL注入是比较常见的网络攻击方式之一,它不是利用操作系统的BUG来实现攻击,而是针对程序员编程时的疏忽,通过SQL语句,实现无帐号登录,下面这篇文章主要给大家介绍了关于SQL注入及防止SQL注入的相关资料,需要的朋友可以参考下2022-03-03
盲注是注入的一种,指的是在不知道数据库返回值的情况下对数据中的内容进行猜测,实施SQL注入,下面这篇文章主要给大家介绍了关于SQL注入篇之盲注/宽字节注入的相关资料,需要的朋友可以参考下2022-03-03
这篇文章主要给大家介绍了关于SQL利用Function创建长整形的唯一ID的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2018-07-07
MySQL有很多可以导入数据的方法，然而这些只是数据传输中的一半，另外的一般是从MySQL数据库中导出数据。有许多的原因我们需要导出数据。一个重要的原因是用于备份数据库。数据的造价常常是昂贵的，需要谨慎处理它们。2006-12-12
这篇文章主要介绍了influxdb数据库常用命令及SpringBoot整合,Influxdb是一个开源的分布式时序、时间和指标数据库，使用go语言编写，无需外部依赖,需要的朋友可以参考下2023-07-07
今天小编就为大家分享一篇关于数据库语言分类DDL、DCL、DML详解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2019-03-03
使用SQL Mail收发和自动处理邮件中的扩展存储过程简介...2006-12-12
这篇文章主要介绍了neo4j实现创建多个数据库方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-02-02
最新评论