MongoDB在不同主机间复制数据库和集合的教程

 更新时间:2016年07月04日 15:49:51   作者:lucifercn  
MongoDB自带了clone一族JavaScript函数来进行数据的复制,这里我们总结了MongoDB在不同主机间复制数据库和集合的教程,列举出了一些主从复制操作中常用的重要函数:

1. db.cloneCollection()
db.cloneCollection(from, collection, query)
在不同的mongodb实例间复制数据,db.cloneCollection是cloneCollection数据库命令的一个外在体现。

function (from, collection, query) {
 assert( isString(from) && from.length );
 assert( isString(collection) && collection.length );
 collection = this._name + "." + collection;
 query = query || {};
 return this._dbCommand( { cloneCollection:collection, from:from, query:query
} );
}

参数:

from  string  包含需要复制的表的mongodb实例主机名
collection string  数据实例中需要复制的表名,该命令只可以复制远程mongodb实例上相同数据库名称的表
query  document 可选的选项。标准的查询语句过滤掉不需要的文档

db.cloneCollection()不允许通过mongos来复制表,只能通过mongod实例来操作。
示例:
192.168.11.51 mongod实例mydb库,bar集合:

{ "_id" : ObjectId("53687d9df433cf04b788c6d1"), "name" : "dog" }
{ "_id" : ObjectId("53687ff1f433cf04b788c6d2"), "name" : "cat" }
{ "_id" : ObjectId("53687ff4f433cf04b788c6d3"), "name" : "tiger" }

本地mongod实例mydb库,复制远程主机的bar集合中满足查询条件的文档:

db.cloneCollection("192.168.11.52", "bar", {"name" : "tiger"})
db.bar.find();
{ "_id" : ObjectId("53687ff4f433cf04b788c6d3"), "name" : "tiger" }

2. db.cloneDatabase()
db.cloneDatabase("hostname")
复制远程主机的数据库到本地,该命令假设远程mongodb实例中拥有与本地相同的数据库名称。

hostname  string  包含需要复制的数据库的mongodb实例主机名

db.cloneDatabase是clone数据库命令的一个外在体现。

function (from) {
 assert( isString(from) && from.length );
 return this._dbCommand( { clone: from } );
}

示例:
192.168.11.51 mongod实例mydb库,
本机mongodb实例:

use mydb
db.dropDatabase();
db.cloneDatabase("192.168.11.52");

3. db.copyDatabase()
db.copyDatabase(fromdb, todb, fromhost, username, password)
从远程主机复制数据库到本地,或从本地复制数据库到远程主机。

db.copyDatabase是copydb数据库命令的一个外在体现。
function (fromdb, todb, fromhost, username, password) {
 assert( isString(fromdb) && fromdb.length );
 assert( isString(todb) && todb.length );
 fromhost = fromhost || "";
 if ( username && password ) {
  var n = this._adminCommand( { copydbgetnonce : 1, fromhost:fromhost } );

  return this._adminCommand( { copydb:1, fromhost:fromhost, fromdb:fromdb,
 todb:todb, username:username, nonce:n.nonce, key:this.__pwHash( n.nonce, userna
me, password ) } );
 } else {
  return this._adminCommand( { copydb:1, fromhost:fromhost, fromdb:fromdb,
 todb:todb } );
 }
}

参数:

fromdb  string  源数据库名称
todb  string  目标数据库名称
fromhost string  可选项,源数据库的主机名。如果是同一主机,忽略该选项
username string  可选项,源主机名用户名
password string  可选项,源主机名用户名对应密码

属性:
(1)db.copyDatabase()运行在目标主机的mongod实例上。
(2)db.copyDatabase()会创建目标数据库,如果其原来不存在。
(3)db.copyDatabase()需要目标机器上有足够的空间进行复制。
(4)db.copyDatabase()并不会产生目标数据库的即时快照。如果在复制过程中在源或目标库发生读写操作,会导致数据库不一致。
(5)db.copyDatabase()在操作过程中并不会锁住目标主机,所以复制过程中可能出现暂时的中断来完成其他操作。
源数据库(fromdb):
mongodb2.6需要在源主机和目标主机拥有以下权限来执行copydb。
(1)如果源主机数据库不是admin,必须确保拥有以下权限:
{ resource: { db: "mySourceDB", collection: "" }, actions: [ "find" ] }
{ resource: { db: "mySourceDB", collection: "system.js" }, actions: [ "find" ] }
如果源主机是一台远程主机,必须确保拥有以下权限:

{ resource: { db: "mySourceDB", collection: "system.indexes" }, actions: [ "find" ] }
{ resource: { db: "mySourceDB", collection: "system.namespaces" }, actions: [ "find" ] }

(2)如果源主机数据库是admin,必须确保拥有以下权限:

{ resource: { db: "admin", collection: "" }, actions: [ "find" ] }
{ resource: { db: "admin", collection: "system.js" }, actions: [ "find" ] }
{ resource: { db: "admin", collection: "system.users" }, actions: [ "find" ] }
{ resource: { db: "admin", collection: "system.roles" }, actions: [ "find" ] }
{ resource: { db: "admin", collection: "system.version" }, actions: [ "find" ] }

如果源主机是一台远程主机,必须确保拥有以下权限:

{ resource: { db: "admin", collection: "system.indexes" }, actions: [ "find" ] }
{ resource: { db: "admin", collection: "system.namespaces" }, actions: [ "find" ] }

(3)源数据库在远程主机
如果从一个拥有用户认证的远程主机复制数据库,需要一个拥有恰当的权限的用户认证。
目标数据库(todb):
A、如果目标主机数据库不是admin,必须确保拥有以下权限:

{ resource: { db: "myTargetDB", collection: "" }, actions: [ "insert", "createIndex" ] }
{ resource: { db: "myTargetDB", collection: "system.js" }, actions: [ "insert" ] }

B、如果目标主机数据库是admin,必须确保拥有以下权限:

resource: { db: "myTargetDB", collection: "" }, actions: [ "insert", "createIndex" ] },
{ resource: { db: "myTargetDB", collection: "system.js" }, actions: [ "insert" ] },
{ resource: { db: "myTargetDB", collection: "system.users" }, actions: [ "insert" ] },
{ resource: { db: "myTargetDB", collection: "system.roles" }, actions: [ "insert" ] },
{ resource: { db: "myTargetDB", collection: "system.version" }, actions: [ "insert" ] }

示例:
192.168.11.51 mongod实例mydb库,
复制到本地newmydb库:

db.copyDatabase("mydb", "newmydb", "192.168.11.52");

4. cloneCollection
从远程mongodb实例复制集合到当前mongodb实例。集合名称是一致的:

{ cloneCollection: "<namespace>", from: "<hostname>", query: { <query> } }

cloneCollection拥有以下的域值:

cloneCollection  string  集合的命名空间,命名空间包含了数据库名和集合名的组合
from    string  指定远程主机名和可选的端口号
query    document  可选的,过滤选项

示例:
192.168.11.51 mongod实例mydb库,bar集合:

{ "_id" : ObjectId("53687d9df433cf04b788c6d1"), "name" : "dog" }
{ "_id" : ObjectId("53687ff1f433cf04b788c6d2"), "name" : "cat" }
{ "_id" : ObjectId("53687ff4f433cf04b788c6d3"), "name" : "tiger" }

本地mongod实例:

db.runCommand({cloneCollection : "mydb.bar", from : "192.168.11.52:27017", query : {"name" : "tiger"}})
use mydb
db.bar.find()
{ "_id" : ObjectId("53687ff4f433cf04b788c6d3"), "name" : "tiger" }

cloneCollectionAsCapped可以利用数据库中存在的非cpped集合创建出一个新的capped集合,操作对原来的集合没有副作用。
指令的语法:
{ cloneCollectionAsCapped: <existing collection>, toCollection: <capped collection>, size: <capped size> }
新集合名称在数据库中是独一无二的,如果要把一个已经存在的正常集合转变为cpped集合,可以使用convertToCapped命令,在复制过程中,cloneCollectionAsCapped指令呈现出以下行为:
mongodb会已自然顺序遍历集合中的文档。
如果size小于先前集合的尺寸,会以FIFO规则删除早先的文档。
实例:

db.runCommand({cloneCollectionAsCapped : "bar", toCollection : "barone", size : 100})
db.barone.isCapped();

true

5. clone
clone命令从远程服务器mongodb实例复制一个数据库到当前的mongodb实例,形式如下:

{ clone: "db1.example.net:27017" }

需要注意的几点:
(1)clone不能去操作slave节点或副本集的非主节点。
(2)clone并不支持数据库快照功能,如果有客户端对数据更新过了,可能造成结果不一致。
(3)clone命令必须运行在目标节点上。
(4)clone过程中,目标主机没有锁定,所以复制过程中可能出现暂时的中断来完成其他操作。

6. copydb
从远程主机复制数据库到本地,或从本地复制数据库到远程主机。
在本地admin库里运行以下命令语法:

{ copydb: 1,
 fromhost: <hostname>,
 fromdb: <database>,
 todb: <database>,
 slaveOk: <bool>,
 username: <username>,
 nonce: <nonce>,
 key: <key> }

选项:

fromhost  string  运行mongodb实例的远程源主机,如果是本地可以忽略
fromdb   string  源数据库名称
todb   string  目标数据库名称
slaveOk   boolean  可选的,设置为true,允许从从库复制库
username  string  可选的,远程主机的用户名。
nonce   string  可选的,远程主机的共享密钥
key    string  可选的,远程主机的认证密码哈希

属性:
(1)copydb()运行在目标主机的mongod实例上。
(2)copydb()会创建目标数据库,如果其原来不存在。
(3)copydb()需要目标机器上有足够的空间进行复制。
(4)copydb()并不会产生目标数据库的即时快照。如果在复制过程中在源或目标库发生读写操作,会导致数据库不一致。
(5)copydb()在操作过程中并不会锁住目标主机,所以复制过程中可能出现暂时的中断来完成其他操作。
mongodb2.6需要在源主机和目标主机拥有以下权限来执行copydb。
(1)如果源主机数据库不是admin,必须确保拥有以下权限:

{ resource: { db: "mySourceDB", collection: "" }, actions: [ "find" ] }
{ resource: { db: "mySourceDB", collection: "system.js" }, actions: [ "find" ] }

如果源主机是一台远程主机,必须确保拥有以下权限:

{ resource: { db: "mySourceDB", collection: "system.indexes" }, actions: [ "find" ] }
{ resource: { db: "mySourceDB", collection: "system.namespaces" }, actions: [ "find" ] }

(2)如果源主机数据库是admin,必须确保拥有以下权限:

{ resource: { db: "admin", collection: "" }, actions: [ "find" ] }
{ resource: { db: "admin", collection: "system.js" }, actions: [ "find" ] }
{ resource: { db: "admin", collection: "system.users" }, actions: [ "find" ] }
{ resource: { db: "admin", collection: "system.roles" }, actions: [ "find" ] }
{ resource: { db: "admin", collection: "system.version" }, actions: [ "find" ] }

如果源主机是一台远程主机,必须确保拥有以下权限:

{ resource: { db: "admin", collection: "system.indexes" }, actions: [ "find" ] }
{ resource: { db: "admin", collection: "system.namespaces" }, actions: [ "find" ] }

(3)源数据库在远程主机
如果从一个拥有用户认证的远程主机复制数据库,需要一个拥有恰当的权限的用户认证。
目标数据库(todb):
A、如果目标主机数据库不是admin,必须确保拥有以下权限:

{ resource: { db: "myTargetDB", collection: "" }, actions: [ "insert", "createIndex" ] }
{ resource: { db: "myTargetDB", collection: "system.js" }, actions: [ "insert" ] }

B、如果目标主机数据库是admin,必须确保拥有以下权限:

resource: { db: "myTargetDB", collection: "" }, actions: [ "insert", "createIndex" ] },
{ resource: { db: "myTargetDB", collection: "system.js" }, actions: [ "insert" ] },
{ resource: { db: "myTargetDB", collection: "system.users" }, actions: [ "insert" ] },
{ resource: { db: "myTargetDB", collection: "system.roles" }, actions: [ "insert" ] },
{ resource: { db: "myTargetDB", collection: "system.version" }, actions: [ "insert" ] }

认证:
如果远程主机需要安全认证,则需要使用username,nonce和key进行认证。
nonce是一个一次性的密码,通过运行copydbgetnonce命令:

use admin
mynonce = db.runCommand( { copydbgetnonce : 1, fromhost: <hostname> } ).nonce

如果直接在远程主机运行copydbgetnonce命令,可以忽略fromhost选项。
如下生成一个哈希键:

hex_md5(mynonce + username + hex_md5(username + ":mongo:" + password))

副本集:设置slaveOk为true,可以在从节点运行copydb。
分片集:不要在mongos实例上运行copydb;不要复制包含分片集合的库。

实例:
(1)运行在同一主机上的copydb

(2)从远程主机复制的copydb

db._adminCommand({
 copydb : 1,
 fromdb : "mydb",
 todb : "mydbtwo",
 formhost : "192.168.11.52"
})
{ "ok" : 1 }

(3)从需要安全验证的远程主机复制的copydb
远程主机建立用户test:caoqing/mydb

use admin
mynonce = db.runCommand( { copydbgetnonce : 1, fromhost: "192.168.11.51:27017" } ).nonce
mykey = hex_md5(mynonce + "test" + hex_md5("test" + ":mongo:" + "caoqing"))
db._adminCommand({
 copydb: 1,
 fromdb: "mydb",
 todb: "mydbthree",
 fromhost: "192.168.11.51",
 username: "test",
 nonce: mynonce,
 key: mykey
})
{ "ok" : 1 }

相关文章

  • MongoDB 监控工具mongostat和mongotop的使用

    MongoDB 监控工具mongostat和mongotop的使用

    这篇文章主要介绍了MongoDB 监控工具mongostat和mongotop的使用方法,帮助大家更好的理解和学习使用MongoDB,感兴趣的朋友可以了解下
    2021-03-03
  • MongoDB在系统数据库local中无法创建用户的解决办法

    MongoDB在系统数据库local中无法创建用户的解决办法

    这篇文章主要给大家介绍了关于MongoDB在系统数据库local中无法创建用户的解决办法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2018-11-11
  • MongoDB下根据数组大小进行查询的方法

    MongoDB下根据数组大小进行查询的方法

    这篇文章主要介绍了MongoDB下根据数组大小进行查询的方法,分别实现了指定大小的数组和某个范围的数组,需要的朋友可以参考下
    2014-04-04
  • 批量备份还原导入与导出MongoDB数据方式

    批量备份还原导入与导出MongoDB数据方式

    前面我们介绍了mongoDB的安装与配置,接下来我们讲一讲如何使用mongo的可视化工具Navicat对mongo数据库进行操作和如何在终端进行mongo数据库对数据的批量操作
    2021-09-09
  • SpringBoot 整合mongoDB并自定义连接池的示例代码

    SpringBoot 整合mongoDB并自定义连接池的示例代码

    这篇文章主要介绍了SpringBoot 整合mongoDB并自定义连接池 ,整合mongoDB的目的就是想用它给我们提供的mongoTemplate,它可以很容易的操作mongoDB数据库,对整合过程及实例代码感兴趣的朋友跟随小编一起看看吧
    2022-02-02
  • Mongodb使用$<identifier>过滤更新数组元素的示例代码

    Mongodb使用$<identifier>过滤更新数组元素的示例代码

    带有过滤器的位置操作符$<identifier>定义数组中数据更新时,只符合identifier定义条件的元素才可以更新,本文给大家介绍了Mongodb使用$<identifier>过滤更新数组元素的操作方法,很值得探讨和学习,需要的朋友可以参考下
    2024-06-06
  • MongoDB添加secondary节点的2种方法详解

    MongoDB添加secondary节点的2种方法详解

    这篇文章主要给大家总结介绍了关于MongoDB添加secondary节点的2种方法,以及MongoDB secondary节点出现recovering状态的解决方法,文中介绍的非常详细,需要的朋友可以参考下
    2018-10-10
  • MongoDB 事务支持详解

    MongoDB 事务支持详解

    这篇文章主要介绍了MongoDB 事务支持详解的相关资料,需要的朋友可以参考下
    2022-12-12
  • MongoDB中javascript脚本编程简介和入门实例

    MongoDB中javascript脚本编程简介和入门实例

    作为一个数据库,MongoDB有一个很大的优势——它使用js管理数据库,所以也能够使用js脚本进行复杂的管理——这种方法非常灵活
    2014-04-04
  • mongodb中非常好用的Aggregate入门教程

    mongodb中非常好用的Aggregate入门教程

    这篇文章主要给大家介绍了关于mongodb中非常好用的Aggregate的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用mongodb具有一定的参考学习价值,需要的朋友们下面来一起看看吧
    2018-12-12

最新评论