mongoDB的基本操作以及数据的导入导出，备份和恢复

基本概念与常用命令为什么我们要使用MongoDB？特点:高性能、易部署、易使用，存储数据非常方便。主要功能特性有：面向集合存储，易存储对象类型的数据。模式自由。支持动态查询。支持完全索引，包含内部对象。支持查询。支持复制和故障恢复。使用高效的二进制数据存储，包括大型对象（如视频等）。自动处理碎片，以支持云计算层次的扩展性支持Python，PHP，Ruby，Java，C，C#，Javascript，Perl及C++语言的驱动程序，社区中也提供了对Erlang及.NET等平台的驱动程序。文件存储格式为BSON（一种JSON的扩展）。可通过网络访问。功能:面向集合的存储：适合存储对象及JSON形式的数据。动态查询：Mongo支持丰富的查询表达式。查询指令使用JSON形式的标记，可轻易查询文档中内嵌的对象及数组。完整的索引支持：包括文档内嵌对象及数组。Mongo的查询优化器会分析查询表达式，并生成一个高效的查询计划。查询监视：Mongo包含一个监视工具用于分析数据库操作的性能。复制及自动故障转移：Mongo数据库支持服务器之间的数据复制，支持主-从模式及服务器之间的相互复制。复制的主要目标是提供冗余及自动故障转移。高效的传统存储方式：支持二进制数据及大型对象（如照片或图片）自动分片以支持云级别的伸缩性：自动分片功能支持水平的数据库集群，可动态添加额外的机器。适用场合:网站数据：Mongo非常适合实时的插入，更新与查询，并具备网站实时数据存储所需的复制及高度伸缩性。缓存：由于性能很高，Mongo也适合作为信息基础设施的缓存层。在系统重启之后，由Mongo搭建的持久化缓存层可以避免下层的数据源 过载。大尺寸，低价值的数据：使用传统的关系型数据库存储一些数据时可能会比较昂贵，在此之前，很多时候程序员往往会选择传统的文件进行存储。高伸缩性的场景：Mongo非常适合由数十或数百台服务器组成的数据库。Mongo的路线图中已经包含对MapReduce引擎的内置支持。用于对象及JSON数据的存储：Mongo的BSON数据格式非常适合文档化格式的存储及查询。  回到顶部MongoDB要注意的问题1 因为MongoDB是全索引的，所以它直接把索引放在内存中，因此最多支持2.5G的数据。如果是64位的会更多。2 因为没有恢复机制，因此要做好数据备份3 因为默认监听地址是127.0.0.1，因此要进行身份验证，否则不够安全；如果是自己使用，建议配置成localhost主机名4 通过GetLastError确保变更。（这个不懂，实际中没用过） 回到顶部MongoDB结构介绍mongodb中存储的对象时BSON，是一种类似JSON的二进制文件，它是由许多的键值对组成。如下所示{"name" : "huangz","age" : 20,"sex" : "male"}{"name" : "jack","class" : 3, "grade" : 3}而数据库的整体结构组成如下：键值对--》文档--》集合--》数据库MongoDB的文件单个大小不超过4M，但是新版本后可提升到16MMongoDB中的key命名规则如下："\0"不能使用带有"."号，"_"号和"$"号前缀的Key被保留大小写有区别，Age不同于age同一个文档不能有相同的Key除了上面几条规则外，其他所有UTF-8字符都可以使用回到顶部常用命令1 #进入数据库use admin2 #增加或修改密码db.addUser('xingoo','123')db.addUser("xingoo","123",true) 参数分别为 用户名、密码、是否只读3 #查看用户列表db.system.users.find()4 #用户认证db.auth('xingoo','123')5 #删除用户db.removeUser('xingoo')6 #查看所有用户show users7 #查看所有数据库show dbs8 #查看所有的collection集合show collections9 #查看各个collection的状态db.printCollectionStats()10 #查看主从复制状态db.printReplicationInfo()11 #修复数据库db.repairDatabase()12 #设置profiling,0:off 1:slow 2 alldb.setProfilingLevel(1)13 #查看profilingshow profiling14 #拷贝数据库db.copyDatabase('xingootest','xingootest1')db.copyDatabase("xingootest","temp","127.0.0.1")15 #删除集合collectiondb.xingootest.drop()16 #删除当前数据库db.dropDatabase() 回到顶部MongoDB增删改命令1 #存储嵌套的对象db.foo.save({'name':xingoo,'age':25,'address':{'city':'changchun','Province':'Jilin'}})2 #存储数组对象db.foo.save({'name':xingoo,'age':25,'address':['Jilin Province','Liaoning Province']})3 #根据query条件修改，如果不存在则插入，允许修改多条记录db.foo.update({'age':'25'},{'$set':{'name':'xingoo'}},upsert=true,multi=true)4 #删除yy=5的记录db.foo.remove({'name':'xingoo'})5 #删除所有的记录db.foo.remove() 回到顶部索引1 #增加索引:1 asc -1 descdb.foo.ensureIndex({firstname:1,lastname:-1},{unieap:true})2 #索引子对象(不懂)db.foo.ensureIndex({'Al.Em':!})3 #查看索引信息db.foo.getIndexes()db.foo.getIndexKeys()4 #根据索引名删除索引(不懂)db.foo.dropIndex('Al.Em_1') 回到顶部查询条件操作符 1 $gt ---- > 2 $lt ---- 3 $gte ---- >= 4 $lte ---- = 5 $ne ---- != 、 6 $in ---- in 7 $nin ---- not in 8 $all ---- all 9 $or ---- or 10 $not ---- 反匹配 1 #查询所有记录db.foo.find() ---- select * from foo2 #查询某列非重复的记录db.foo.distinct("xingoo") ---- select distinct name from foo3 #查询age = 22 的记录db.foo.find({"age":22}) ---- select * from foo where age = 224 #查询age > 22 的记录db.foo.find({age:{$gt:22}}) ---- select * from foo where age > 225 #查询agedb.foo.find({age:{$lt:22}}) ---- select * from foo where age6 #查询agedb.foo.find({age:{$lte:25}})7 #查询age >= 23 并且 agedb.foo.find({age:{gte:23,lte:26}})8 #查询name中包含xingoo的数据db.foo.find({name:/xingoo/}) ---- select * from foo where name like '%xingoo%'9 #查询name中以xingoo开头的数据db.foo.find({name:/^xingoo/}) ---- select * from foo where name like 'xingoo%'10 #查询指定列name、age的数据db.foo.find({},{name:1,age:1}) ---- select name,age from foo11 #查询制定列name、age数据，并且age > 22db.foo.find({age:{$gt:22}},{name:1,age:1}) ---- select name,age from foo where age >2212 #按照年龄排序升序：db.foo.find().sort({age:1})  降序：db.foo.find().sort({age:-1})13 #查询name=xingoo.age=25的数据db.foo.find({name:'xingoo',age:22}) ---- select * from foo where name='xingoo' and age ='25'14#查询前5条数据db.foo.find().limit(5) ---- select top 5 * from foo15 #查询10条以后的数据db.foo.find().skip(10) ---- select * from foo where id not in (select top 10 * from foo);16 #查询在5-10之间的数据db.foo.find().limit(10).skip(5) 17 #or与查询db.foo.find({$or:[{age:22},{age:25}]}) ---- select * from foo where age=22 or age =2518 #查询第一条数据db.foo.findOne() 、db.foo.find().limit(1)---- select top 1 * from foo19 #查询某个结果集的记录条数db.foo.find({age:{$gte:25}}).count() ---- select count(*) from foo where age >= 2020 #按照某列进行排序(不懂)db.foo.find({sex:{$exists:true}}).count() ---- select count(sex) from foo21 #查询age取模10等于0的数据db.foo.find('this.age % 10 == 0')、db.foo.find({age:{$mod:[10,0]}})22 #匹配所有db.foo.find({age:{$all:[22,25]}})23 #查询不匹配name=X*带头的记录db.foo.find({name:{$not:/^X.*/}})24 #排除返回age字段db.foo.find({name:'xingoo'},{age:0})25 #判断字段是否存在db.foo.find({name:{$exists:true}}) 回到顶部管理1 #查看collection数据大小db.xingootest.dataSize()2 #查看collection状态db.xingootest.stats()3 #查询所有索引的大小db.xingootest.totalIndexSize()mongoDB关于数据库的操作> db.help();　　------DB methods　　　　　　User相关的基本操作：> show users　　　　　　　　　　　　　　　　　       ------查看所有用户> db.system.users.find()　　　　　　　　　　　　　　------查看用户列表> db.addUser('name','pwd')　　　　　　                     ------增加或修改用户密码> db.addUser("userName", "pwd123", true)　　　　　 ------添加用户、设置密码、是否只读> db.auth("userName", "123123")　　　　　　            ------数据库认证、安全模式> db.removeUser('name')　　　　　　                         ------根据用户名删除用户Database相关的基本操作：> show dbs                                                                           ------查看所有数据库> use [db-name]                                                                  ------当创建一个集合(table)的时候会自动创建当前数据库，这个指令相当于MySQL的use [database-name]> db.dropDatabase()                                                          ------删除当前的数据库> db.repairDatabase()                                                        ------修复数据库> db.copyDatabase('mail_addr','mail_addr_tmp')         -----拷贝数据库> db.copyDatabase("mydb", "temp", "127.0.0.1")          ------将本机的mydb的数据复制到temp数据库中> db.cloneDatabase(“127.0.0.1”)                                     ------将指定机器上的数据库的数据克隆到当前数据库Collection相关的基本操作：> show collections                                                             ------查看所有的集合 > db.printReplicationInfo()　                                            ------查看主从复制状态> db.mail_addr.drop()　                                                    ------删除collection(mail_addr 是collections的名字)> db.createCollection(“collectionName”, {size: 20, capped: 5, max: 100})            ------创建一个聚集集合> db.getCollection("account")                                        ------得到指定名称的聚集集合> db.getCollectionNames()                                             ------得到当前db的所有聚集集合> db.printCollectionStats()                                              ------查看各collection的状态其它：> db.getPrevError()                                                          ------查询之前的错误信息> db.resetError()                                                               ------清除错误记录> db.user.help();             -----DBCollection help   (此处的user表示的是我的collection的名字)查看聚集集合的基本信息(下面出现的test表示collection的名字)> db.test.count();     　　　　　　　　　　　　　------查询当前集合的数据条数> db.test.dataSIze();                                                   ------查询数据空间大小> db.test.getDB();                                                       ------得到当前聚集集合所在的database> db.test.stats();                                                          ------得到当前聚集的状态> db.test.totalSize();　                                               ------得到聚集集合总大小> db.test.storageSize();                                             ------得到聚集集合储存空间大小> db.test.getShardVersion();                                    ------Shard版本信息> db.test.renameCollection("users");                     ------将集合test重名为users> db.test.drop();                                                          ------删除当前聚集集合mongoDB数据的导入和导出　　Mongodb中的mongoexport工具可以把一个collection导出成JSON格式或CSV格式的文件。可以通过参数指定导出的数据项，也可以根据指定的条件导出数据。　　导出命令选项说明:　-h:指明数据库宿主机的IP-u:指明数据库的用户名-p:指明数据库的密码-d:指明数据库的名字-c:指明collection的名字-f:指明要导出那些列-o:指明到要导出的文件名-q:指明导出数据的过滤条件[sql] view plaincopyuser@user-xubuntu:/usr/lib/mongodb/bin$ sudo ./mongoexport -d wx_connect -c template -o template.txt  [sudo] password for user:   connected to: 127.0.0.1  exported 28 records      　在导出数据时没有显示指定导出样式 ，默认导出了JSON格式的数据。如果我们需要导出CSV格式的数据，则需要使用--csv参数。导出的位置在/usr/lib/mongodb/bin下面，可以自己指定路径[plain] view plaincopyuser@user-xubuntu:/usr/lib/mongodb/bin$ sudo ./mongoexport -d wx_connect -c template --csv -o template_csv.dat  connected to: 127.0.0.1  csv mode requires a field list　　　　　　　　　　　　　　　　　　　　　------第一次没有指明要导出的列，所以只是实现一个空的文件  user@user-xubuntu:/usr/lib/mongodb/bin$ sudo ./mongoexport -d wx_connect -c template --csv -f msgId,templateId,status,toUser -o template_csv_new.dat  connected to: 127.0.0.1  exported 28 records　　　　　　　　　　　　　　　　　　　　　　　　　　　------导出成功      　Mongodb中的mongoimport工具可以把一个特定格式文件中的内容导入到指定的collection中。该工具可以导入JSON格式数据，也可以导入CSV格式数据    　导入命令选项说明:　 -h:指明数据库宿主机的IP-u:指明数据库的用户名-p:指明数据库的密码-d:指明数据库的名字-c:指明collection的名字-f:指明要导入那些列　　删除数据库中的数据(删除的时候可能会报remove needs a query at src/mongo/shell/collection.js:299这个错误，查阅相关资料没有找到答案。解决的方法：直接删除collections,然后在导数据，或者是安装mongoDB时指定数据data的路径，登陆mongo服务器端的时候也指定路径，这样应该不会出现删数据的时候需要去查询。第二种方法有待考证！)[sql] view plaincopy> db.template.remove();  [sql] view plaincopy> db.template.drop();  true　　　　　　　　　　　　　　　　　　　　　　------删除聚集集合collection        导入数据(导入数据的时候会隐式创建表结构)[sql] view plaincopyuser@user-xubuntu:/usr/lib/mongodb/bin$ sudo ./mongoimport -d wx_connect -c template  -o template.txt  connected to: 127.0.0.1  imported 28 records　  　  上面演示的是导入JSON格式的文件中的内容，如果要导入CSV格式文件中的内容，则需要通过--type参数指定导入格式(CSV 格式良好，主流数据库都支持导出为CSV 的格式，所以这种格式非常利于异构数据迁移)[sql] view plaincopyuser@user-xubuntu:/usr/lib/mongodb/bin$ sudo ./mongoexport -d wx_connect -c template --type csv --headerline --file template_csv_new.dat  connected to: 127.0.0.1  exported 28 records  　 参数说明：　-type:指明要导入的文件格式　-headerline:指明第一行是列名，不需要导入　-file：指明要导入的文件MongoDB的数据备份和恢复　  用mongodump 来做MongoDB 的库或表级别的备份      备份选项说明(sudo ./mongodump  --help)：-h:指明数据库宿主机的IP-u:指明数据库的用户名-p:指明数据库的密码-d:指明数据库的名字-c:指明collection的名字-o:输出目录-q:json query(json查询)[sql] view plaincopyuser@user-xubuntu:/usr/lib/mongodb/bin$ sudo ./mongodump -d wx_connect -c template  connected to: 127.0.0.1  2014-11-07T11:05:45.473+0800 DATABASE: wx_connect    to     dump/wx_connect  2014-11-07T11:05:45.474+0800 wx_connect.template to dump/wx_connect/template.bson  2014-11-07T11:05:45.475+0800         28 documents  2014-11-07T11:05:45.475+0800 Metadata for wx_connect.template to dump/wx_connect/template.metadata.json          这个备份操作备份的是wx_connect数据库下面的一个collections，这个collection的名字是template，如果不写-c template，那么备份的就是整个数据库wx_connect.　默认的备份路径就是dump[sql] view plaincopyuser@user-xubuntu:/usr/lib/mongodb/bin$ cd dump  user@user-xubuntu:/usr/lib/mongodb/bin/dump$ ls  wx_connect  user@user-xubuntu:/usr/lib/mongodb/bin/dump$ cd wx_connect/  user@user-xubuntu:/usr/lib/mongodb/bin/dump/wx_connect$ ls  template.bson  template.metadata.json                     ------备份之后会生成两个文件  　　用mongorestore 来做MongoDB 的库或表级别的数据恢复　   恢复选项说明(sudo ./mongorestore  --help):-u:指明数据库的用户名-p:指明数据库的密码-d:指明数据库的名字-c:指明collection的名字　　　　　　　　[sql] view plaincopyuser@user-xubuntu:/usr/lib/mongodb/bin$ sudo ./mongorestore -d wx_connect dump/wx_connect 　　//wx_connect是数据库的名字，dump/wx_connect　用来做恢复的文件路径　  [sudo] password for user:   connected to: 127.0.0.1  2014-11-07T12:04:55.412+0800 dump/wx_connect/template.bson  2014-11-07T12:04:55.413+0800    going into namespace [wx_connect.template]  28 objects found  2014-11-07T12:04:55.416+0800    Creating index: { key: { _id: 1 }, name: "_id_", ns: "wx_connect.template" }         经验证数据已经恢复。