python3之MongoDB

阅读目录

回到顶部

1、MongoDB 简介

MongoDB 是由 C++ 语言编写的,是一个基于分布式文件存储的开源数据库系统。

在高负载的情况下,添加更多的节点,可以保证服务器性能。

MongoDB 旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。

MongoDB 将数据存储为一个文档,数据结构由键值 (key=>value) 对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档,数组及文档数组。

主要特点:

  • MongoDB 是一个面向文档存储的数据库,操作起来比较简单和容易。
  • 你可以在 MongoDB 记录中设置任何属性的索引 (如:FirstName="Sameer",Address="8 Gandhi Road") 来实现更快的排序。
  • 你可以通过本地或者网络创建数据镜像,这使得 MongoDB 有更强的扩展性。
  • 如果负载的增加(需要更多的存储空间和更强的处理能力) ,它可以分布在计算机网络中的其他节点上这就是所谓的分片。
  • Mongo 支持丰富的查询表达式。查询指令使用 JSON 形式的标记,可轻易查询文档中内嵌的对象及数组。
  • MongoDb 使用 update() 命令可以实现替换完成的文档(数据)或者一些指定的数据字段 。
  • Mongodb 中的 Map/reduce 主要是用来对数据进行批量处理和聚合操作。
  • Map 和 Reduce。Map 函数调用 emit(key,value) 遍历集合中所有的记录,将 key 与 value 传给 Reduce 函数进行处理。
  • Map 函数和 Reduce 函数是使用 Javascript 编写的,并可以通过 db.runCommand 或 mapreduce 命令来执行 MapReduce 操作。
  • GridFS 是 MongoDB 中的一个内置功能,可以用于存放大量小文件。
  • MongoDB 允许在服务端执行脚本,可以用 Javascript 编写某个函数,直接在服务端执行,也可以把函数的定义存储在服务端,下次直接调用即可。
  • MongoDB 支持各种编程语言:RUBY,PYTHON,JAVA,C++,PHP,C# 等多种语言。

MongoDB 工具:

使用于 MongoDB 管理的工具包括监控工具和 GUI

监控:

MongoDB 提供了网络和系统监控工具 Munin,它作为一个插件应用于 MongoDB 中。

Gangila 是 MongoDB 高性能的系统监视的工具,它作为一个插件应用于 MongoDB 中。

基于图形界面的开源工具 Cacti, 用于查看 CPU 负载, 网络带宽利用率, 它也提供了一个应用于监控 MongoDB 的插件。

GUI:

  • Fang of Mongo – 网页式, 由 Django 和 jQuery 所构成。
  • Futon4Mongo – 一个 CouchDB Futon web 的 mongodb 山寨版。
  • Mongo3 – Ruby 写成。
  • MongoHub – 适用于 OSX 的应用程序。
  • Opricot – 一个基于浏览器的 MongoDB 控制台, 由 PHP 撰写而成。
  • Database Master — Windows 的 mongodb 管理工具
  • RockMongo — 最好的 PHP 语言的 MongoDB 管理工具,轻量级, 支持多国语言.
回到顶部

2、MongoDB 安装

(1)windows 平台安装 MongoDB

下载地址:https://www.mongodb.com/download-center#community

直接下载安装文件,然后选择安装路径安装即可,安装完成后通过系统服务启动 mongdb

(2)linux 平台安装 MongoDB

# wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel62-4.0.0.tgz
# tar xf mongodb-linux-x86_64-rhel62-4.0.0.tgz 
# mv mongodb-linux-x86_64-rhel62-4.0.0 /usr/local/mongod

#echo "export PATH=$PATH:/usr/local/mongodb/bin" >> /etc/profile

. /etc/profile

#创建数据目录

mkdir -p /data/db

#启动服务

mongod

更多安装详细:https://docs.mongodb.com/manual/installation/

回到顶部

3、mongoDB 基本操作

(1)创建操作

创建或插入操作将新的文档添加到集合中,如果集合不存在则插入操作将创建该集合

db.collection.insertOne()  插入单个文档

db.collection.insertMany()   插入多个文档

db.collection.insert()  将单个或多个文档插入到集合中

 

> db.dba.insertOne({item:"card",qty:15})
{
        "acknowledged" : true,
        "insertedId" : ObjectId("5b35cabe638a2654f3efaa8f")
}
>
#指定 _id 插入文档
> db.dba.insertOne({_id:1,item:"python",qty:100})
{ "acknowledged" : true, "insertedId" : 1 }

#插入多个文档
> db.dba.insertMany([{_id:2,item:"java",qty:88},{_id:3,item:'javascript',qty:77},{_id:4,item:'django',qty:66}])
{
"acknowledged" : true, "insertedIds" : [2, 3, 4] }

(2)查询操作

读取操作从集合中检索文档

db.collection.find()

> db.dba.find()  #查询集合所有

> db.dba.find({_id:1}) #查询 _id 为 1 的文档

> db.dba.find({_id:{$gt:2} }) #查询 _id 大于 2 的文档

(3)更新操作

db.collection.updateOne()   更新单个文档

db.collection.updateMany()  更新多个文档

db.collection.replaceOne()  替换文档

db.dba.updateOne({item:"python"},{$set:{qty:111}})  #修改 item 为 python 的 qty 为 111

#将 data 字段更新为当前日期,如果不存在则创建该字段
db.dba.updateOne({item:"python"},{$currentDate:{data:true}})

#将 _id 大于 2 的文档修改 qty 的值并设置 date 字段为当前时间
db.dba.updateMany({_id:{$gt:2}},{$set:{qty:"hello"},$currentDate:{date:true}})

#将 _id 为 1 的字段替换掉
db.dba.replaceOne({_id:1},{_id:1,item:"abc",qty:333,data:2018})

(4)删除操作

db.collection.deleteOne()   #删除一条文档

db.collection.deleteMany()   #删除多条文档

#删除指定条件的一条文档
db.dba.deleteOne({_id:1})
#删除集合所有文档
db.dba.deleteMany({})

#删除 _id 大于 3 的文档
db.dba.deleteMany({_id:{$gt:3}})

回到顶部

4、python 使用 MongoDB

(1)安装 MongoDB 驱动程序

pip install pymongo

(2)链接 MongoDB

client=pymongo.MongoClient(host='localhost',port=27017)
#或者
client=pymongo.MongoClient('mongodb://localhost:27017/')

(3)指定数据库

db=client.dba
#或者
db=client['dba']

(4)指定集合

collection=db.dba
#或者
collection=db['dba']

(5)插入数据

#插入数据单条数据
student={
    '_id':1,
    'name':'python',
    'age':200,
}
#result=collection.insert(student)
#print(result)  #返回一个 InsertOneResult 实例
#插入多条数据
suudentany=[
    {'_id':2,'name':'java','age':300},
    {'_id':3,'name':'javascript','age':400},
    {'_id':4,'name':'c++','age':500}
]
#result=collection.insert_many(suudentany)
#print(result)
#print(result.inserted_ids) #显示插入数据 id 列表

(6)查询数据

result=collection.find_one({'name':'python'}) #查询单条数据
print(type(result))  #返回字典类型
print(result)
#查询多条数据,需要迭代读取
resultall=collection.find()
for i in resultall:
    print(i)

过滤查询匹配的文档

resultfiter=collection.find({'age':{'$gt':300}})  #查询 age 大于 300 的文档
for i in resultfiter:
    print(i)

#
{'_id': 3, 'name': 'javascript', 'age': 400}
{
'_id': 4, 'name': 'c++', 'age': 500}

比较符号还有:$lt 小于、$gt 大于、$lte 小于等于、$gte 大于等于、$ne 不等于、$in 在范围内、$nin 不在范围内

另外还可以用正则匹配 $regex

result=collection.find({'name':{'$regex':'^p.*'}}) #匹配以 P 开头的 name

其他功能符号:$exists 属性是否存在、$type 类型判断、$mod 数字余数、$text 文本查询、$shere 条件查询

更多详细用法可以在 MongoDB 官网找到:https://docs.mongodb.com/manual/reference/operator/query/

(7)计数

要统计查询结果有多少条数据,可以调用 count() 方法

count=collection.find().count()
#或者统计符合条件的数据
count=collection.find({'age':20}).count()

(8)排序

排序时,直接调用 sort() 方法,并在其中传入排序的字段及升降序标志即可

pymongo.ASCENDING 为升序,pymongo.DESCENDING 为降序

results=collection.find().sort('name',pymongo.ASCENDING)

(9)偏移

如只想去某几个元素,可以利用 skip() 方法偏移位置来忽略前面的元素

results=collection.find().sort('name',pymongo.ASCENDING).skip(2) #只取第三个及后面的元素

另外还可以使用 limit() 方法指定要取的结果个数

results=collection.find().sort('name',pymongo.ASCENDING).skip(2).limit(2)  #只取两个结果

(10)更新

可以使用 update() 方法来更新数据,但此方法不够安全可以使用 $set 它只 更新存在文档内存在的字段

result=collection.update({'name':'python'},{'date':8})
#上面方法不安全,它会将除了 _id 和要更新的数据外的其他字段会被删除
#使用 $set 会比较安全
result=collection.update({'name':'python'},{'$set':{'date':12}})

官方推荐使用 update_one()和 update_many() 方法,来严格控制影响的字段,它需要使用 $ 类型的操作字符来作为字典的键名

result=collection.update_one({'_id':3},{'$set':{'name':'javascript'}})
print(result)
print(result.matched_count,result.modified_count) #打印匹配的数据条数和影响的数据条数

#updata_many() 会将所有符合条件的数据都更新
result=collection.update_many({'date':{'$gt':2}},{'$inc':{'data':10}}) #将所有 date 值大于 2 的文档加上 10

(11)删除

删除可以使用的方法有 remove()符合条件的数据都会被删除,delete_one() 值删除符合条件的第一条和 delete_many() 删除所有符合条件的

result=collection.delete_one({'name':'java'})  
result1=collection.delete_many({'data':{'$gt':20}})

(12)其他操作

pyMongo 还提供了一些组合方法:

find_one_and_delete()   查找后删除

find_one_and_replace()  查找后替换

find_one_and_update()  查找后更新

create_index()   在集合上创建索引

create_indexes()  在集合上创建一个或多个索引

drop_index()  删除此集合上的索引

更多集合操作方法:http://api.mongodb.com/python/current/api/pymongo/collection.html

 pymongo 的 API 文档:http://api.mongodb.com/python/current/api/pymongo/index.html