【大数据存储与处理】实验五 Python 操作 MongoDB

实验五 Python 操作 MongoDB

【实验目的】：

完成 python 操作 mongodb。
掌握 pymongo 安装配置过程。

【实验内容与要求】：

安装 pymongo 方法一：

cd /home/hadoop/myshare/pymongo-3.10.1.tar.gz

tar zxvf pymongo-3.10.1.tar.gz

mv pymongo-3.10.1 /home/app/pymongo

cd /home/app/pymongo

python setup.py install

安装 pymongo 方法二：

pip install pymongo

题目一：编写 python 程序

安装方法二：

首先下载 pymongo 包：

python3 -m pip install pymongo

创建 python 文件，命名为 pyinsert.py

在 pyinsert.py 中编写如下代码：

python 复制代码

from pymongo import MongoClient
from random import randint

name1 = ["yang ", "li ", "zhou "]
name2 = [
    "chao",
    "hao",
    "gao",
    "qi gao",
    "hao hao",
    "gao gao",
    "chao hao",
    "ji gao",
    "ji hao",
    "li gao",
    "li hao",
]

provinces = [
    "guang dong",
    "guang xi",
    "shan dong",
    "shan xi",
    "he nan"
]
client = MongoClient('mongodb://192.168.226.132:27017/')
db = client.student
sm = db.smessage
sm.delete_many({})
for i in range(1, 100):
    name = name1[randint(0, 2)] + name2[randint(0, 10)]
    province = provinces[randint(0, 4)]
    new_student = {
        "name": name,
        "age": randint(1, 30),
        "province": province,
        "subject": [
            {"name": "chinese", "score": randint(0, 100)},
            {"name": "math", "score": randint(0, 100)},
            {"name": "english", "score": randint(0, 100)},
            {"name": "chemic", "score": randint(0, 100)},
        ]}
    print(new_student)
    sm.insert_one(new_student)
print(sm.count_documents({}))

执行 py 代码

切换至 pyinsert.py 所在目录下，执行以下命令：

python3 pyinsert.py

查看插入的数据

db.smessage.findOne()

题目二：在 mongodb shell 终端查询

查询广东学生的平均年龄。

db.smessage.aggregate({ $match: {province: "guang dong"}},{$ group: { _id: "$province",

age:{ $avg:"$ age"}}})

查询所有省份的平均年龄。

db.smessage.aggregate({ $group: { _id: "$ province", age:{ $avg:"$ age"}}})

查询广东省所有科目的平均成绩。

db.smessage.aggregate({ $match: {province: "guang dong"}},{$ unwind: " $subject"},{$ group:

{ _id: {province:" $province",sujname:"$ subject.name"}, per:{ $avg:"$ subject.score"}}})

在题目 2 的基础上进行排序。

db.smessage.aggregate({$match: {province: "guang

dong"}},{ $unwind:"$ subject"},{ $group:{ _id:{province:"$ province",sujname:"$subject.name"},

per:{ $avg:"$ subject.score"}}},{$sort:{per:1}})

查询结果如图所示：

题目三：编写 python 程序

首先下载 pymongo 包：

python3 -m pip install pymongo

创建 python 文件，命名为 pybbs.py

在 pybbs.py 中编写如下代码：

python 复制代码

from pymongo import MongoClient
from random import randint

name = [
    'yangx',
    'yxxx',
    'laok',
    'kkk',
    'ji',
    'gaoxiao',
    'laoj',
    'meimei',
    'jj',
    'manwang',
]
title = [
    '123',
    '321',
    '12',
    '21',
    'aaa',
    'bbb',
    'ccc',
    'sss',
    'aaaa',
    'cccc',
]

client = MongoClient('mongodb://192.168.226.132:27017/')
db = client.test
bbs = db.bbs
bbs.delete_many({})  # Remove all documents from the collection

for i in range(1, 10000):
    na = name[randint(0, 9)]
    ti = title[randint(0, 9)]
    newcard = {
        'author': na,
        'title': ti,
    }
    bbs.insert_one(newcard)

print(bbs.count_documents({}))  # Count the number of documents in the collection

查看插入的数据

db.bbs.findOne()

题目四：在 mongodb shell 终端查询

查询每条记录的作者。

db.bbs.aggregate({"$project":{"author":1}})

用 group 将作者名称分组。

db.bbs.aggregate({" $group":{"_id":"$ author","count":{"$sum":1}}})

在题目 4 的基础上进行排序。

db.bbs.aggregate({" $group":{"_id":"$ author","count":{" $sum":1}}},{"$ sort":{"count":-1}})

在 4 的基础上限制输出结果为 5 个

db.bbs.aggregate({" $group":{"_id":"$ author","count":{" $sum":1}}},{"$ sort":{"count":-1}}, {"$limit":5})

思考题：如何更安全的访问 MongoDB 数据库？

要更安全地访问MongoDB数据库，可以采取以下几个步骤：

启用身份验证：在MongoDB中创建用户并分配合适的权限，然后启用身份验证。这样只有经过身份验证的用户才能访问数据库。
使用强密码：确保为MongoDB用户设置强密码，包括足够的长度和复杂性。避免使用容易猜测的密码，最好使用密码管理工具来生成和存储密码。
使用TLS/SSL加密：通过启用TLS/SSL加密，在数据库连接过程中对数据进行加密传输，确保数据在传输过程中的安全性。
限制网络访问：将MongoDB实例设置为仅接受来自可信源的连接，例如特定IP地址或经过安全网络隔离的服务器。
更新和维护数据库：定期更新MongoDB和相关驱动程序以获取最新的安全性补丁。此外，监控和审计数据库活动，以便及时发现和应对任何潜在的安全问题。
定期备份数据：定期备份MongoDB数据库，以防止数据丢失或意外删除。确保备份数据存储在安全的位置，并测试恢复过程以验证备份的完整性和可用性。

完成Python操作MongoDB的代码已经在前面提供过了，你可以使用pymongo库来操作MongoDB数据库。记得按照安全的最佳实践来编写代码，例如使用安全的身份验证、加密通信等。

小结

完成 python 操作 mongodb。

在本次任务中，我们完成了使用Python操作MongoDB数据库的代码。我们使用了pymongo库来连接MongoDB并执行一些常见的操作，如插入文档、查询文档和更新文档。

要注意的是，当访问MongoDB数据库时，需要确保使用安全的方法来保护数据和系统的安全性。以下是一些常见的最佳实践：

启用身份验证并为用户设置强密码，以便只有经过身份验证的用户才能访问数据库。
使用TLS/SSL加密来保护数据在传输过程中的安全性。
限制网络访问，只允许来自可信源的连接，并进行必要的网络隔离和防火墙设置。
定期更新数据库和相关驱动程序以获取最新的安全性补丁。
定期备份数据以防止数据丢失，并确保备份数据存储在安全的位置。

遵循这些安全性最佳实践将有助于保护MongoDB数据库和相关数据的安全性和完整性。在编写代码时，还应注意处理异常、输入验证和安全编码等方面，以防止潜在的安全漏洞。