Python代码片段-Excel导入到MongoDB

有一次遇到一个需求,需要把Excel的数据导入到MongoDB中,表面上感觉就是导入数据很简单,但实际操作后,发现是比较麻烦的一个事情,一般图形化的工具对于MongoDB而言,导入选项都是json的,根本没有Excel的选项,而Excel中的数据包含敏感信息,又不能用在线工具转换为json,当时为了尽快处理完事情,当时尝试了Navicate工具,是支持的从Excel读取插入到MongoDB中。

这个事件结束后,感觉还是有必要要写个Python的导入脚本,完善自己的工具箱,如果再次遇到相同的问题可以有个PlanB。

代码虽然没有几行,但是胜在好用

python 复制代码
import pandas as pd
import pymongo


client = pymongo.MongoClient('mongodb://root:3a20ebec5e29c031be5ce78e6413a0@localhost:27017/admin?directConnection=true')
database = client["db1"]
collection = database["table1"]

df = pd.DataFrame(pd.read_excel("工作簿1.xlsx", sheet_name ="Sheet1"))

for row in df.itertuples():
    buf = {}
    for i,v in enumerate (list(df.columns)):
        buf [v] = row[i+1]
    print(buf)
    collection.insert_one(buf)

构建测试用Excel

MongoDB数据展示

另附Linux启动mongodb的docker-compose脚本,windows或macos请自行更改

bash 复制代码
#!/bin/bash

# 在当前目录下创建mongodb的docker-compose及相关目录

mkdir mongo-shell
mkdir db
openssl rand -base64 745 > keyfile.key
sudo chown 999 keyfile.key
sudo chmod 600 keyfile.key
sudo chown 999 mongo-shell

cat > docker-compose.yam <<EOF
version: "3.2"
services:
  mongo-standalone:
    image: mongo:4.4
    restart: always
    environment:
      MONGO_INITDB_ROOT_USERNAME: root
      MONGO_INITDB_ROOT_PASSWORD: password
    ports:
      - "27017:27017"
    volumes:
      - /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime
      - ./db:/data/db
      - ./keyfile.key:/data/keyfile.key
    command: mongod --keyFile=/data/keyfile.key --auth --port=27017
EOF

docker-compose up -d 
相关推荐
带娃的IT创业者1 小时前
《Python实战进阶》No39:模型部署——TensorFlow Serving 与 ONNX
pytorch·python·tensorflow·持续部署
Bruce-li__1 小时前
深入理解Python asyncio:从入门到实战,掌握异步编程精髓
网络·数据库·python
九月镇灵将2 小时前
6.git项目实现变更拉取与上传
git·python·scrapy·scrapyd·gitpython·gerapy
小张学Python2 小时前
AI数字人Heygem:口播与唇形同步的福音,无需docker,无需配置环境,一键整合包来了
python·数字人·heygem
跳跳糖炒酸奶2 小时前
第四章、Isaacsim在GUI中构建机器人(2):组装一个简单的机器人
人工智能·python·算法·ubuntu·机器人
可待电子单片机设计定制(论文)2 小时前
【STM32设计】数控直流稳压电源的设计与实现(实物+资料+论文)
stm32·嵌入式硬件·mongodb
步木木3 小时前
Anaconda和Pycharm的区别,以及如何选择两者
ide·python·pycharm
星始流年3 小时前
解决PyInstaller打包PySide6+QML应用的资源文件问题
python·llm·pyspider
南玖yy3 小时前
Python网络爬虫:从入门到实践
爬虫·python
inxunoffice3 小时前
批量将文本文件转换为 Word/PDF/Excel/图片等其它格式
pdf·word·excel