Python mongodb批量修改数据库某个字段

数据库集合中有个字段是短信价格(单价*计费条数),经常会需要修改历史短信价格,由于数据量比较大(百万或者千万级别),for循环一条一条更新则速度非常慢。可使用下面脚本批量更新:

python 复制代码
from pymongo import MongoClient, UpdateOne

# ------------------ 配置 MongoDB ------------------
username = "xxxx"
password = "xxxx"
host = "172.16.xxx.xxx"
port = 27017
db_name = "sms"
collection_name = "sms_record"

client = MongoClient(
    host=host,
    port=port,
    username=username,
    password=password,
    authSource=db_name
)

db = client[db_name]
smsRecord = db[collection_name]

# ------------------ 查询条件 ------------------
startPt = "20260101"
endPt = "20260107"
appId = 123456
query = {"pt": {'$gte': startPt, "$lte": endPt}, "appId": appId}

# ------------------ 批量更新设置 ------------------
batch_size = 1000  # 每批处理多少条
operations = []
updated_count = 0
smsPrice = 0.03  # 标准单价

# ------------------ 遍历并准备批量操作 ------------------
for item in smsRecord.find(query, no_cursor_timeout=True):
    sid = item['sid']
    amount = item['amount']
    fee = item['fee']
    
    if float(fee) / float(amount) == smsPrice:
        continue  # 已是标准单价,不需要更新

    print(item)
    new_fee = smsPrice * amount
    operations.append(UpdateOne({'sid': sid}, {'$set': {'fee': new_fee}}))
    updated_count += 1

    # 达到批量大小就提交一次
    if len(operations) >= batch_size:
        smsRecord.bulk_write(operations)
        print(f"已更新 {updated_count} 条记录")
        operations = []

# ------------------ 提交剩余未提交的操作 ------------------
if operations:
    smsRecord.bulk_write(operations)
    print(f"已更新 {updated_count} 条记录")

print(f"批量更新完成,总共更新 {updated_count} 条记录")
相关推荐
Gigavision5 小时前
基于BUAA-MIHR数据集的噪声解耦对比学习算法
人工智能·python·深度学习·算法
IPdodo_6 小时前
跨境 API 调用不稳定怎么办:出口、超时重试与链路监控的实践
网络·python·网络协议
Madison-No76 小时前
搭建项目测试环境
linux·运维·服务器·python
+VX:Fegn08956 小时前
计算机毕业设计|基于springboot + vue蛋糕店管理系统(源码+数据库+文档)
前端·数据库·vue.js·spring boot·课程设计
计算机编程-吉哥7 小时前
YOLO26 vs YOLO11 vs YOLOv8:深度学习咖啡果实成熟度分割系统【计算机毕业设计选题推荐】
人工智能·python·深度学习·yolo·django·毕业设计
大衛說7 小时前
11 · 异常处理与日志
python
auto_go8 小时前
Python 实战指南(7)——账本动不动就崩?先把“魔法字符串”和“裸报错”干掉
python
Beyond_System|系统之外8 小时前
【学编程】Python基础编程题100道(21-60)
开发语言·python·算法
根目录下的猫8 小时前
RK3588适配的轻量级AI模型推荐
人工智能·后端·python·目标检测