Python mongodb批量修改数据库某个字段

数据库集合中有个字段是短信价格(单价*计费条数),经常会需要修改历史短信价格,由于数据量比较大(百万或者千万级别),for循环一条一条更新则速度非常慢。可使用下面脚本批量更新:

python 复制代码
from pymongo import MongoClient, UpdateOne

# ------------------ 配置 MongoDB ------------------
username = "xxxx"
password = "xxxx"
host = "172.16.xxx.xxx"
port = 27017
db_name = "sms"
collection_name = "sms_record"

client = MongoClient(
    host=host,
    port=port,
    username=username,
    password=password,
    authSource=db_name
)

db = client[db_name]
smsRecord = db[collection_name]

# ------------------ 查询条件 ------------------
startPt = "20260101"
endPt = "20260107"
appId = 123456
query = {"pt": {'$gte': startPt, "$lte": endPt}, "appId": appId}

# ------------------ 批量更新设置 ------------------
batch_size = 1000  # 每批处理多少条
operations = []
updated_count = 0
smsPrice = 0.03  # 标准单价

# ------------------ 遍历并准备批量操作 ------------------
for item in smsRecord.find(query, no_cursor_timeout=True):
    sid = item['sid']
    amount = item['amount']
    fee = item['fee']
    
    if float(fee) / float(amount) == smsPrice:
        continue  # 已是标准单价,不需要更新

    print(item)
    new_fee = smsPrice * amount
    operations.append(UpdateOne({'sid': sid}, {'$set': {'fee': new_fee}}))
    updated_count += 1

    # 达到批量大小就提交一次
    if len(operations) >= batch_size:
        smsRecord.bulk_write(operations)
        print(f"已更新 {updated_count} 条记录")
        operations = []

# ------------------ 提交剩余未提交的操作 ------------------
if operations:
    smsRecord.bulk_write(operations)
    print(f"已更新 {updated_count} 条记录")

print(f"批量更新完成,总共更新 {updated_count} 条记录")
相关推荐
旦莫17 小时前
自动化测试需求分析:从“做对”到“做好”的前提
python·测试开发·自动化·需求分析·ai测试
dagouaofei17 小时前
工作计划 PPT 使用 AI 生成,与传统制作方式有什么不同
人工智能·python·powerpoint
智航GIS17 小时前
10.2 Requests库入门
开发语言·python
hudawei99617 小时前
win和Mac在创建python虚拟环境,启动环境等操作的异同
windows·python·macos·虚拟环境
Yu_iChan17 小时前
苍穹外卖Day09 地址簿模块
java·数据库·mybatis
戴西软件17 小时前
戴西发布 DLM许可证加密防护软件V4.2让工业软件授权迈入并发调度与精细治理时代
运维·服务器·网络·数据库·人工智能·安全·云计算
NineData18 小时前
NineData云原生智能数据管理平台新功能发布|2025年12月版
数据库·云原生·数据库管理工具·ninedata·数据库迁移·数据库迁移工具·智能数据管理平台
叫我:松哥19 小时前
基于大数据和深度学习的智能空气质量监测与预测平台,采用Spark数据预处理,利用TensorFlow构建LSTM深度学习模型
大数据·python·深度学习·机器学习·spark·flask·lstm
2501_941805931 天前
在大阪智能零售场景中构建支付实时处理与高并发顾客行为分析平台的工程设计实践经验分享
数据库