mongodb 和MinIO 常用代码

翟羽嚄2024-03-27 0:08

mongodb_读取id并在Minio中查找该文件是否存在

python 复制代码 
import pymongo
from minio import Minio
from minio.error import S3Error

''' 
settings = {
    "ip": "mongodb://rootxxxx",  # ip
    "db_name": "tl-xxxx",  # 数据库名字
}
self.conn = MongoClient(settings['ip'])[settings['db_name']][set_name]
'''



# 创建 MongoDB 连接
client = pymongo.MongoClient("mongodb://root:roxxxxx")



#红绿灯老数据库
# 创建Minio客户端对象
minio_client = Minio(
    "xxxx.xxxx.cn:9000",
    access_key="perxxxr",
    secret_key="xxxx",
    region="xxxx",
    secure=False
)


mongo_config = {
    "ip":"mongodb://roxxxxx",   #ip
    "collections": ""
}

bucket_name="ai-lhb-tl-xxxxx"

mooogdb_name="tl-xxxx"

# 选择要连接的数据库
db = client[mooogdb_name]
collection_names = db.list_collection_names()
print("collection_names:",collection_names)
# 获取要修改的 Collection 对象
collection = db.get_collection("batch10")

total_imgs = []
i=0
j=0
for data in collection.find():
    total_imgs.append(data['_id'])
    image_name=data['_id']
    image_name="a.jpg"
    i=i+1
    #print("i={},data['_id']={}".format(i,data['_id']))
    # 检查文件是否存在
    try:
        # 检查文件是否存在
        found = minio_client.stat_object(bucket_name, image_name)
        if found:
            j=j+1
            pass
            #print("File exists")
        else:
            print("File does not exist")
    except S3Error as err:
        print(err)

print("total_imgs:",len(total_imgs))
print("i:",i)
print("j:",j)

# 使用 renameCollection 方法修改 Collection 名称,
# dropTarget=True 表示如果新的 Collection 名称已经存在，则删除该 Collection。
#collection.rename("batch10", dropTarget=True)

# 验证 Collection 名称是否成功修改
print(db.list_collection_names())

mongodb_修改Collection名称

python 复制代码 
import pymongo
''' 
settings = {
    "ip": "mongodb://root:root@x.x.x.100:xxxx",  # ip
    "db_name": "tl-stage1",  # 数据库名字
}
self.conn = MongoClient(settings['ip'])[settings['db_name']][set_name]
'''
# 创建 MongoDB 连接
client = pymongo.MongoClient("mongodb://xxxxxx")

# 选择要连接的数据库
db = client["xxxxx"]
collection_names = db.list_collection_names()
print("collection_names:",collection_names)
# 获取要修改的 Collection 对象
collection = db.get_collection("batch10_dirty")



# 使用 renameCollection 方法修改 Collection 名称,
# dropTarget=True 表示如果新的 Collection 名称已经存在，则删除该 Collection。
#collection.rename("batch10", dropTarget=True)

# 验证 Collection 名称是否成功修改
print(db.list_collection_names())

mongodb 复制一份已经存在的Collection并重新命名

python 复制代码 
'''**************************************************************************
文件说明：mongodb 复制一份已经存在的Collection并重新命名

版本：1.0
内容：mongodb 复制一份已经存在的Collection并重新命名
时间：2024.3.23
作者：狄云

***************************************************************************'''
import os
import sys
from os.path import expanduser

from pymongo import MongoClient
import datetime
from tqdm import tqdm
import argparse
import cv2
import numpy as np
import json
import sys
import os
import multiprocessing
import torch
from pathlib import Path
from minio import Minio


'''**************************************************************************
配置参数
***************************************************************************'''
# 老数据库(红绿灯)
mongo_config = {
    "ip":"mongodb://xxx@xxxxxx:xx",   #ip
    "collections": ""
}

#新数据库
# mongo_config = {
#     "ip":"mongodb://xxxx@xxxxx:27017",   #ip
#     "collections": ""
# }
LABEL_PAHT="/xxx/xxx/xxxxx/label_temp/ad8c1504-xx-11ed-8bb1-xxx/2024/01/30/1706622185/label"




'''**************************************************************************
函数名称: parse_args
描    述: 解析配置文件
输    入: 
输    出:
返 回 值: 
作    者：狄云
编写时间：2024.3.23
***************************************************************************'''
def parse_args(in_args=None):
    parser = argparse.ArgumentParser(
        description="upload stage1 imgs to mongodb and minio")
    parser.add_argument(
        "--collection",

        default="xxxx",
        help="collection name in mongodb",
    )
    parser.add_argument(
        "--database",
        default='tl-xxxx',
        help="database name in mongodb",
    )
    return parser.parse_args(in_args)

if __name__ == '__main__':
    args = parse_args()
    t = datetime.datetime.now()
    conn = MongoClient(mongo_config['ip'])[args.database]
    print("conn=",conn)
    collection_names = conn.list_collection_names()
    print("collection_names=",collection_names)
    if args.collection not in collection_names:
        print("collection not in mongodb")
        print("请检察mongodb \n1、登陆账号是新数据库还是老数据库\n2、请检查database是否正确")
        exit(0)
    else:
        print("OK!!!! clips in mongodb")
    mongo_collection = conn[args.collection]
    old_collection_name = args.collection # 要复制的已存在集合名称
    new_collection_name = "batch10_temp"  # 新集合的名称

    pipeline = [
        {"$match": {}},  # 匹配所有文档
        {"$out": new_collection_name}  # 输出到新的集合
    ]

    result = conn[old_collection_name].aggregate(pipeline)

    print(f"已复制集合 {old_collection_name} 到 {new_collection_name}")

上传红绿灯标注json文件

将标注完成后的红绿灯json文件上传到minio，并在mogodb中更信json文件名称

python 复制代码 
'''**************************************************************************
文件说明：将标注完成后的红绿灯json文件上传到minio，并在mogodb中更信json文件名称

版本：1.0
内容：将标注完成后的红绿灯json文件上传到minio，并在mogodb中更信json文件名称
时间：2024.3.23
作者：狄云

***************************************************************************'''
import os
import sys
from os.path import expanduser

from pymongo import MongoClient
import datetime
from tqdm import tqdm
import argparse
import cv2
import numpy as np
import json
import sys
import os
import multiprocessing
import torch
from pathlib import Path
from minio import Minio


'''**************************************************************************
配置参数
***************************************************************************'''
LABEL_PAHT="/disk1/xx/xx/xxx/xxx-d038-11ed-8bb1-ebe380642749/2024/01/30/1706622185/label"

# 老数据库(红绿灯)
mongo_config = {
    "ip":"mongodb://xxx@xxxx:xxx",   #ip
    "collections": ""
}

#新数据库
# mongo_config = {
#     "ip":"mongodb://xxx@xx:xx",   #ip
#     "collections": ""
# }

minio_client = Minio(
    "ossapi.xxx.cn:9000",
    access_key="xx-xx",
    secret_key="xx",
    region="shjd-xx",
    secure=False
)
bucket_name = "ai-xxx-tl-xx"

def parse_args(in_args=None):
    parser = argparse.ArgumentParser(
        description="upload stage1 imgs to mongodb and minio")
    parser.add_argument(
        "--collection",

        default="xx",
        help="collection name in mongodb",
    )
    parser.add_argument(
        "--database",
        default='tl-xxx',
        help="database name in mongodb",
    )
    return parser.parse_args(in_args)




'''**************************************************************************
函数名称: parse_args
描    述: 使用 MongoDB 和 MinIO 来查找文件
输    入: 
输    出:
返 回 值: 
作    者：狄云
编写时间：2024.3.23
***************************************************************************'''
def processing():
    global mongo_collection

    # 1、遍历MongoDB batch10所有元素
    total_imgs = []
    for data in mongo_collection.find():
        image_id = data['_id']
        total_imgs.append(image_id)
        #2、 查找对应文件夹中是否存在该图像对应的json文件，有就更新MongoDB中label_json 元素，没有就不写
        json_name=os.path.splitext(image_id)[0]
        json_name=json_name+'.json'
 

        json_file_path = LABEL_PAHT + "/" + json_name # 合并文件夹路径和文件名

        if os.path.exists(json_file_path):
            #print(f"The file {json_name} exists in the folder.")
            pass
        else:
            print(f"The file {json_name} does not exist in the folder.")
            continue
        
        # 更新MongoDB中label_json 元素,update_one更新一条数据
        mongo_collection.update_one({"_id":image_id},{"$set":{"label_json":json_name}})
        #print("update OK")


        #3、 将 json 文件上传到minio 
        # 上传JSON文件
        try:
            minio_client.fput_object(bucket_name, json_name, json_file_path)
            print(f"文件 {json_name} 上传成功至存储桶 {bucket_name}")
        except Exception as e:
            print(f"发生错误：{e}")
    print("total_imgs=",total_imgs[0])
    print("total_imgs.size=",len(total_imgs))








    # try:
    #     # 使用 MongoDB 的 find() 方法来查找具有指定 _id 的文件。
    #     data = conn.find({"_id": clip_name})
    #     for cur_data in data:
    #         # 此时 cur_data 获取的是_id 对应的所有数据
    #         print("cur_data=",cur_data)

    # except:
    #     print("代码出了问题")
    #     pass


if __name__ == '__main__':
    args = parse_args()
    t = datetime.datetime.now()
    conn = MongoClient(mongo_config['ip'])[args.database]
    print("conn=",conn)
    collection_names = conn.list_collection_names()
    print("collection_names=",collection_names)
    if args.collection not in collection_names:
        print("collection not in mongodb")
        print("请检察mongodb \n1、登陆账号是新数据库还是老数据库\n2、请检查database是否正确")
        exit(0)
    else:
        print("OK!!!! clips in mongodb")
    mongo_collection = conn[args.collection]

    processing()
相关推荐
Database_Cool_27 分钟前
AI 应用数据底座首选：阿里云 PolarDB 为大模型 RAG 提供一体化支撑
数据库·阿里云
玖玥拾31 分钟前
C# 语言进阶（十五）C# 游戏服务端 MySQL 数据库
服务器·开发语言·网络·数据库·mysql·c#
IvorySQL2 小时前
PG 日报｜社区讨论重构 pg_hba 配置文件格式
数据库·人工智能·postgresql·重构·ivorysql
逝水无殇2 小时前
C# 文件的输入与输出详解
开发语言·数据库·后端·c#
罗政3 小时前
PDF 批量合并工具：本地 AI 自动排序、识别正文日期与合同编号
数据库·pdf·php
SelectDB3 小时前
宽表元数据膨胀怎么解？Doris Segment V3 对比 Parquet、Lance
大数据·数据库·数据分析
曹牧4 小时前
Oracle：快速定位最新数据
数据库·oracle
Zhu7584 小时前
在Docker环境部署ApacheGuacamole，对接PG数据库
数据库·docker·容器
Leighteen5 小时前
Redis与MySQL双写一致性：从问题根源到工程落地
数据库·redis·mysql
热门推荐
01GitHub 镜像站点02AI科技热点日报 | 2026年07月01日03幻兽帕鲁 - 服务器管理员权限与 GM 命令完全指南042026年7月AI圈大地震：GPT-5.6被政府限制、Claude入驻Slack、Anthropic自研芯片05GPT-5.5 对比 GPT-5.6 Sol、Terra、Luna：官方性能数据与选型分析062026 国产 AI 大模型横评：DeepSeek、通义千问、Kimi、文心一言、星火、豆包谁更能打？07AI 编程 IDE 全景解析 2026：Agent 全面接管开发链路082026 年 AI 编程工具终极横评：Cursor vs Claude Code vs Copilot vs Windsurf092026 AI 编程工具终极实战指南：Cursor vs Claude Code vs Copilot，开发者该怎么选？10几个好用的ip纯净度检测网站