MongoDB +Dataframe+excel透视表

读取MongoDB中的表

复制代码
from pymongo import MongoClient
import pandas as pd
client = MongoClient('IP地址', 27017)

db = client['AOI']
collection = db['表名'] #替换为实际的名称
document = collection.find({'time':{'$gte':'2023-08-15 15:26:06'}})#筛选数据
df = pd.DataFrame(list(document))#转换为python常用的dataframe
# df = df[(df["time"] >= '2023-08-15 15:26:06')]
df["marks"] = df["marks"].astype('str')
df = df[df["marks"].str.contains("name")] #筛选数据
df = df.loc[:, ['_id', 'id', 'marks', 'time']] #选择想要的列
df.to_csv('path.csv', index=False)

Dataframe合并:

  1. 横向合并(增加列数)(跟据共同列来合并,如果有不同列则添加列)

(数据库的某些表数据太多无法保存到本地,直接merge取交集)

on=['串号']: 根据共同列进行合并,一定要保证有相同列名,不然会报错。

how='inner':取交集

复制代码
df1 = pd.read_csv('D:\df1.csv', encoding='gbk')
df2 = pd.read_csv('D:\df2.csv', encoding='gbk')
df_merge = pd.merge(df1, df2, on=['串号'], how='inner')
df_merge.to_csv('D:\df3.csv')
  1. 纵向合并(增加行数)

    merge_df = pd.concat([df1, df2], ignore_index=True)
    merge_df.to_csv('D:\df_merge.csv', index=False)

Dataframe去重:(我发现老是去重失败,不知道为啥)

复制代码
df = pd.read_csv('D:\AOI\df_merge_expert.csv', encoding='gbk')
df.drop_duplicates(keep='first', inplace=True)
df.to_csv('D:\AOI\df_merge_expert1.csv', index=False)
相关推荐
SelectDB技术团队28 分钟前
Apache Doris 2025 Roadmap:构建 GenAI 时代实时高效统一的数据底座
大数据·数据库·数据仓库·人工智能·ai·数据分析·湖仓一体
冷凝女子28 分钟前
【QT】获取文件路径中的文件名,去掉后缀,然后提取文件名中的数字
开发语言·数据库·qt
Y第五个季节31 分钟前
Redis - HyperLogLog
数据库·redis·缓存
Allen Bright1 小时前
【MySQL基础-20】MySQL条件函数全面解析:提升查询逻辑的利器
数据库·mysql
Justice link1 小时前
企业级NoSql数据库Redis集群
数据库·redis·缓存
爱的叹息1 小时前
主流数据库的存储引擎/存储机制的详细对比分析,涵盖关系型数据库、NoSQL数据库和分布式数据库
数据库·分布式·nosql
XiaoLeisj2 小时前
【MyBatis】深入解析 MyBatis XML 开发:增删改查操作和方法命名规范、@Param 重命名参数、XML 返回自增主键方法
xml·java·数据库·spring boot·sql·intellij-idea·mybatis
dleei2 小时前
MySql安装及SQL语句
数据库·后端·mysql
信徒_3 小时前
Mysql 在什么样的情况下会产生死锁?
android·数据库·mysql
嘴对嘴编程4 小时前
oracle数据泵操作
数据库·oracle