在dolphinDB上直接保存一个dataframe为分布式数据表

步骤1:获取链接

py 复制代码
import dolphindb as ddb
from loguru import logger

def get_dolphin_session():
    """获取dolphinDB的session"""
    dolphin_config = {
        "host": "127.0.0.1",
        "port": 13900,
        "username": "admin",
        "password": "123456",
    }
    s = ddb.session()
    _result = s.connect(dolphin_config['host'], dolphin_config['port'], dolphin_config['username'],
                        dolphin_config['password'])
    if not _result:
        logger.error("DolphinDB 数据库无法连接!!")
        return None
    return s

步骤2:开始保存数据

这里博主打包了一个工具类:

py 复制代码
def dolphin_append_data_by_dt(dolphin_db_path, db_table_name, dataframe,
                              partition_col="trade_date"):
    """直接保存dataframe的数据到dolphin_db中
    注意:dataframe的index无法添加
    -----------------------------
    dolphin_db_path: 为要保存的数据库,示例:"dfs://my_db"
    db_table_name: 为要保存的表名称,示例:"my_table"
    partition_col: 用于指定创建数据库的时候作为分区的列(这里需要根据自己的dataframe修改,比如博主想按照日期分区,对应的博主的dataframe中有一列叫trade_date)
    """
    dataframe.reset_index(inplace=True, drop=True)
    if not s.existsTable(dolphin_db_path, db_table_name):  # 如果表不存在,按照当前样式的文件创建数据表
        _db = s.database(dbPath=dolphin_db_path)
        _table = s.table(data=dataframe)
        _db.createPartitionedTable(table=_table, tableName=db_table_name, partitionColumns=partition_col).append(_table)
        return # 保存完成
    else:
    	print("数据表已经存在了")
相关推荐
陈皮波比茶8 小时前
分布式任务调度xxl-job
java·分布式
敲代码的嘎仔9 小时前
从集群锁失效到异步领券:我用分布式锁 + Redisson + MQ 把领券接口 RT 从 200ms 压到 15ms
java·数据库·redis·分布式·缓存·ai·wpf
lauo12 小时前
FDE的终极形态:从“一个人”到“一个网络”
人工智能·分布式
雾隐隐o17 小时前
Kafka 集群搭建:从核心概念到多节点部署
分布式·kafka
IT大白鼠1 天前
MySQL 分布式集群系列 · 第八篇(收官)——NDB 集群面试高频题 +架构总结与未来演进
分布式·mysql·面试
IT大白鼠1 天前
MySQL 分布式集群系列 · 第七篇——生产调优实战:NDB 性能、内存、高可用全方位优化
数据库·分布式·mysql
無a伟2 天前
RabbitMq高级特性:TTL,死信队列,延迟队列
java·分布式·rabbitmq
stark张宇2 天前
从 Paxos 到 Raft:一文讲透分布式一致性与复制状态机
分布式·后端
kaoa0002 天前
Linux入门攻坚——89、Hadoop-1-架构及概念
大数据·linux·hadoop·分布式
海宇大数据2 天前
分布式网格实战:基于海宇柠檬查出险-登记证构建自动化车辆合规网关
运维·人工智能·分布式·自动化