Python 全栈系列262 使用sqlalchemy(clickhouse)

yukai080082024-08-21 13:04

说明

再补充一篇。之前连不上的原因也挺搞笑，大概是deepseek把我带偏了，

应该是
pip3 install clickhouse-sqlalchemy -i https://mirrors.aliyun.com/pypi/simple/

但是它教我
pip3 install sqlalchemy-clickhouse -i https://mirrors.aliyun.com/pypi/simple/

关键是这个包似乎还真的存在...

内容

在小哥的帮助下，我正常连上了clickhouse。嗯，后来发现他说的对，还是chatgpt更好一点，少走弯路。最近deepseek用的有点多。

之前deepseek教错了，chatgpt很快就纠正过来了。倒不是大模型能力问题，主要还是在数据(知识)的更新上有差距。

言归正传，这次还是看怎么使用sqlalchemy 操作clickhouse。

小伙第一次帮我用Memory引擎实现了，因为对clickhouse了解还没那么多，我查了一下

总体上问题不大，但可能内存进入T时代会比较有安全感一些。现在还是要硬盘来兜。而且clickhouse的服务挺脆的，之前碰到断电关机，然后服务就再也起不来了。

python 复制代码

import pandas as pd
from sqlalchemy import Column, Integer, String, create_engine
from clickhouse_sqlalchemy import make_session, engines
from sqlalchemy.orm import sessionmaker, declarative_base

# 连接字符串格式: clickhouse+http://<username>:<password>@<host>:<port>/<database 
engine = create_engine('clickhouse+http://xxx:xxx@127.0.0.1:18123/my_database')
if engine:
    print(1)
Base = declarative_base()

# Memory只存在内存中
# class User(Base):
#     __tablename__ = 'users'
#     id = Column(Integer, primary_key=True)
#     name = Column(String(50))
#     email = Column(String(50))
#     __table_args__ = (engines.Memory(),)# 指定表引擎，这里使用 Memory 引擎 


# MergeTree才会持久化
class User(Base):
    __tablename__ = 'users'
    id = Column(Integer, primary_key=True)
    name = Column(String(50))
    email = Column(String(50))
    __table_args__ = (
        engines.MergeTree(order_by=['id']),
    )

# 创建表 
Base.metadata.create_all(engine)
# 使用 sessionmaker 创建 Session 类 
Session = sessionmaker(bind=engine)
# 使用 with 语句管理 session with Session() as session:
with Session() as session:
    users = [User(id=i, name=f'古奇{i}', email=f'gq{i}@666.com') for i in range(30) ]
    session.add_all(users)
    session.commit()

其实都挺快的，一眨眼就好了

可以查看数据库