Vanna数据平权:非技术人员的数据库自由

上一篇文章我们简单介绍了Vanna.AI - Personalized AI SQL Agent,一篇基于RAG的自然语言生成SQL的工具。 今天我们来一起深入学习它。假如你和我一样在准备24年的春招,在前端全栈外,再准备一些AIGC的内容是非常有必要的。24年是AI红利年,AIGC+各种岗位大厂机会会多些,同意的同学请点赞。

前言

Vanna为Text2SQL这一AIGC需求,提供了非常棒的开发套件,我感觉要离不开它了。如果您还没有注册Vanna, 请先看Vanna.AI - Personalized AI SQL Agent。现在让我们从app.vana.ai页面开始,利用Vanna开发AIGC SQL应用。

chinook

Vanna 默认使用的LLM是chinook,点击会进入到默认的chat robot页面。

我们先来分析下,左侧是一些示例问题;右上角的Current Model菜单可以切换其它LLM;默认选中的是Chat聊天页,旁边的Training可以加载我们要训练的数据,这非常方便。Users是针对用户的管理,Connections是针对连接的管理

架构图

上面是在Vanna github主页上显示的架构图。Vanna 支持Any SQL Database(多种数据库),也支持Any Vector Storage(向量数据库)。也支持多种大语言模型,甚至对接多种AIGC前端(Flask/Streamlit/Slack...)。从这张图,我们可以看出Vanna是多么的强大!

工作方式

Vanna生效分为两步,先是用户提交数据库训练(RAG应用中的上传文件),第二步是问答。

  • 数据训练

我们交给Vanna RAG应用的数据库文件可以是DDL、文档、也可以给些参考的SQL查询(few shots),这些数据会被Embedding(LLM需要),然后存储在向量数据库中。

  • 问答

用户提出的问题首先也会被Embedding,找到相关的DDL/文档/或参考的SQL(相似计算),构建提示词,发送给LLM, 最后由LLM生成SQL,返回用户。

训练

  • 安装

    pip install vanna

  • 给Vanna 自定义大模型或向量数据库

python 复制代码
# LLM 使用的是 OpenAI ,向量数据库是ChromaDB

from vanna.openai.openai_chat import OpenAI_Chat
from vanna.chromadb.chromadb_vector import ChromaDB_VectorStore

class MyVanna(ChromaDB_VectorStore, OpenAI_Chat):
    def __init__(self, config=None):
        ChromaDB_VectorStore.__init__(self, config=config)
        OpenAI_Chat.__init__(self, config=config)

vn = MyVanna(config={'api_key': 'sk-...', 'model': 'gpt-4-...'})
  • 训练
  1. 根据DDL 声明进行训练
ini 复制代码
vn.train(ddl="""
    CREATE TABLE IF NOT EXISTS my-table (
        id INT PRIMARY KEY,
        name VARCHAR(100),
        age INT
    )
""")

DDL声明包含了表名、字段名、数据类型和数据表间的关系。

  1. 根据文档进行训练

我们也可以用文档描述数据

ini 复制代码
vn.train(documentation="Our business defines XYZ as ...")
  1. 根据SQL训练
ini 复制代码
vn.train(sql="SELECT name, age FROM my-table WHERE name = 'John Doe'")

当我们加入sql 进行训练,这些sql即可以做为few shots,又可以提供DDL上下文,提供SQL信息。

  • 提问
arduino 复制代码
vn.ask("What are the top 10 customers by sales?")

Vanna 返回SQL:

vbnet 复制代码
SELECT c.c_name as customer_name,
        sum(l.l_extendedprice * (1 - l.l_discount)) as total_sales
FROM   snowflake_sample_data.tpch_sf1.lineitem l join snowflake_sample_data.tpch_sf1.orders o
        ON l.l_orderkey = o.o_orderkey join snowflake_sample_data.tpch_sf1.customer c
        ON o.o_custkey = c.c_custkey
GROUP BY customer_name
ORDER BY total_sales desc limit 10;

如果数据库连接了,我们将得到以下数据:

Vanna 连数据表都帮我们考虑好了。

总结

  • 了解Vanna的架构和工作原理
相关推荐
脆皮泡泡4 分钟前
Ultiverse 和web3新玩法?AI和GameFi的结合是怎样
人工智能·web3
机器人虎哥7 分钟前
【8210A-TX2】Ubuntu18.04 + ROS_ Melodic + TM-16多线激光 雷达评测
人工智能·机器学习
码银15 分钟前
冲破AI 浪潮冲击下的 迷茫与焦虑
人工智能
敲上瘾18 分钟前
操作系统的理解
linux·运维·服务器·c++·大模型·操作系统·aigc
何大春18 分钟前
【弱监督语义分割】Self-supervised Image-specific Prototype Exploration for WSSS 论文阅读
论文阅读·人工智能·python·深度学习·论文笔记·原型模式
uncle_ll26 分钟前
PyTorch图像预处理:计算均值和方差以实现标准化
图像处理·人工智能·pytorch·均值算法·标准化
宋1381027972026 分钟前
Manus Xsens Metagloves虚拟现实手套
人工智能·机器人·vr·动作捕捉
SEVEN-YEARS30 分钟前
深入理解TensorFlow中的形状处理函数
人工智能·python·tensorflow
世优科技虚拟人34 分钟前
AI、VR与空间计算:教育和文旅领域的数字转型力量
人工智能·vr·空间计算
cloud studio AI应用40 分钟前
腾讯云 AI 代码助手:产品研发过程的思考和方法论
人工智能·云计算·腾讯云