sqlite-vec:谁说SQLite不是向量数据库?

sqlite-vec 是一个 SQLite 向量搜索插件,具有以零依赖、轻量级、跨平台和高效 KNN 搜索等优势,是本地化向量检索(例如 RAG)、轻量级 AI 应用以及边缘计算等场景的理想工具。

sqlite-vec 使用纯 C 语言实现,零外部依赖,体积小巧,适用于各种 SQLite 运行环境(Linux、MacOS、Windows、WASM、Android、iOS、Raspberry Pi 等)。

sqlite-vec 基于 vec0 虚拟表实现了 float、int8 以及二进制向量的存储与相似查询,所有操作都基于 SQL 完成。

sqlite-vec 提供了多种编程语言(Python、Ruby、Node.js、Deno、Bun、Go、Rust 等)驱动,以下命令用于安装 Python 模块:

bash 复制代码
pip install sqlite-vec

接下来是一个在 Python 代码中使用 sqlite-vec 的简单示例:

python 复制代码
import sqlite3
import sqlite_vec

from typing import List
import struct


def serialize_f32(vector: List[float]) -> bytes:
    """serializes a list of floats into a compact "raw bytes" format"""
    return struct.pack("%sf" % len(vector), *vector)


db = sqlite3.connect(":memory:")
db.enable_load_extension(True)
sqlite_vec.load(db)
db.enable_load_extension(False)

sqlite_version, vec_version = db.execute(
    "select sqlite_version(), vec_version()"
).fetchone()
print(f"sqlite_version={sqlite_version}, vec_version={vec_version}")

items = [
    (1, [0.1, 0.1, 0.1, 0.1]),
    (2, [0.2, 0.2, 0.2, 0.2]),
    (3, [0.3, 0.3, 0.3, 0.3]),
    (4, [0.4, 0.4, 0.4, 0.4]),
    (5, [0.5, 0.5, 0.5, 0.5]),
]
query = [0.3, 0.3, 0.3, 0.3]

db.execute("CREATE VIRTUAL TABLE vec_items USING vec0(embedding float[4])")

with db:
    for item in items:
        db.execute(
            "INSERT INTO vec_items(rowid, embedding) VALUES (?, ?)",
            [item[0], serialize_f32(item[1])],
        )

rows = db.execute(
    """
      SELECT
        rowid,
        distance
      FROM vec_items
      WHERE embedding MATCH ?
      ORDER BY distance
      LIMIT 3
    """,
    [serialize_f32(query)],
).fetchall()

print(rows)

代码运行的结果如下:

bash 复制代码
sqlite_version=3.45.3, vec_version=v0.1.6
[(3, 0.0), (4, 0.19999998807907104), (2, 0.20000001788139343)]

更多的介绍和示例可以参考网址:

https://alexgarcia.xyz/sqlite-vec/

另外,这个开源项目的作者还提供了两个用于生成文本嵌入(Text Embedding)的项目,配合 sqlite-vec 使用更加方便:

  • sqlite-rembed,基于远程 API(OpenAI、Nomic、Ollama 等)生成文本嵌入;
  • sqlite-lembed,基于 .gguf 格式的本地嵌入模型生成文本嵌入。
相关推荐
胖胖的战士10 小时前
Mysql 数据库迁移
数据库·mysql
czhc114007566310 小时前
LINUX1012 mysql GLIBC安装
数据库·mysql
Juchecar10 小时前
如何理解“AI token 大宗商品化”?
人工智能
文火冰糖的硅基工坊10 小时前
[人工智能-大模型-29]:大模型应用层技术栈 - 第二层:Prompt 编排层(Prompt Orchestration)
人工智能·大模型·prompt·copilot
DemonAvenger10 小时前
深入 Redis Hash:从原理到实战,10 年经验的后端工程师带你玩转哈希结构
数据库·redis·性能优化
大模型真好玩10 小时前
LangGraph实战项目:从零手搓DeepResearch(三)——LangGraph多智能体搭建与部署
人工智能·langchain·mcp
飞哥数智坊10 小时前
DeepSeek-OCR:用“看图”代替“读文”,一种更像人类的上下文压缩方式
人工智能·deepseek
L.fountain10 小时前
强化学习2.2 MDP实践——Frozen lake
人工智能·强化学习
JJJJ_iii10 小时前
【机器学习06】神经网络的实现、训练与向量化
人工智能·笔记·深度学习·神经网络·学习·机器学习·线性回归
倔强的石头10610 小时前
AI协作天花板!CherryStudio让多模型协同像搭积木
人工智能·cpolar