如何使用DashVector的多向量检索

本文介绍如何使用DashVector的多向量检索功能。

在某些AI检索的场景,会涉及一个实体对应多个向量,在检索时希望通过多个向量检索来找到最可能的实体,例如:

  • 在自然语言处理中,标题和文档分别抽取为不同的向量特征,需要根据标题向量和文档向量同时做检索。

  • 在商品检索时,商品的图片和文字分别抽取为不同的向量特征,需要根据图片向量和文字向量同时做检索。

为了满足这些需求,DashVector支持了多向量检索。

使用示例

前提条件

创建多向量集合

说明

需要使用您的api-key替换示例中的 YOUR_API_KEY、您的Cluster Endpoint替换示例中的YOUR_CLUSTER_ENDPOINT,代码才能正常运行。

复制代码
import dashvector
import numpy as np
from dashvector import VectorParam, Doc, WeightedRanker, VectorQuery, RrfRanker

client = dashvector.Client(
    api_key='YOUR_API_KEY',
    endpoint='YOUR_CLUSTER_ENDPOINT'
)
ret = client.create(
    'multi_vector_demo',
    vectors={
        "title": VectorParam(4),
        "content": VectorParam(6, metric="euclidean"),
    },
    fields_schema={
        'author': str,
    }
)
assert ret

插入数据

说明

insert/upsert要求至少一个向量字段有值。

复制代码
collection = client.get(name='multi_vector_demo')
docs = []
for i in range(10):
    docs.append(Doc(id=str(i),
                    vectors={"title": np.random.random(4),
                             "content": np.random.random(6)
                            },
                    )
                )
ret = collection.insert(docs)
print(ret)

执行检索

说明

  1. 检索时采用的策略为多个向量分别执行检索后融合排序。当前融合排序支持两种策略:RrfRankerWeightedRanker。不指定时,默认为RrfRanker(rank_constant=100)。

  2. VectorQuery 支持的其他参数见 向量检索高级参数

    title_vector = [0.1, 0.2, 0.3, 0.4]
    content_vector = [0.1, 0.2, 0.3, 0.4, 0.5, 0.6]
    vectors = {
    "title": VectorQuery(vector=title_vector, num_candidates=10),
    "content": VectorQuery(vector=content_vector),
    }
    ret = collection.query(
    vector=vectors,
    include_vector=False,
    # 使用RRF融合排序
    # rerank=RrfRanker(rank_constant=100)
    # 使用加权融合排序
    rerank=WeightedRanker(weights={"title": 1.0, "content": 1.0}),
    topk=20
    )
    assert ret
    print(ret.output)

    使用单个向量执行检索

    ret = collection.query(vector={"title": VectorQuery(vector=title_vector)})
    assert ret
    print(ret.output)

    使用单个向量执行分组向量检索

    ret = collection.query_group_by(title_vector, group_by_field='author', vector_field='title')
    assert ret
    print(ret)

限制说明

重要

  1. 当前单个集合最多支持4个向量字段。

  2. 多向量集合暂不支持插入sparse特征。

  3. 随向量字段的个数增加,Cluster中可插入的Doc条数会减少,插入和检索的性能会下降。

  4. 检索时允许只对部分向量做检索,集合中包含n个向量字段时,允许使用1-n个向量字段做向量检索,允许使用其中的任意一个向量字段做分组向量检索

相关推荐
美狐美颜sdk1 小时前
跨平台直播美颜SDK集成实录:Android/iOS如何适配贴纸功能
android·人工智能·ios·架构·音视频·美颜sdk·第三方美颜sdk
DeepSeek-大模型系统教程2 小时前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习
晋阳十二夜2 小时前
【压力测试之_Jmeter链接Oracle数据库链接】
数据库·oracle·压力测试
郭庆汝2 小时前
pytorch、torchvision与python版本对应关系
人工智能·pytorch·python
GDAL3 小时前
Node.js v22.5+ 官方 SQLite 模块全解析:从入门到实战
数据库·sqlite·node.js
小雷FansUnion4 小时前
深入理解MCP架构:智能服务编排、上下文管理与动态路由实战
人工智能·架构·大模型·mcp
资讯分享周4 小时前
扣子空间PPT生产力升级:AI智能生成与多模态创作新时代
人工智能·powerpoint
DCTANT4 小时前
【原创】国产化适配-全量迁移MySQL数据到OpenGauss数据库
java·数据库·spring boot·mysql·opengauss
黄雪超5 小时前
JVM——函数式语法糖:如何使用Function、Stream来编写函数式程序?
java·开发语言·jvm
ThetaarSofVenice5 小时前
对象的finalization机制Test
java·开发语言·jvm