通过DashScope API调用将多种模态转换为向量

本文介绍如何通过模型服务灵积DashScope进行多模态向量生成,并入库至向量检索服务DashVector中进行向量检索。

模型服务灵积DashScope,通过灵活、易用的模型API服务,让各种模态模型的能力,都能方便的为AI开发者所用。通过灵积API,开发者不仅可以直接集成大模型的强大能力,也可以对模型进行训练微调,实现模型定制化。

前提条件

ONE-PEACE多模态向量表征

简介

ONE-PEAC是一个图文音三模态通用表征模型,在语义分割、音文检索、音频分类和视觉定位几个任务都达到了新SOTA表现,在视频分类、图像分类、图文检索、以及多模态经典benchmark也都取得了比较领先的结果。

|-----------------------------------|----------|----------|------------|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 模型名称 | 向量维度 | 度量方式 | 向量数据类型 | 备注 |
| multimodal-embedding-one-peace-v1 | 1536 | Cosine | Float32 | * 图片:图像格式目前支持bmp, jpg, jpeg, png 和 tiff;文件大小不超过5M * 音频:当前支持最大音频时长为15s,超出该时长的音频内容在 auto-truncation 功能打开的情况下会被截断继续计算向量,auto-truncation 功能关闭的时候本次请求会报错返回;语音格式目前支持 wav, mp3 和 flac;文件大小不超过5M * 文本:当前支持最大文本长度为70 字,超出该长度的文本内容在 auto-truncation 功能打开的情况下会被截断继续计算向量,auto-truncation 功能关闭的时候本次请求会报错返回; |

说明

关于灵积ONE-PEACE多模态向量表征更多信息请参考:ONE-PEACE多模态向量表征

使用示例

说明

需要进行如下替换代码才能正常运行:

  1. DashVector api-key替换示例中的{your-dashvector-api-key}

  2. DashVector Cluster Endpoint替换示例中的{your-dashvector-cluster-endpoint}

  3. DashScope api-key替换示例中的{your-dashscope-api-key}

Python示例:

复制代码
import dashscope
from dashscope import MultiModalEmbedding
from dashvector import Client


dashscope.api_key = '{your-dashscope-api-key}'


# 调用DashScope ONE-PEACE模型,将各种模态素材embedding为向量
def generate_embeddings(text: str = None, image: str = None, audio: str = None):
    input = []
    if text:
        input.append({'text': text})
    if image:
        input.append({'image': image})
    if audio:
        input.append({'audio': audio})
    result = MultiModalEmbedding.call(
        model=MultiModalEmbedding.Models.multimodal_embedding_one_peace_v1,
        input=input,
        auto_truncation=True
    )
    if result.status_code != 200:
        raise Exception(f"ONE-PEACE failed to generate embedding of {input}, result: {result}")
    return result.output["embedding"]


# 创建DashVector Client
client = Client(
    api_key='{your-dashvector-api-key}',
    endpoint='{your-dashvector-cluster-endpoint}'
)

# 创建DashVector Collection
rsp = client.create('one-peace-embedding', 1536)
assert rsp
collection = client.get('one-peace-embedding')
assert collection

# 向量入库DashVector
collection.insert(
    [
        ('ID1', generate_embeddings(text='阿里云向量检索服务DashVector是性能、性价比具佳的向量数据库之一')),
        ('ID2', generate_embeddings(image='https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png')),
        ('ID3', generate_embeddings(audio='https://dashscope.oss-cn-beijing.aliyuncs.com/audios/cow.flac')),
        ('ID4', generate_embeddings(
            text='阿里云向量检索服务DashVector是性能、性价比具佳的向量数据库之一',
            image='https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png',
            audio='https://dashscope.oss-cn-beijing.aliyuncs.com/audios/cow.flac'
        ))
    ]
)

# 向量检索
docs = collection.query(
    generate_embeddings(text='The best vector database')
)
print(docs)

相关最佳实践


阿里云向量检索服务 DashVector 免费试用进行中,玩转大模型搜索,快来试试吧~

了解更多信息,请点击:https://www.aliyun.com/product/ai/dashvector

相关推荐
山烛13 分钟前
KNN 算法中的各种距离:从原理到应用
人工智能·python·算法·机器学习·knn·k近邻算法·距离公式
盲盒Q23 分钟前
《频率之光:归途之光》
人工智能·硬件架构·量子计算
墨染点香31 分钟前
第七章 Pytorch构建模型详解【构建CIFAR10模型结构】
人工智能·pytorch·python
go546315846531 分钟前
基于分组规则的Excel数据分组优化系统设计与实现
人工智能·学习·生成对抗网络·数学建模·语音识别
茫茫人海一粒沙38 分钟前
vLLM 的“投机取巧”:Speculative Decoding 如何加速大语言模型推理
人工智能·语言模型·自然语言处理
诗酒当趁年华40 分钟前
【NLP实践】二、自训练数据实现中文文本分类并提供RestfulAPI服务
人工智能·自然语言处理·分类
静心问道1 小时前
Idefics3:构建和更好地理解视觉-语言模型:洞察与未来方向
人工智能·多模态·ai技术应用
sheep88881 小时前
AI与区块链Web3技术融合:重塑数字经济的未来格局
人工智能·区块链
奋进的孤狼1 小时前
【Spring AI】阿里云DashScope灵积模型
人工智能·spring·阿里云·ai·云计算
虚伪的空想家1 小时前
记录es收集日志报错问题as the final mapping would have more than 1 type[XXX,doc]
大数据·elasticsearch·搜索引擎·容器·kubernetes·log-pilot