在本教程中，我们将使用 jina-embeddings-v3 text embedding 模型，通过 Elastic Cloud APIs 构建一个多语言语义搜索系统。
首先，你需要一个 Jina AI API key。访问 https://jina.ai/#apiform 并按照说明获取一个免费的 API key，包含 1000 万 tokens。
对于能够在本地运行 AI models 并在 Elasticsearch 外生成 embedding vectors 的高级用户，可以按照 Hugging Face 上模型页面的说明下载并运行 jina-embeddings-v3：https://huggingface.co/jinaai/jina-embeddings-v3
为 jina-embeddings-v3 创建推理 endpoint
如果你在本地运行该 model，可以跳过本节，直接进入标题为 Index multilingual documents 的部分。
首先，打开你的 Elastic Cloud 部署控制台。本教程将使用控制台命令演示如何使用 Jina AI 设置 search。
使用以下命令注册模型，并在 "api_key" 字段中填写你的 Jina AI API key：
PUT _inference/text_embedding/jina_embeddings
{
"service": "jinaai",
"service_settings": {
"api_key": "<your-jina-api-key>",
"model_id": "jina-embeddings-v3",
}
}要验证你现在是否可以访问 Jina AI API 并生成 embeddings，请使用以下命令：
POST _inference/text_embedding/jina_embeddings
{
"input": ["Lo-fi playlists help me concentrate while I study."]
"input_type": "ingest",
}你应该会收到一个包含 "text_embedding" 字段的结果，如下所示：
{
"text_embedding": [
{
"embedding": [
0.05003565,
-0.01658948,
0.02177808,
0.03379484
...,
0.0059285
]
}
]
}创建索引
为模型注册 mapping 定义。本教程将其命名为 "jina-multilingual-demo"。
你需要为 embeddings 选择一个 vector size。jina-embeddings-v3 支持五种维度：128、256、512、768 和 1024。维度越大，向量越大，准确率越高，但占用更多存储空间、更多内存，并增加搜索时间。
在注册请求的 "dims" 字段中填写你的选择。为了简化，本教程演示中使用最大维度：1024。
PUT jina-multilingual-demo
{
"mappings": {
"properties": {
"": {
"id": { "type": "keyword" },
"lang": { "type": "keyword" },
"title": { "type": "text" },
"content": { "type": "text" }
"embedding": {
"type": "dense_vector",
"dims": 1024,
"index": true,
"similarity": "cosine"
}
}
}
}添加 ingest pipeline
Ingest pipelines 会在数据插入 Elasticsearch 之前自动处理数据。我们将创建一个名为 "jina_embed_pipeline" 的 pipeline。
使用以下命令：
PUT _ingest/pipeline/jina_embed_pipeline
{
"description": "Embed document content with jina-embeddings-v3",
"processors": [
{
"inference": {
"model_id": "jina_embeddings",
"input_output": {
"input_field": "content",
"output_field": "embedding"
}
}
}
]
}索引多语言文档
现在你可以向 Elastic 部署添加一些 documents。下面三个文档分别为 English、French 和 Spanish，互为翻译。每条 POST 命令添加一个 document。
POST multilingual-demo/_doc?pipeline=jina_embed_pipeline
{
"id": "1",
"lang": "en",
"title": "Emerging music styles",
"content": "Lo-fi and ambient genres are gaining traction among independent artists."
}
POST multilingual-demo/_doc?pipeline=jina_embed_pipeline
{
"id": "2",
"lang": "es",
"title": "Nuevos estilos musicales",
"content": "Los géneros lo-fi y ambiental están ganando popularidad entre los artistas independientes."
}
POST multilingual-demo/_doc?pipeline=jina_embed_pipeline
{
"id": "3",
"lang": "fr",
"title": "Tendances musicales émergentes",
"content": "Les styles lo-fi et ambiants attirent de plus en plus de musiciens indépendants."
}查询索引
为了演示 jina-embeddings-v3 的跨语言语义，我们将使用 German 查询该索引。查询文本的 English 翻译为："Which new music genres are currently popular?"
首先，我们需要获取 query vector。jina-embeddings-v3 实现了 asymmetric retrieval，因此 query embeddings 和已索引文档的 embeddings 生成方式不同。确保 "input_type" 字段设置为 "search"，以获取 query embeddings。
POST _inference/text_embedding/jina_embeddings
{
"input": ["Welche neuen Musikrichtungen sind gerade beliebt?"],
"input_type": "search"
}该命令将返回一个 query vector。将得到的 vector 填入下面命令的 "query_vector" 字段中。该命令将使用 Elasticsearch 内置的 "knn" approximate nearest neighbor 算法执行搜索。
POST multilingual-demo/_search
{
"knn": {
"field": "embedding",
"query_vector": [0.103949,-0.01732728,...,0.0043687],
"k": 5,
"num_candidates": 100
},
"_source": ["id","lang","title","content"]
}响应将是一个列表，显示与该查询最匹配的 document（在我们的测试中是 French 文档），以及该 document 与查询的 cosine similarity score。
有关 AI 生成的 dense vector 索引搜索选项的完整文档，请参见 Elasticsearch API 的相关文档页面。