作者：来自 Elastic Gregory Chase, Rachael Wade, Kapil Jadhav
将 Jina API 上的 Jina 模型迁移至 NVIDIA RTX Pro 6000 GPU，初步结果令人期待：为搜索和 智能体 AI 提供更快的向量嵌入、重排序及 OCR 处理。
要让 AI 智能体能够基于内容准确回答问题，就需要运行多种模型，分别处理不同的工作负载，而每个环节都可能增加延迟，让用户等待。
Elastic 旗下的 Jina AI 提供小巧且具备前沿水准的网页读取、OCR、嵌入和排序模型，在从数据摄取到检索的整个过程中保留内容的语义。Elastic 通过两项托管服务提供这些模型：Jina API 支持直接调用 Jina 模型；Elastic Inference Service（EIS）则提供预配置、经 GPU 加速且与 Elasticsearch 原生集成的端点。为满足不断增长的智能体 AI 工作负载需求，Elastic 正将这些服务从 NVIDIA® L40 GPU 迁移至 NVIDIA RTX PRO™ 6000 Blackwell 服务器版 GPU。部分 Jina API 模型已在新 GPU 上运行，使用这些模型的客户无需进行任何更改，即可获得速度提升。
目前的结果令人期待。对于已迁移的模型，最慢的嵌入请求处理速度最高提升至原来的 8 倍，重排序速度提升至原来的 4 倍以上，OCR 文档页面转换速度提升至原来的约 3.7 倍。我们正持续迁移 Jina API 和 EIS 中的更多模型，让更多客户随着各个托管模型的迁移而获得性能提升。
Jina 模型在同等规模中实现领先的覆盖能力与准确率
Jina Reader 和 OCR 模型可将包含图像、表格和公式的复杂文档及网站转换为干净的文本，并使用 Markdown 和 HTML 表示结构、使用 LaTeX 表示公式。Jina OCR 在单次处理中同时识别版式、文本、表格和结构，从而完整保留标题、分栏和表格。jina-ocr-v1 能够解析 100 多种语言的文本及书写系统。其输出可直接用于向量嵌入、AI 训练，或作为应用程序中的业务数据。在 olmOCR-bench 基准测试中，它是激活参数量低于 6 亿的领先模型。
Jina 嵌入模型将多语言、 多模态 内容转换并映射至同一个向量空间，使一次查询即可检索所有内容，并让返回结果采用统一的置信度尺度。Jina 全模态嵌入模型支持处理 100 多种语言的文本、图像、音频和视频。jina-embeddings-v5-omni-small 是 MTEB 基准测试中参数量低于 20 亿、表现最佳的开放权重全模态模型。
随后，Jina 重排序模型根据原始查询对这些结果重新评分，将最匹配的结果排在前面。拥有 6 亿参数的 jina-reranker-v3.5 在 STaRK 结构化数据基准测试中，表现优于拥有 40 亿参数的 Qwen3-Reranker-4B 。
小模型也要应对高要求的工作负载
与其竞争的大型模型相比，Jina 的紧凑型模型所需的 GPU 资源更少，但模型规模并非决定工作负载所需容量的唯一因素。请求的组合方式同样重要。
Jina API 和 EIS 都是共享服务，因此大型任务与小型任务会在同一组 GPU 上并行运行。单个重排序请求可能包含很长的候选文档列表，而排在它后面的查询可能只需要一个快速答案。当大型任务占用 GPU 时，小型请求就可能排队等待，导致延迟上升。在对 NVIDIA RTX PRO 6000 进行基准测试时，支持混合工作负载是我们最关注的使用场景：当大型任务同时运行时，小型请求能否依然保持快速响应？
Elastic 测试了什么
我们对比了迁移前后的生产流量，并针对生产环境中无法单独隔离的场景开展了受控测试。延迟百分位数用于描述响应时间中较慢的部分：第 99 百分位延迟意味着，每 100 个请求中有 99 个的完成时间短于所示数值。用户往往最容易感受到的，正是那些响应缓慢的请求。
| 工作负载 | 测试方式 | 指标 | NVIDIA L4 Tensor Core GPU | NVIDIA RTX PRO 6000 | 变化 |
|---|---|---|---|---|---|
| 嵌入 | 生产环境 | 第 99 百分位延迟 | 5.86 秒 | 0.73 秒 | 速度约为原来的 8 倍 |
| 重排序 | 生产环境，平均请求量增加约 40% | 第 90 百分位延迟 | 732 毫秒 | 171 毫秒 | 速度为原来的 4.3 倍 |
| 大型重排序任务 | 受控测试；使用相同软件 | 完成时间 | 702 毫秒（3 块 L4） | 160 毫秒（1 块 GPU） | 速度为原来的 4.4 倍 |
| 与大型任务同时运行的小型重排序请求 | 共享 GPU 池上的混合流量测试 | 延迟 | 708 毫秒 | 66 毫秒 | 速度为原来的 10.7 倍 |
| 文档 OCR（jina-ocr-v1） | 使用同一组真实文档页面 | 首个输出 token 的生成时间 | 0.50 秒 | 0.20 秒 | 速度为原来的 2.5 倍 |
| 文档 OCR（jina-ocr-v1） | 使用同一组真实文档页面 | 页面转换速度 | 454 页/小时 | 1,671 页/小时 | 速度为原来的 3.7 倍 |
仅仅运行小模型，并不会自动简化共享服务的容量规划。在确定所需的 GPU 容量时，工作负载组合与模型规模同样重要。在 NVIDIA PRO 6000 GPU 上，即使大型任务同时运行，小型请求仍能保持快速响应。对我们的客户而言，这意味着查询不会因为同一服务上正在运行大型任务而变慢。
如需了解 Elastic Inference Service 中的 Jina 模型，请查看文档。也欢迎试用 Jina API。
本文所述任何特性或功能是否发布以及何时发布，均由 Elastic 自行决定。目前尚未提供的任何特性或功能，可能无法按时交付，也可能不会交付。
在本篇博文中，我们可能使用或提及了由各自所有者拥有和运营的第三方生成式 AI 工具。Elastic 无法控制这些第三方工具，也不对其内容、运行或使用承担任何责任，亦不对您使用此类工具可能造成的任何损失或损害承担责任。在使用 AI 工具处理个人、敏感或机密信息时，请谨慎行事。您提交的任何数据都可能被用于 AI 训练或其他用途。您提供的信息能否保持安全或保密，不受任何保证。使用任何生成式 AI 工具之前，您应先了解其隐私惯例和使用条款。
Elastic、Elasticsearch 及相关标识是 elasticsearch B.V. 在美国及其他国家/地区的商标、徽标或注册商标。所有其他公司名称和产品名称均为其各自所有者的商标、徽标或注册商标。
原文：Elastic looks to speed up Jina Model Inference by 8x using NVIDIA RTX GPUs | Elastic Blog