自 Dmeta-Embedding 系列模型发布以来，模型已累积下载近 6 万次、API 产品也有大量内测申请用户。同时我们也收到了很多用户反馈，这些反馈具有很大价值，是我们不断迭代改进、完善的动力，在此也表达下对大家真诚的谢意，让我们一起共建 AI 技术生态！

Embedding + 大模型应用典型示例

从大家反馈来看，在实际落地大模型相关应用时，会面临各种各样的问题，如向量数据库的使用、本地私有化部署、QA 问答应用等。我们也希望能够深入到应用场景中，助力大家将问题各个击破，坚持我们的初心：让大家低成本、低门槛的把大模型技术应用起来。

为此我们也围绕 Embedding 在大模型中的几个经典使用场景准备了教程和示例，后续还会不断进行补充完善：

教程代码地址：github.com/meta-soul/d...

向量数据库

不论是 RAG、还是语义检索应用场景，都需要利用 Embedding 模型将物料文本向量化，然后将其存储在向量数据库中，以供线上实现高效的向量检索。我们为目前流行的 Chroma 和 Pinecone 向量数据库提供了使用示例，具体可参考代码仓库。

Dmeta-Embedding 模型在对文本向量化推理时，大家既可以基于 Langchain、Sentence-Transformers 等工具进行本地化推理，也可以使用我们发布的 Embedding API（内测申请）。

语义检索应用

由于基于文本的检索存在字面语义鸿沟缺陷，现在基于向量的语义检索得到广泛的应用。我们给出一个基于豆瓣电眼数据的语义检索示例，通过 Dmeta-Embedding 模型来推理得到电影向量，然后基于 Faiss 构建本地向量索引，线上检索时引入 Langchain 工具，整个实现非常简单，具体参考示例代码。

检索增强问答

由于大模型无法获取即时知识、存在幻觉，尤其对特定领域知识理解生成可能存在问题，因而检索增强式生成（RAG）就成为较为现实的落地解决方案。我们以 Pinecone 向量数据库为基础，提供了一个基于 RAG 的问答应用示例。

具体来说，该示例通过离线脚本将物料的 id、metadata、vector 等处理完成（其中 vector 由 Dmeta-Embedding 推理得到），写入到向量数据库中。然后当线上使用时，将用户 Question 也进行向量化，并从向量数据库中检索相关物料内容作为 context，拼接如下模版送给 LLM 来得到 Answer：

vbnet 复制代码

Answer the question based on the context below.

Context:
病情分析：你好：可能是运动性哮喘，这是一种特殊类型的哮喘，多在运动后8-15分钟出现咳嗽、，半小时至1小时后缓解，有的在运动结束后后4-12小时再次发作。指导意见：建议做肺部CT检查，排除心肺疾患，查找原因，积极治疗。

咳嗽一般多是由于支气管发炎局部炎症造成的，可以适当口服咳停片、可快好片、头孢克洛分散片、舒喘灵、蒲地蓝消炎片等药物一块治疗就可以了。指导意见同时注意禁酒及生冷辛辣刺激的食物，必要的时候输液治疗效果比较好。

出现建议首先检查是否是有肺部感染

Question: 
我一运动完就咳漱的厉害

Answer:

具体细节可以参考该示例代码。

私有化部署

不少用户存在 Embedding 模型私有化推理部署的需求，随着目前技术生态的完善，如 llama.cpp、Ollama 等工具的出现，私有化部署的技术门槛越来越低、并且受欢迎程度也日益增加。为此我们针对 Ollama 大模型本地私有化部署工具，提供了 Dmeta-Embedding 系列模型的使用示例。

仅需两步即可在本地私有化部署使用 Dmeta-Embedding 模型，首先拉取模型到本地：

bash 复制代码

ollama pull shaw/dmeta-embedding-zh

然后即可调用本地 embedding api 接口获取向量：

vbnet 复制代码

curl http://localhost:11434/api/embeddings -d '{
  "model": "shaw/dmeta-embedding-zh",
  "prompt": "天空是灰色的"
}'

结语

后续我们将不断深入到大模型应用场景中，一方面迭代优化模型来提升效果，另一方面将更全面的融入到大模型技术生态中。如果大家在大模型落地应用中存在技术或者业务问题，欢迎一起来讨论，大家的反馈对我们十分宝贵！

[关于我们]

数元灵科技成立于2021年，专注于一站式的大数据智能平台新基建，在研项目包括云原生湖仓一体框架LakeSoul，一站式机器学习框架MetaSpore，以及云原生一站式AI开发生产平台AlphaIDE。公司力争打造以数据驱动为中心的标准化pipeline，推动国家数字化经济发展，致力于为帮助企业充分释放业务价值，服务新基建，让更多的行业和技术从业者享受到更普惠的大数据人工智能红利。

数元灵科技是国家高新技术企业、中关村高新技术企业
数元灵获国家信创认证、ISO27001信息安全管理、CMMI等资质认证、海光等生态认证
数元灵产品拥有软件著作12项，授权核心专利多项
入选最具潜力创业企业TOP10榜单、大数据产业国产化优秀代表厂商

GitHub：
github.com/lakesoul-io

github.com/meta-soul/M...

AlphaIDE:

registry-alphaide.dmetasoul.com/#/login

官网：

www.dmetasoul.com

官方交流群：

微信群：关注公众号"元灵数智"，点击"了解我们-用户交流"

案例分享：Dmeta-Embedding 融入大模型技术栈