RAG实现:.Net + Ollama + Qdrant 实现文本向量化,实现简单RAG

本文使用.Net + Ollama + 向量数据库Qdrant,实现简单RAG,代码仅实现基本演示功能。

文章目录

一、Ollama如何安装使用

请移步:https://blog.csdn.net/MrTraum/article/details/139240885

二、新建.NetCore WebApi项目,并导入Nuget包

本项目使用.Net8构建。
引入以下包:

Microsoft.Extensions.AI

LangChain

LangChain.Core

LangChain.DocumentLoaders.Pdf

Microsoft.Extensions.VectorData.Abstractions

OllamaSharp

Microsoft.SemanticKernel.Connectors.Qdrant

三、文本向量化+保存Qdrant

向量化模型使用:Qwen3-Embedding-0.6B

文本从Pdf导入,使用 IFormFile 接收

csharp 复制代码
public class Content
{
    [VectorStoreKey]
    public Guid Key { get; set; }

    [VectorStoreData]
    public string Text { get; set; }

    [VectorStoreData]
    public string Source { get; set; }

    [VectorStoreVector(1024)]
    public ReadOnlyMemory<float> Vector { get; set; }
}
csharp 复制代码
IDocumentLoader wordLoader = new PdfPigPdfLoader();
var dataSource = DataSource.FromStream(file.File.OpenReadStream());
var documents = await wordLoader.LoadAsync(
    dataSource: dataSource
);
//使用LangChain进行大文本分块
//此处采用递归分块算法
ITextSplitter recursiveSplitter = new RecursiveCharacterTextSplitter(
    chunkSize: 500,
    chunkOverlap: 128,
    separators: new[] { "\n\n", "\n", "。", "!", "?", ";", " ", "" } // 分隔符优先级
);
var splitDocuments = recursiveSplitter.SplitDocuments(documents);


var vectorStore = new QdrantVectorStore(new QdrantClient("192.168.4.9", 6334), true);
var ragVectorRecordCollection = vectorStore.GetCollection<Guid, Content>("Contents");
await ragVectorRecordCollection.EnsureCollectionExistsAsync();

var uri = new Uri(OllamaUrl);
var ollama = new OllamaApiClient(uri, "dengcao/Qwen3-Embedding-0.6B:Q8_0");
List<Content> vectorRecords = new List<Content>();
//调用大模型进行文本向量化
var embeddings = await ollama.GenerateAndZipAsync(splitDocuments.Select(t => t.PageContent));
foreach (var doc in splitDocuments)
{
    ReadOnlyMemory<float> embedding = null;
    foreach (var item in embeddings)
    {
        if (item.Value == doc.PageContent)
        {
            embedding = item.Embedding.Vector;
        }
    }
    Content ctx = new Content()
    {
        Key = Guid.NewGuid(),
        Text = doc.PageContent,
        Source = doc.Metadata.TryGetValue("source", out var src) ? src?.ToString() : "unknown",
        Vector = embedding
    };
    vectorRecords.Add(ctx);
}
//保存如Qdrant
await ragVectorRecordCollection.UpsertAsync(vectorRecords, CancellationToken.None);

四、搜索向量数据库,将搜索到的结果交给大模型整理

csharp 复制代码
        [HttpGet]
        public async Task<string> Query([FromQuery] string query, [FromQuery] int top = 10)
        {
            var vectorStore = new QdrantVectorStore(new QdrantClient("192.168.4.9", 6334), true);
            var ragVectorRecordCollection = vectorStore.GetCollection<Guid, Content>("Contents");
            await ragVectorRecordCollection.EnsureCollectionExistsAsync();

            var uri = new Uri(OllamaUrl);
            var ollama = new OllamaApiClient(uri, "dengcao/Qwen3-Embedding-0.6B:Q8_0");
            var searchVector = await ollama.GenerateVectorAsync(query);

            //以下代码,写不写都可以。默认会根据VectorStoreVector标签匹配
            VectorSearchOptions<Content> vectorSearchOptions = new VectorSearchOptions<Content>()
            {
                VectorProperty = m => m.Vector,
            };
            //查询向量数据库
            var searchResult = ragVectorRecordCollection.SearchAsync(searchVector, top, vectorSearchOptions);
            var resultsList = new List<VectorSearchResult<Content>>();
            await foreach (var result in searchResult)
            {
                resultsList.Add(result);
            }
            // 如果没有找到结果
            if (!resultsList.Any())
            {
                return "没有找到相关的信息。";
            }
            // 构建精确控制的提示词
            var promptBuilder = new StringBuilder();

            // 角色定义(严格模式)
            promptBuilder.AppendLine(@"你是一个知识检索系统,必须遵守以下规则:
1. 回答范围:仅使用下方<!--reference-->标记的内容
2. 禁止行为:禁止联想、推测或添加任何外部知识
3. 免责声明:当参考内容不匹配时必须声明");

            // 结构化参考内容
            promptBuilder.AppendLine("<!--reference-->");
            foreach (var item in resultsList.OrderByDescending(x => x.Score))
            {
                promptBuilder.AppendLine($"| 内容:{item.Record.Text?.Trim()}");
                promptBuilder.AppendLine($"| 元数据:{item.Record.Source?.Trim()}");
                promptBuilder.AppendLine($"| 相似度:{item.Score:F4}");
                promptBuilder.AppendLine("|--"); 
            }
            promptBuilder.AppendLine("<!--end-reference-->");
            // 问题与约束条件
            promptBuilder.AppendLine($"用户问题:{query?.Trim()}");
            promptBuilder.AppendLine(@"响应要求:
                                            1. 相似度高的条目优先
                                            2. 描述中必须包含问题关键词的直系近义词
                                            3. 采用以下响应模板:
                                               - 当匹配成功时:『根据参考内容,搜索到以下内容。』
                                               - 当匹配失败时:『根据提供的信息,未找到明确匹配的内容。』");

            // 调用大模型整理结果
            var chatRequest = new ChatRequest
            {
                Model = ModelName,
                Stream = false,
                Think = false,//禁止思考模式
                Messages = new List<Message>()
                {
                    new Message { Role = OllamaSharp.Models.Chat.ChatRole.System, Content = promptBuilder.ToString() },
                    new Message { Role = OllamaSharp.Models.Chat.ChatRole.User, Content = query }
                }
            };
            var modelResponse = await ollama.ChatAsync(chatRequest).StreamToEndAsync();
            return modelResponse.Message.Content;
        }
相关推荐
fanruitian14 小时前
windows安装离线大模型 ollama qwen
大模型·qwen·ollama
切糕师学AI15 小时前
.NET 文件操作中常见的内存泄漏场景梳理
.net·内存泄漏
唐青枫16 小时前
深入理解 C#.NET record:不可变对象与值语义的现代实践
c#·.net
追逐时光者1 天前
一个 WPF 开源、免费的 SVG 图像查看控件
后端·.net
福大大架构师每日一题1 天前
ollama v0.13.5 发布详解:新模型接入、引擎升级与工具能力增强
ollama
时光追逐者1 天前
一个基于 .NET 开源、功能强大的分布式微服务开发框架
分布式·微服务·开源·c#·.net·.net core
步步为营DotNet1 天前
深入探究.NET中依赖注入(DI)的生命周期管理:构建稳健且高效的应用
.net
步步为营DotNet1 天前
深度解析.NET中LINQ查询的延迟执行与缓存机制:优化数据查询性能
缓存·.net·linq
蜂蜜黄油呀土豆1 天前
RAG 的基石:文本嵌入模型与向量数据库
langchain·大语言模型·embedding·向量数据库·rag
Robot侠1 天前
视觉语言导航从入门到精通(四)
人工智能·深度学习·transformer·rag·视觉语言导航·vln