AI超级智能开发系列从入门到上天第十篇:SpringAI+云知识库服务

一:为什么选用云知识库

在上一篇文章中,我们文档读取、文档加载、向量数据库是在本地通过编程的方式实现的。其实还有另外一种模式,直接使用别人提供的云知识库服务来简化 RAG 的开发。但缺点是额外的费用、以及数据隐私问题。

很多 AI 大模型应用开发平台都提供了云知识库服务,这里我们还是选择阿里云百炼,因为 Spring AI Alibaba 可以和它轻松集成,简化 RAG 开发。

二:准备云数据库

首先我们可以利用云知识库完成文档读取、文档处理、文档加载、保存到向量数据库、知识库管理等操作。

1:准备数据

打了标签的元信息之后,可以基于标签检索知识。

2:测试自己的知识切分的怎么样?

面向AI知识库写文档,一开始写的时候,就需要考虑,怎么着能让他切得更好。

进行命中测试

阿里云百联这个平台还是要多试一试,你尝试的越多,你对这个平台就越熟悉。

拿着客户输入的问题,比方说100个问题,拿到知识库这里边进行尝试。所以,我们的知识库开发就是要不断的优化的。

如果对他大模型切片的内容不满意,可以自己手动进行编辑。

三:RAG开发

有了知识库后,就可以用程序对接。开发过程简单,可参考 Spring AI Alibaba 的官方文档学习。

Spring AI Alibaba 利用 Spring AI 提供的文档检索特性(DocumentRetriever),自定义了一套文档检索方法,使程序调用阿里灵积大模型 API 从云知识库中检索文档,而非从内存检索。

使用下列代码就可以创建一个文档检索器并发起查询:

复制代码
// 调用大模型的 API
var dashScopeApi = new DashScopeApi("DASHSCOPE_API_KEY");
// 创建文档检索器
DocumentRetriever retriever = new DashScopeDocumentRetriever(dashScopeApi,
        DashScopeDocumentRetrieverOptions.builder()
                .withIndexName("你的知识库名称")
                .build());
// 测试从云知识库中查询
List<Document> documentList = retriever.retrieve(new Query("谁是鱼皮"));

如何使用这个文档检索器,让 AI 从云知识库查询文档呢?

这就需要使用 Spring AI 提供的另一个 RAG Advisor ------ RetrievalAugmentationAdvisor 检索增强顾问,可以绑定文档检索器、查询转换器和查询增强器,更灵活地构造查询。

复制代码
Advisor retrievalAugmentationAdvisor = RetrievalAugmentationAdvisor.builder()
        .queryTransformers(RewriteQueryTransformer.builder()
                .chatClientBuilder(chatClientBuilder.build().mutate())
                .build())
        .documentRetriever(VectorStoreDocumentRetriever.builder()
                .similarityThreshold(0.50)
                .vectorStore(vectorStore)
                .build())
        .build();

String answer = chatClient.prompt()
        .advisors(retrievalAugmentationAdvisor)
        .user(question)
        .call()
        .content();

1:定义增强的RAG的Advisor

复制代码
@Configuration
@Slf4j
public class LoveAppRagCloudAdvisorConfig {

    @Value("${spring.ai.dashscope.api-key}")
    private String dashScopeApiKey;

    @Bean
    public Advisor loveAppRagCloudAdvisor() {
        DashScopeApi dashScopeApi = DashScopeApi.builder()
                .apiKey(dashScopeApiKey)
                .build();
        final String KNOWLEDGE_INDEX = "恋爱大师";
        DocumentRetriever dashScopeDocumentRetriever = new DashScopeDocumentRetriever(dashScopeApi,
                DashScopeDocumentRetrieverOptions.builder()
                        .withIndexName(KNOWLEDGE_INDEX)
                        .build());
        return RetrievalAugmentationAdvisor.builder()
                .documentRetriever(dashScopeDocumentRetriever)
                .build();
    }
}

2:查看测试效果

整体看来,基于云平台的这种检索效果会更好。

3:基本用法总结

复制代码
        ChatResponse 
           RetrievalAugmentationAdvisor
				DashScopeDocumentRetriever
					DashScopeApi
						/api/v1/services/rerank/text-rerank/text-rerank
		.call()
		.chatResponse();
相关推荐
浅安的邂逅5 分钟前
260918-白帽把 OpenAI 论坛“打穿“了:攻防赛漏洞、账户被 Claude 入侵、模型偷偷掩盖不当行为
人工智能·大模型·ai编程·ai模型·行业动态
jinyishu_14 分钟前
认识 AI Agent:概念、架构、设计模式与主流框架
人工智能
Hrain-AI16 分钟前
AI 爬虫三档授权工程落地:搜索放行、训练拦截、Agent 分层(附脚本)
人工智能·elasticsearch·milvus
sunhy_csdn18 分钟前
“词码”作为 Token 候选译名
人工智能
Hrain-AI21 分钟前
多 Agent 并行不打架:worktree 隔离与反馈回流落地(附脚本)
网络·数据库·人工智能·架构
云运维笔记42 分钟前
IP地址从入门到精通:网络通信的核心基石
运维·网络·计算机网络
Koi慢热43 分钟前
DayDayMap学术社区体验:卫星网络测绘专题用下来怎么样
网络·人工智能·windows·web安全·网络安全
净水深流1 小时前
中央厨房冷链技术实践:多温区改造、WMS落地与IoT温控架构
大数据·数据库·人工智能·冷库冷链
万联WANFLOW1 小时前
从“连接网络”到“编排业务”:企业网络架构正在发生什么变化?
网络·人工智能
bosins1 小时前
WSL2 启动即崩溃?调整超时参数解决 Docker 阻塞问题
linux·docker·wsl