Spring AI + DeepSeek:提升业务流程的智能推理利器

今天,我们将深入探讨如何利用DeepSeek来真正解决我们当前面临的一些问题。具体来说,今天我们仍然会将DeepSeek接入到Spring AI中进行利用。需要注意的是,虽然DeepSeek目前主要作为推理型助手存在,并不完全适合作为智能体的首选,但它仍然能够有效地融入并提升你的业务流程。因此,你可以将其集成到自己的业务系统中,借此发挥它在推理和数据分析上的强大能力。

接下来,我们将继续使用之前在腾讯云HAI服务器上部署的DeepSeek大模型进行开发,利用它的强大功能来满足我们当前的需求。

Spring AI

首先,我们已经知道HAI服务器上部署的实际上也是Ollama,而在Spring文档中也提供了相应的Ollama接口,便于开发者进行集成。当然,如果你觉得使用Ollama有些麻烦,完全可以选择接入OpenAI接口,因为目前Ollama和OpenAI是兼容的,二者可以相互替代,因此你可以根据实际需求来选择适合的接口。具体情况如图所示:

ollama配置

在此之前,我们首先需要通过 Ollama 接口进行对接。为此,我们需要引入 Ollama 的相关依赖,具体操作如下:

xml 复制代码
<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
</dependency>

紧接着,再添加一些必要的配置信息如调用地址以及调用模型,如下所示:

spring.ai.ollama.base-url=http://ip:6399

spring.ai.ollama.chat.options.model=deepseek-r1:7b

在这里,只需将 IP 信息修改为 HAI 所暴露的对应外网 IP 地址即可。值得注意的是,HAI 目前提供了两种模型版本:1.5b 和 7b。根据性能需求,推荐使用 7b 版本,它在处理能力和效果方面相较 1.5b 更为优秀。接下来,我们将简要编写一个接口 API,以供业务系统进行调用。具体代码如下:

java 复制代码
@PostMapping("/ai")
ChatDataPO generationByText(@RequestParam("userInput")  String userInput) {
    String content = this.chatClient.prompt()
            .user(userInput).advisors(new MessageChatMemoryAdvisor(chatMemory))
            .call().content();
    log.info("content: {}", content);
    ChatDataPO chatDataPO = ChatDataPO.builder().code("text").data(ChildData.builder().text(content).build()).build();
    return chatDataPO;
}

大概需要等一会时间才可以有结果,因为这是阻塞式响应,你可以接入流式服务就会实时查看响应结果。效果如图所示:

当然,如果您觉得 7b 模型的回答效果不尽如人意,您完全可以选择加载更强大的模型版本,例如 70b。然而,需要注意的是,选择更大规模的模型会大幅提高算力需求。此外,70b 模型的存储需求也更为苛刻,可能需要额外的磁盘空间来进行部署和运行。

目前,基础性机器的存储容量仅为 200GB,因此无法下载完整版本的模型,只能支持下载最大为 70b 参数规模的模型。由于更大规模的模型需要更多的存储空间,因此对于存储容量有限的环境来说,选择合适的模型版本至关重要。如果需要了解各个模型的存储需求,建议访问 Ollama 官方网站,在那里可以查看详细的模型大小信息。以下是相关模型大小的展示,供参考:

然后我们可以直接去HAI服务器的终端上使用命令进行拉取下载。

ollama run deepseek-r1:70b

虽然存储容量已经足够,但显存的级别仍然不足,导致加载速度依然较慢。因此,为了确保系统的流畅运行,建议将显存扩展至32GB及以上,这样才能实现更加高效的性能和更好的用户体验。

总结

总结来说,DeepSeek作为推理型助手在提升业务流程中具有巨大的潜力,尽管它不是智能体的首选,但它在推理和数据分析上的强大能力依然可以为您的系统增添显著价值。通过集成到Spring AI与Ollama接口,开发者能够灵活选择适合的模型版本来满足不同的性能需求。随着技术不断发展和硬件条件的提升,DeepSeek将进一步展现其在实际应用中的优势,帮助企业更加高效地实现智能化转型。


我是努力的小雨,一个正经的 Java 东北服务端开发,整天琢磨着 AI 技术这块儿的奥秘。特爱跟人交流技术,喜欢把自己的心得和大家分享。还当上了腾讯云创作之星,阿里云专家博主,华为云云享专家,掘金优秀作者。各种征文、开源比赛的牌子也拿了。

💡 想把我在技术路上走过的弯路和经验全都分享出来,给你们的学习和成长带来点启发,帮一把。

🌟 欢迎关注努力的小雨,咱一块儿进步!🌟

相关推荐
聪明的笨猪猪2 小时前
企业知识库AI架构选型:落地导向的架构决策与组件清单
经验分享·面试·架构·embedding·数据库架构
Go Work4 小时前
两个等值条件摆着,MySQL 偏要全表扫
经验分享·笔记
深圳智根网络程序开发9 小时前
WordPress固定链接怎么设?改不对谷歌收录直接崩
经验分享
德思特9 小时前
如何提升 5G 移动性切换验证效率?德思特 Amarisoft Callbox 新增 NR SA LTM 测试功能详解
经验分享·无线通信·车载通信
虹科数字化与AR12 小时前
农业机械AR质检ROI怎么算?从搬运、测量、返工和交付成本入手
经验分享·ar·质检·农业机械
聪明的笨猪猪1 天前
Java 工程案例:AI 生成 @Async 异步线程池踩坑
java·经验分享·面试·ai编程
仓库日记1 天前
Excel进销存何时该换?用3项检查判断是否需要软件
经验分享·excel·进销存·开单软件
AI工具挖掘机2 天前
开源!2个Skill复刻带货视频、图文和Live,做百号矩阵
经验分享
虹科网络安全2 天前
Redis Radar:在统一视图中掌握 Redis 部署、健康与容量
经验分享·redis·艾体宝·艾体宝it·艾体宝redis
聪明的笨猪猪2 天前
实际工程问题:AI 生成 Spring Cache(@Cacheable / @CachePut / @CacheEvict)缓存注解踩坑
java·经验分享·面试·ai编程