Spring Boot 接入本地大模型：Spring AI 整合 Ollama 实现智能对话教程

一、核心技术栈概览

1. 后端基础框架

JDK: 17 (LTS版本)
Spring Boot: 3.4.3
Spring AI: 1.0.0
MyBatis-Plus: 3.5.6

2. 数据处理与存储

向量数据库: Milvus 2.6.4
关系型数据库: MySQL
缓存数据库: Redis
文档处理: Apache POI 5.2.5

3. AI与机器学习

本地大模型平台: Ollama
Spring AI 集成能力:
- Embeddings (向量化)
- Vector Store (向量存储)

4. 运维与部署

服务器管理: 1Panel
容器化: Docker (1Panel内置支持)

二、技术架构分层

复制代码

三、开发环境搭建

1、1Panel安装

使用管理工具安装和部署会更快

安装文档：https://1panel.cn/docs/v2/installation/online_installation/#1

2、完整部署架构

需要安装的有mysql、redis、ollama、attu、milvus其中mysql、redis、ollama在商店中有、直接无脑点安装就可以了。milvus(向量数据库)、attu(向量数据库可视化管理工具)这两个在商店中没有，需要自己去安装

3、milvusdb容器化安装

找到下面的这个地方，把代码复制进去，最后点确认就可以了，后面就等着编排完成

bash 复制代码

version: "3.5"
services:
  milvus:
    image: milvusdb/milvus:v2.4.4
    container_name: milvus
    command:
      - milvus
      - run
      - standalone
    environment:
      ETCD_USE_EMBED: "true"
      COMMON_STORAGETYPE: local
    ports:
      - 19530:19530
      - 9091:9091
    volumes:
      - ./milvus_data:/var/lib/milvus

4、milvusdb数据可视化工具：

这个太简单了直接在终端运行下面的docker命令就可以了

bash 复制代码

docker run -d \
  -p 8000:3000 \
  -e MILVUS_URL=localhost:19530 \
  zilliz/attu:v2.4

到这里，需要的环境就全部搭好了

四、配置文件

只有一点需要注意，dimension的值跟你选择的向量模型有关系，不能超过所选模型的最大嵌入维度

模型版本	参数量	最大嵌入维度	MTEB 多语言得分	特点与适用场景
qwen3-embedding:0.6b	6亿	1024	64.33	极致轻量与高效：资源消耗极低，适合对响应速度和硬件要求苛刻的场景，如移动端或边缘设备。
qwen3-embedding:4b	40亿	2560	69.45	性能与效率的平衡：性能较0.6B版本有显著提升，但资源消耗可控，非常适合个人电脑或普通服务器作为通用嵌入模型。
qwen3-embedding:8b	80亿	4096	70.58	最强性能：拥有最高的维度和最佳的性能，在多个榜单上排名第一。适合对精度要求极高的RAG、语义搜索等任务。