Springboot调用Ollama本地大模式

安装Ollama

1. 下载Ollama
   在 https://ollama.com/download 下载Windows版本

2. 安装到指定目录
   打开一个cmd窗口，执行

   OllamaSetup.exe /DIR=D:\software\Ollama

3. 设置环境变量，下载的模型保存到指定目录
   在Windows系统设置中设置环境变量 OLLAMA_MODELS： D:\software\Ollama\models

4. 常用命令行

   #先启动Ollama，再检测端口
   netstat -ano | findstr 11434

   #查看版本
   ollama --version

   #查看本地已下载的大模型
   ollama list

   #运行指定大模型
   ollama run qwen3:1.7b

   #查看运行中的大模型
   ollama ps

   #运行中的大模型会话窗口退出
   /bye

---

创建Spring boot项目

1. 在start.spring.io 页面创建一个项目，在 pom.xml 中引自spring AI的依赖

        <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-starter-model-ollama</artifactId>
            <version>1.0.0</version>
        </dependency>

2. 在application.properties 中加入配置项

   server.port=8082

   server.servlet.encoding.enabled=true
   server.servlet.encoding.charset=UTF-8
   server.servlet.encoding.force=true

   spring.application.name=ollama-demo

   spring.ai.ollama.base-url=https://localhost:11434
   spring.ai.ollama.chat.model=qwen2.5:latest

3. 在Controller 文件中引入ChatModel

   @RestController
   public class OllamaController {
   @Resource(name = "ollamaChatModel")
   private ChatModel chatModel;

    @GetMapping("ollama/chat")
    public String chat(@RequestParam("msg") String msg) {
        String result = chatModel.call(msg);
        return result;
    }
   
    /**
     * 响应式返回结果
     * @param msg
     * @return
     */
    @GetMapping("/stream/chat")
    public Flux<String> streamChat(@RequestParam("msg") String msg) {
        return chatModel.stream(msg);
    }

   }