Springboot调用Ollama本地大模式

安装Ollama

  1. 下载Ollama
    https://ollama.com/download 下载Windows版本

  2. 安装到指定目录
    打开一个cmd窗口,执行

    OllamaSetup.exe /DIR=D:\software\Ollama

  3. 设置环境变量,下载的模型保存到指定目录
    在Windows系统设置中设置环境变量 OLLAMA_MODELS: D:\software\Ollama\models

  4. 常用命令行

    #先启动Ollama,再检测端口
    netstat -ano | findstr 11434

    #查看版本
    ollama --version

    #查看本地已下载的大模型
    ollama list

    #运行指定大模型
    ollama run qwen3:1.7b

    #查看运行中的大模型
    ollama ps

    #运行中的大模型会话窗口退出
    /bye


创建Spring boot项目

  1. start.spring.io 页面创建一个项目,在 pom.xml 中引自spring AI的依赖

    复制代码
         <dependency>
             <groupId>org.springframework.ai</groupId>
             <artifactId>spring-ai-starter-model-ollama</artifactId>
             <version>1.0.0</version>
         </dependency>
  2. application.properties 中加入配置项

    server.port=8082

    server.servlet.encoding.enabled=true
    server.servlet.encoding.charset=UTF-8
    server.servlet.encoding.force=true

    spring.application.name=ollama-demo

    spring.ai.ollama.base-url=https://localhost:11434
    spring.ai.ollama.chat.model=qwen2.5:latest

  3. Controller 文件中引入ChatModel

    @RestController
    public class OllamaController {
    @Resource(name = "ollamaChatModel")
    private ChatModel chatModel;

    复制代码
     @GetMapping("ollama/chat")
     public String chat(@RequestParam("msg") String msg) {
         String result = chatModel.call(msg);
         return result;
     }
    
     /**
      * 响应式返回结果
      * @param msg
      * @return
      */
     @GetMapping("/stream/chat")
     public Flux<String> streamChat(@RequestParam("msg") String msg) {
         return chatModel.stream(msg);
     }

    }

相关推荐
毕设源码-朱学姐9 分钟前
【开题答辩全过程】以 查寝打卡系统为例,包含答辩的问题和答案
java·eclipse
追逐时光者13 分钟前
一个基于 .NET 8 + Vue3 实现的极简 RABC 权限管理系统
后端·.net
QMY52052042 分钟前
爬虫的意义
java·spring·tomcat·maven
勇闯天涯&波仔1 小时前
verilog阻塞赋值和非阻塞赋值的区别
后端·fpga开发·硬件架构·硬件工程
lang201509282 小时前
Spring Boot Actuator深度解析与实战
java·spring boot·后端
重生之我是Java开发战士2 小时前
【Java EE】了解Spring Web MVC:请求与响应的全过程
spring boot·spring·java-ee·1024程序员节
懒羊羊不懒@2 小时前
Java—枚举类
java·开发语言·1024程序员节
zerolala2 小时前
Java容器常用方法
java·1024程序员节
m0_748240252 小时前
C++智能指针使用指南(auto_ptr, unique_ptr, shared_ptr, weak_ptr)
java·开发语言·c++
lang201509282 小时前
Spring注解配置全解析
java·后端·spring