人工智能（六）- Spring AI 调用Ollama本地大模型

人工智能（五）- OpenAI 调用Ollama本地大模型

一、准备环境

Spring AI 最低支持 Spring Boot 3.4.x + JDK 17 以上版本。如果在使用 Spring Boot 2.x + JDK 8，需要先升级环境，可参考Spring Boot 2.7 + JDK 8 升级至 Spring Boot 3.4.13 + JDK 17 手册。

二、本地安装大模型

本地安装大模型，可参考本地部署DeepSeek大模型，文章里安装的是deepseek-r1:7b大模型，不支持 tool 工具。

我们需要安装一个新的模型，这里我们使用 qwen3.5 大模型

arduino 复制代码

ollama run qwen3.5

Ollama提供了两个主要的API端点，它们在功能和协议兼容性上有所区别。原生接口是 /api/generate，它使用 prompt 字段，并且不支持 messages 这种对话列表格式。

特性	/api/generate (Ollama原生接口)	/v1/completions (OpenAI兼容接口)
协议标准	Ollama自定义协议	遵循OpenAI API规范
兼容性	适用于Ollama专属功能	便于与现有OpenAI生态工具（如LangChain）集成
上下文管理	需显式传递context字段维护多轮对话状态	通常通过messages数组传递历史对话
流式响应	默认支持，通过stream: true启用	通过stream: true参数启用
适用场景	需要深度控制模型参数、低延迟流式输出	项目从云端OpenAI迁移至本地Ollama，希望最小化代码改动

注意：Ollama 的 OpenAI 兼容端点是 http://localhost:11434/v1/，SDK 会自动拼接出完整的http://localhost:11434/v1/completions。

三、实战案例：实现智能客服 AI 助手

2.1 创建Maven工程

使用IntelliJ IDEA创建一个Maven工程，完成工程初始化。

2.2 引入核心依赖

xml 复制代码

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>3.4.13</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>

    <groupId>org.devpotato</groupId>
    <artifactId>chat-service</artifactId>
    <version>1.0-SNAPSHOT</version>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.8.1</version>
                <configuration>
                    <source>17</source>
                    <target>17</target>
                </configuration>
            </plugin>
        </plugins>
    </build>
    <packaging>jar</packaging>

    <name>ChatService</name>
    <url>http://maven.apache.org</url>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <jackson.version>2.15.0</jackson.version>
        <spring-ai.version>1.0.0-M1</spring-ai.version>
    </properties>

    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>org.springframework.ai</groupId>
                <artifactId>spring-ai-bom</artifactId>
                <version>${spring-ai.version}</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
        </dependencies>
    </dependencyManagement>

    <dependencies>
        <!--        spring-boot        -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <!-- Spring AI -->
        <!-- Source: https://mvnrepository.com/artifact/org.springframework.ai/spring-ai-ollama -->
        <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-ollama</artifactId>
            <version>${spring-ai.version}</version>
            <scope>compile</scope>
        </dependency>

        <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
        </dependency>


        <!--        jackson        -->
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-core</artifactId>
            <version>${jackson.version}</version>
        </dependency>
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-annotations</artifactId>
            <version>${jackson.version}</version>
        </dependency>
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-databind</artifactId>
            <version>${jackson.version}</version>
        </dependency>

        <!--        guava        -->
        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>21.0</version>
        </dependency>

        <!--        lombok        -->
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <scope>provided</scope>
        </dependency>

    </dependencies>

    <repositories>
        <repository>
            <id>spring-milestones</id>
            <name>Spring Milestones</name>
            <url>https://repo.spring.io/milestone</url>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>spring-snapshots</id>
            <name>Spring Snapshots</name>
            <url>https://repo.spring.io/snapshot</url>
            <releases>
                <enabled>false</enabled>
            </releases>
        </repository>
    </repositories>
</project>

2.3 解决跨域问题

由于前端页面与后端服务可能存在跨域（CORS）问题，导致前端无法正常调用后端API，因此需要添加跨域过滤器。创建MyFilter类，实现Filter接口，具体代码如下：

java 复制代码

import org.springframework.stereotype.Component;

import javax.servlet.Filter;
import javax.servlet.FilterChain;
import javax.servlet.ServletException;
import javax.servlet.ServletRequest;
import javax.servlet.ServletResponse;
import javax.servlet.http.HttpServletResponse;
import java.io.IOException;

@Component
public class MyFilter implements Filter {
    @Override
    public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain) throws IOException, ServletException {
        // 解决Chrome等浏览器访问本地服务的跨域问题
        HttpServletResponse httpResponse = (HttpServletResponse) response;
        // 允许所有域名跨域访问（生产环境建议指定具体域名，提升安全性）
        httpResponse.setHeader("Access-Control-Allow-Origin", "*");
        // 允许的请求方式
        httpResponse.setHeader("Access-Control-Allow-Methods", "GET, POST, PUT, DELETE, OPTIONS");
        // 允许的请求头
        httpResponse.setHeader("Access-Control-Allow-Headers", "Content-Type");
        // 继续执行过滤链
        chain.doFilter(request, response);
    }
}

2.4 工程配置文件

在src/main/resources目录下创建application.yml文件，配置服务端口（默认8080，可根据需求修改）：

yaml 复制代码

server:
  port: 8080

spring:
  ai:
    ollama:
      base-url: http://localhost:11434
      chat:
        options:
          model: qwen3.5  # 本地部署的大模型

2.5 核心对话控制器