ollama大模型spring单机集成

ollama介绍与安装

ollama作为一个工具(且开源)，让大模型的安装与运行变得非常简单。

ollama支持多种操作系统，为了方便可以直接使用Docker运行。

下载命令一行搞定：

docker

bash 复制代码

sudo docker pull ollama/ollama:latest

brew

复制代码

brew install ollama

ollama上手

ollama下载好后，直接运行

#运行ollama，并指定挂载目录和映射端口

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

#进入ollama容器

docker exec -it ollama bash

ollama安装大模型

#运行ollama命令pull一个大模型，这里拉取对话大模型的llama3

复制代码

ollama pull llama3

ollama支持的大模型非常多，如google的gemma、facebook的llama、阿里的qwen通通都有，按需所取。

模型仓库地址为：ollama.com/library

大模型下载好了后，就可以使用ollama run命令运行对应的模型，并可以进行命令行的文本交互

arduino 复制代码

ollama run llama3

open-webui安装与使用

为了能获得更好的体验，可以使用开源的open-webui进行来访问离线大模型，UI界面和ChatGPT的非常像。

docker下拉取命令：

lua 复制代码

sudo docker pull ghcr.io/open-webui/open-webui:main

拉取好后直接运行：

perl 复制代码

docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

spring-ai与ollama集成

前面介绍了如何使用ollama与open-webui快速搭建一个离线大模型平台，并体验了AI的相关功能。

但在实际业务场景中，前端程序往往与后端平台进行对接，与大模型的交互由后端程序来负责接入则更为合适。

站在这一维度考虑，使用Spring AI来接入大模型则是一个不错的选择。

关于Spring AI的详细介绍可参考：spring.io/projects/sp...

Spring AI is an application framework for AI engineering. Its goal is to apply to the AI domain Spring ecosystem design principles such as portability and modular design and promote using POJOs as the building blocks of an application to the AI domain.

翻译一下：Spring AI是一个AI工程框架。它的目标是将Spring生态的设计原则应用到AI领域，比如可移植性和模块化，并推广使用POJO来构建AI生态。

换句话讲：Spring AI不生产AI，只是AI的搬运工

pom依赖

新建一个maven项目，其pom.xml内容如下：

xml 复制代码

    <dependencies>
        <dependency>
            <groupId>com.vaadin</groupId>
            <artifactId>vaadin-core</artifactId>
            <version>${vaadin.version}</version>
        </dependency>
        <dependency>
            <groupId>com.vaadin</groupId>
            <artifactId>vaadin-spring-boot-starter</artifactId>
            <version>${vaadin.version}</version>
        </dependency>
        <dependency>
            <groupId>in.virit</groupId>
            <artifactId>viritin</artifactId>
            <version>${viritin.version}</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-core</artifactId>
            <version>${spring-ai.version}</version> <!-- 使用属性变量 -->
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-validation</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
            <version>${spring-ai.version}</version> <!-- 使用属性变量 -->
        </dependency>
        <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-tika-document-reader</artifactId>
            <version>${spring-ai.version}</version> <!-- 使用属性变量 -->
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-devtools</artifactId>
            <optional>true</optional>
        </dependency>
    </dependencies>

大模型接口配置

在SpringBoot项目的配置文件中添加配置项，在application.properties中新增：

ini 复制代码

spring.application.name=spring-boot-ollama
server.port=8088
#配置ollama接口地址
spring.ai.ollama.base-url=http://127.0.0.1:11434/
#配置使用的ollama模型
spring.ai.ollama.chat.options.model=llama3:latest
#spring.ai.ollama.chat.options.model=qwen2.5:latest
spring.ai.ollama.chat.options.temperature=0.7
spring.ai.ollama.embedding.model=nomic-embed-text:latest
spring.ai.ollama.embedding.options.top-k=1
spring.ai.ollama.chat.options.top-k=1