springai结合ollama

ollama

介绍

使用

[spring ai使用ollama调用本地部署的大模型](#spring ai使用ollama调用本地部署的大模型)

加依赖

配置yml

写代码

ollama

介绍

Ø官网：Ollama

ØOllama是一个用于部署和运行各种开源大模型的工具；

Ø它能够帮助用户快速在本地运行各种大模型，极大地简化了大模型在本地运行的过程。

Ø用户通过执行几条命令就能在本地运行开源大模型，如Llama2等；

Ø综上，Ollama是一个大模型部署运行工具，在该工具里面可以部署运行各种大模型，方便开发者在本地搭建一套大模型运行环境；

使用

下载：

Download Ollama on macOS

安装：

点击这个玩意next就行了。

运行

ollama run qwen:0.5b-chat（大模型的名字去ollama官网找：library）

后面这个qwen:0.5b-chat是模型名字，你需要自己去找对应的想用的模型

注意：默认的ollama api会监听11434端口，可以使用命令进行查看（如下）

netstat-ano | findstr 11434

spring ai使用ollama调用本地部署的大模型

加依赖

复制代码

<dependency>

   <groupId>org.springframework.ai</groupId>

   <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>

</dependency>

配置yml

因为ollama这个依赖默认用的是minster这个大模型，为了能使用别的大模型，我们可以在配置文件中标明

chat:

option:

model: xxxxx(模型名字)

其他配置默认的，直接抄就行。

写代码

复制代码

import jakarta.annotation.Resource;
import org.springframework.ai.ollama.OllamaChatClient;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

@RestController
public class olllamacoll {
    @Resource
    private OllamaChatClient ollamaChatClient;
     @RequestMapping(value = "/ai/ollama")
    public Object ollama(@RequestParam(value = "msq") String msq){

    String called=ollamaChatClient.call(msq);
         return called;
     }
}