springai结合ollama

目录

ollama

介绍

使用

下载:

安装:

点击这个玩意next就行了。

运行

[spring ai使用ollama调用本地部署的大模型](#spring ai使用ollama调用本地部署的大模型)

加依赖

配置yml

写代码


ollama

介绍

Ø官网:Ollama

ØOllama是一个用于部署和运行各种开源大模型的工具;

Ø它能够帮助用户快速在本地运行各种大模型,极大地简化了大模型在本地运行的过程。

Ø用户通过执行几条命令就能在本地运行开源大模型,如Llama2等;

Ø综上,Ollama是一个大模型部署运行工具,在该工具里面可以部署运行各种大模型,方便开发者在本地搭建一套大模型运行环境;

使用

下载:

Download Ollama on macOS

安装:

点击这个玩意next就行了。

运行

ollama run qwen:0.5b-chat(大模型的名字去ollama官网找:library

后面这个qwen:0.5b-chat是模型名字,你需要自己去找对应的想用的模型

注意:默认的ollama api会监听11434端口,可以使用命令进行查看(如下)

netstat-ano | findstr 11434

spring ai使用ollama调用本地部署的大模型

加依赖

<dependency>

   <groupId>org.springframework.ai</groupId>

   <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>

</dependency>

配置yml

因为ollama这个依赖默认用的是minster这个大模型,为了能使用别的大模型,我们可以在配置文件中标明

chat:

​ option:

​ model: xxxxx(模型名字)

其他配置默认的,直接抄就行。

写代码

import jakarta.annotation.Resource;
import org.springframework.ai.ollama.OllamaChatClient;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

@RestController
public class olllamacoll {
    @Resource
    private OllamaChatClient ollamaChatClient;
     @RequestMapping(value = "/ai/ollama")
    public Object ollama(@RequestParam(value = "msq") String msq){

    String called=ollamaChatClient.call(msq);
         return called;
     }
}
相关推荐
秋意钟3 分钟前
Spring新版本
java·后端·spring
椰椰椰耶5 分钟前
【文档搜索引擎】缓冲区优化和索引模块小结
java·spring·搜索引擎
mubeibeinv7 分钟前
项目搭建+图片(添加+图片)
java·服务器·前端
青莳吖8 分钟前
Java通过Map实现与SQL中的group by相同的逻辑
java·开发语言·sql
Buleall15 分钟前
期末考学C
java·开发语言
重生之绝世牛码17 分钟前
Java设计模式 —— 【结构型模式】外观模式详解
java·大数据·开发语言·设计模式·设计原则·外观模式
小蜗牛慢慢爬行23 分钟前
有关异步场景的 10 大 Spring Boot 面试问题
java·开发语言·网络·spring boot·后端·spring·面试
新手小袁_J1 小时前
JDK11下载安装和配置超详细过程
java·spring cloud·jdk·maven·mybatis·jdk11
呆呆小雅1 小时前
C#关键字volatile
java·redis·c#
Monly211 小时前
Java(若依):修改Tomcat的版本
java·开发语言·tomcat