ollama安装及本地部署开源大模型

Ollama 官网:https://ollama.com/,官方网站的介绍就一句话:Get up and running with large language models. (开始使用大语言模型。)
Ollama是一个开源的 LLM(大型语言模型)服务工具,用于简化在本地运行大语言模型、降低使用大语言模型的门槛,使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型,包括如Qwen2、Llama3、Phi3、Gemma2等开源的大型语言模型。

c 复制代码
安装后是默认路径:C:\Users\Administrator\AppData\Local\Programs\Ollama

Ollama大模型仓库

c 复制代码
https://ollama.org.cn/library

Ollama配置 服务端口

编辑环境变量

OLLAMA_HOST:配置端口

D:\ollama\models:配置大模型本地存储路径

OLLAMA_ORIGINS:访问端口允许跨域

配置环境变量后重启Ollama
启动Ollama后安装启动本地大模型

c 复制代码
ollama run qwen2:0.5b


查看本地大模型

c 复制代码
ollama list

java 调用大模型接口

1、JDK必须是17 版本

2、使用的springboot版本

c 复制代码
 <spring-boot.version>3.2.3</spring-boot.version>

3、引入ai依赖

c 复制代码
 		<dependency>
            <groupId>io.springboot.ai</groupId>
            <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
            <version>1.0.0</version>
        </dependency>

4、配置文件

c 复制代码
server.port=8088
spring.application.name=NTopicBootX
#大模型端口默认是11434
spring.ai.ollama.base-url=http://localhost:8000
#使用的大模型
spring.ai.ollama.chat.options.model=qwen2:0.5b

5、测试代码

c 复制代码
@Autowired
    @Qualifier("ollamaChatClient")
    private OllamaChatClient ollamaChatClient;
    @Test
    public void test32(){
        System.out.println(ollamaChatClient.call("天空为什么是蓝色的"));
    }
    @Test
    public void test31(){
        Prompt prompt = new Prompt(
                "天空为什么是蓝色的",
                OllamaOptions.create()
                        .withModel("qwen2:0.5b")
                        .withTemperature(0.4F));
        ChatResponse chatResponse = ollamaChatClient.call(prompt);
        System.out.println(chatResponse.getResult().getOutput().getContent());
    }

6、运行结果

相关推荐
北执南念12 分钟前
项目代码生成工具
java
中国lanwp18 分钟前
springboot logback 默认加载配置文件顺序
java·spring boot·logback
苹果酱05671 小时前
【Azure Redis 缓存】在Azure Redis中,如何限制只允许Azure App Service访问?
java·vue.js·spring boot·mysql·课程设计
Java致死1 小时前
单例设计模式
java·单例模式·设计模式
胡子发芽1 小时前
请详细解释Java中的线程池(ThreadPoolExecutor)的工作原理,并说明如何自定义线程池的拒绝策略
java
沫夕残雪1 小时前
Tomcat的安装与配置
java·tomcat
胡子发芽2 小时前
请解释Java中的NIO(New I/O)与传统I/O的区别,并说明NIO中的关键组件及其作用
java
柚个朵朵2 小时前
IDEA中使用Git
java·git·spring
jerry6092 小时前
优先队列、堆笔记(算法第四版)
java·笔记·算法
666HZ6662 小时前
关于IDEA的循环依赖问题
java·ide·intellij-idea