ollama安装及本地部署开源大模型

Ollama 官网:https://ollama.com/,官方网站的介绍就一句话:Get up and running with large language models. (开始使用大语言模型。)
Ollama是一个开源的 LLM(大型语言模型)服务工具,用于简化在本地运行大语言模型、降低使用大语言模型的门槛,使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型,包括如Qwen2、Llama3、Phi3、Gemma2等开源的大型语言模型。

c 复制代码
安装后是默认路径:C:\Users\Administrator\AppData\Local\Programs\Ollama

Ollama大模型仓库

c 复制代码
https://ollama.org.cn/library

Ollama配置 服务端口

编辑环境变量

OLLAMA_HOST:配置端口

D:\ollama\models:配置大模型本地存储路径

OLLAMA_ORIGINS:访问端口允许跨域

配置环境变量后重启Ollama
启动Ollama后安装启动本地大模型

c 复制代码
ollama run qwen2:0.5b


查看本地大模型

c 复制代码
ollama list

java 调用大模型接口

1、JDK必须是17 版本

2、使用的springboot版本

c 复制代码
 <spring-boot.version>3.2.3</spring-boot.version>

3、引入ai依赖

c 复制代码
 		<dependency>
            <groupId>io.springboot.ai</groupId>
            <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
            <version>1.0.0</version>
        </dependency>

4、配置文件

c 复制代码
server.port=8088
spring.application.name=NTopicBootX
#大模型端口默认是11434
spring.ai.ollama.base-url=http://localhost:8000
#使用的大模型
spring.ai.ollama.chat.options.model=qwen2:0.5b

5、测试代码

c 复制代码
@Autowired
    @Qualifier("ollamaChatClient")
    private OllamaChatClient ollamaChatClient;
    @Test
    public void test32(){
        System.out.println(ollamaChatClient.call("天空为什么是蓝色的"));
    }
    @Test
    public void test31(){
        Prompt prompt = new Prompt(
                "天空为什么是蓝色的",
                OllamaOptions.create()
                        .withModel("qwen2:0.5b")
                        .withTemperature(0.4F));
        ChatResponse chatResponse = ollamaChatClient.call(prompt);
        System.out.println(chatResponse.getResult().getOutput().getContent());
    }

6、运行结果

相关推荐
咖啡教室3 小时前
java日常开发笔记和开发问题记录
java
咖啡教室3 小时前
java练习项目记录笔记
java
鱼樱前端4 小时前
maven的基础安装和使用--mac/window版本
java·后端
RainbowSea4 小时前
6. RabbitMQ 死信队列的详细操作编写
java·消息队列·rabbitmq
RainbowSea4 小时前
5. RabbitMQ 消息队列中 Exchanges(交换机) 的详细说明
java·消息队列·rabbitmq
李少兄6 小时前
Unirest:优雅的Java HTTP客户端库
java·开发语言·http
此木|西贝6 小时前
【设计模式】原型模式
java·设计模式·原型模式
可乐加.糖6 小时前
一篇关于Netty相关的梳理总结
java·后端·网络协议·netty·信息与通信
s9123601016 小时前
rust 同时处理多个异步任务
java·数据库·rust
9号达人6 小时前
java9新特性详解与实践
java·后端·面试