本地部署大模型(ollama模式)

分享记录一下本地部署大模型步骤。

大模型应用部署可以选择 ollama 或者 LM Studio。本文介绍ollama本地部署

ollama官网为:https://ollama.com/

进入官网,下载ollama。

ollama是一个模型管理工具和平台,它提供了很多国内外常见的模型,我们可以在其官网上搜索自己需要的模型:
https://ollama.com/search

案例以deepseek-r1 为模型。

在ollama会给出运行模型的命令

下载完成ollama后,进行运行deepseek模型

java 复制代码
ollama run deepseek-r1:7b

至此,就可以本地模型进行聊天了。

退出聊天

相关推荐
GEM的左耳返1 小时前
Java AI面试实战:Spring AI与RAG技术落地
prompt工程·向量数据库·java面试·rag·ai应用·spring ai
会写代码的斯皮尔伯格3 天前
Spring Boot 3整合Spring AI实战:9轮面试对话解析AI应用开发
openai·微服务架构·java面试·rag·ollama·spring ai·spring boot 3
remCoding8 天前
Java大厂面试实录:从Spring Boot到AI微服务架构的深度解析
spring boot·redis·kafka·java面试·spring ai·jakarta ee·ai微服务
小码农叔叔21 天前
【AI大模型】Spring AI 基于mysql实现对话持久存储详解
spring ai·spring ai 会话记忆·spring ai 记忆·spring ai 会话存储·spring ai 记忆功能
booooooty22 天前
基于Spring AI Alibaba的多智能体RAG应用
java·人工智能·spring·多智能体·rag·spring ai·ai alibaba
weixin_425023001 个月前
Spring Boot使用MCP服务器
服务器·spring boot·后端·spring ai·mcp
程序员阿超的博客1 个月前
Java大模型开发入门 (13/15):拥抱官方标准 - Spring AI框架入门与实践
人工智能·langchain·大模型·spring ai·langchain4j
迢迢星万里灬1 个月前
Java求职者面试:Spring AI、MCP、RAG、向量数据库与Embedding模型技术解析
java·面试·向量数据库·rag·spring ai·embedding模型·mcp
llwszx1 个月前
Spring Boot 整合 Spring AI 与 MCP 开发智能体工具指南
人工智能·spring boot·spring·智能体·spring ai·mcp
Hanson Huang1 个月前
【Spring AI 1.0.0】Spring AI 1.0.0框架快速入门(2)——Prompt(提示词)
java·人工智能·spring·spring ai