本地部署大模型(ollama模式)

分享记录一下本地部署大模型步骤。

大模型应用部署可以选择 ollama 或者 LM Studio。本文介绍ollama本地部署

ollama官网为:https://ollama.com/

进入官网,下载ollama。

ollama是一个模型管理工具和平台,它提供了很多国内外常见的模型,我们可以在其官网上搜索自己需要的模型:
https://ollama.com/search

案例以deepseek-r1 为模型。

在ollama会给出运行模型的命令

下载完成ollama后,进行运行deepseek模型

java 复制代码
ollama run deepseek-r1:7b

至此,就可以本地模型进行聊天了。

退出聊天

相关推荐
荣--2 天前
业务智能体实战笔记:分层消除不确定性(一)|总纲:把不确定性从 LLM 侧转移到工程侧
prompt·rag·ai agent·spring ai·业务智能体
行者-全栈开发4 天前
【Spring AI 】AI Agent 架构设计:感知、规划、行动、记忆四层模型深度解析(2026最新)
langchain·autogen·spring ai·企业级应用·智能体设计·agent架构·四层模型深度解析
小沈同学呀5 天前
飞书机器人+Spring AI Function Calling实战-扔掉MCP Client让LLM直接操控工具
java·开发语言·functioncalling·spring ai·飞书机器人
Muscleheng6 天前
Spring Ai SpringBoot集成DeepSeek
ai·spring ai·deepseek
心之伊始24 天前
Spring AI Chat Memory 实战:用 JDBC 给 Java Agent 加会话记忆
java·spring boot·agent·spring ai·chat memory
心之伊始25 天前
Spring AI Structured Output 实战:把大模型返回稳定转成 Java DTO
java·spring boot·大模型·spring ai·structured output
碳基硅坊1 个月前
Spring AI:把大模型接进 Spring 应用
java·人工智能·spring ai
行者-全栈开发1 个月前
Spring AI RAG 效果评估:如何科学衡量 RAG 系统的准确率和召回率?(附评估代码)
数据驱动·spring ai·召回率·评估指标·rag评估·检索质量·f1分数
心之伊始1 个月前
Spring AI Tool Calling 实战:让 Java Agent 调用本地 Bean 工具方法
java·spring boot·agent·spring ai·tool calling
小沈同学呀1 个月前
SpringAI+MCPClient实战-MiniMax模型打造智能AIAgent
ai agent·工具调用·spring ai·mcp clien·实战演示