本地部署大模型(ollama模式)

分享记录一下本地部署大模型步骤。

大模型应用部署可以选择 ollama 或者 LM Studio。本文介绍ollama本地部署

ollama官网为:https://ollama.com/

进入官网,下载ollama。

ollama是一个模型管理工具和平台,它提供了很多国内外常见的模型,我们可以在其官网上搜索自己需要的模型:
https://ollama.com/search

案例以deepseek-r1 为模型。

在ollama会给出运行模型的命令

下载完成ollama后,进行运行deepseek模型

java 复制代码
ollama run deepseek-r1:7b

至此,就可以本地模型进行聊天了。

退出聊天

相关推荐
小小工匠3 天前
LLM - 将业务 SOP 变成 AI 能力:用 Skill + MCP 驱动 Spring AI 应用落地不完全指南
人工智能·skill·spring ai·mcp
zs宝来了5 天前
大厂面试实录:Spring Boot源码深度解析+Redis缓存架构+RAG智能检索,谢飞机的AI电商面试之旅
spring boot·redis·微服务·大厂面试·java面试·rag·spring ai
南山乐只9 天前
【Spring AI 开发指南】ChatClient 基础、原理与实战案例
人工智能·后端·spring ai
小毅&Nora10 天前
【Spring AI Alibaba】⑥ 记忆管理(Memory):让Agent拥有“长期记忆“的智能方法
人工智能·spring ai·记忆管理
Java小生不才10 天前
ChatClient入门
微服务·spring ai
是一个Bug12 天前
基于 Spring AI 开发智能邮件分类器
spring ai
小毅&Nora12 天前
【Spring AI Alibaba】 ⑤ 人工介入(Human-in-the-loop):关键决策点的智能审批与中断恢复
人工智能·spring ai
better_liang17 天前
每日Java面试场景题知识点之-Spring AI企业级AI应用开发
java·面试题·智能客服·ai应用·spring ai·企业级开发
腾飞开源17 天前
53_Spring AI 干货笔记之转录API
人工智能·语音转文字·spring ai·azure openai·转录api·openai whisper·统一接口
Java小生不才20 天前
SAA入门代码
阿里云·spring ai