本地部署大模型(ollama模式)

分享记录一下本地部署大模型步骤。

大模型应用部署可以选择 ollama 或者 LM Studio。本文介绍ollama本地部署

ollama官网为:https://ollama.com/

进入官网,下载ollama。

ollama是一个模型管理工具和平台,它提供了很多国内外常见的模型,我们可以在其官网上搜索自己需要的模型:
https://ollama.com/search

案例以deepseek-r1 为模型。

在ollama会给出运行模型的命令

下载完成ollama后,进行运行deepseek模型

java 复制代码
ollama run deepseek-r1:7b

至此,就可以本地模型进行聊天了。

退出聊天

相关推荐
BOB-wangbaohai7 天前
Spring AI 官方文档 AIGC入门到实战 (1) 认识Spring AI
人工智能·aigc·spring ai
在未来等你7 天前
互联网大厂Java求职面试:AI大模型融合下的企业知识库架构设计与性能优化
java·向量数据库·ai大模型·spring ai·语义缓存·rag系统·多模态处理
孤狼逐月7 天前
Spring boot集成milvus(spring ai)
spring boot·spring·milvus·spring ai
wangwren7 天前
SpringAI--RAG知识库
java·rag·spring ai·pgvector
Java后端何哥8 天前
Spring AI框架快速入门
spring ai·同步调用和流式调用·chatclinet·openai大模型规范
在未来等你9 天前
互联网大厂Java求职面试:AI大模型推理服务性能优化与向量数据库分布式检索
java·llm·milvus·向量数据库·rag·spring ai·语义缓存
Uranus^9 天前
Spring Boot集成Spring AI与Milvus实现智能问答系统
spring boot·milvus·rag·spring ai·智能问答系统
洛阳泰山10 天前
Spring AI 智能体代理模式(Agent Agentic Patterns)
人工智能·spring·代理模式·智能体·spring ai
engchina10 天前
Spring AI 1.0 GA 正式发布
java·人工智能·spring·spring ai
Fanxt_Ja12 天前
通过上传使大模型读取并分析文件实战
java·人工智能·spring boot·语言模型·状态模式·spring ai