本地部署大模型(ollama模式)

分享记录一下本地部署大模型步骤。

大模型应用部署可以选择 ollama 或者 LM Studio。本文介绍ollama本地部署

ollama官网为:https://ollama.com/

进入官网,下载ollama。

ollama是一个模型管理工具和平台,它提供了很多国内外常见的模型,我们可以在其官网上搜索自己需要的模型:
https://ollama.com/search

案例以deepseek-r1 为模型。

在ollama会给出运行模型的命令

下载完成ollama后,进行运行deepseek模型

java 复制代码
ollama run deepseek-r1:7b

至此,就可以本地模型进行聊天了。

退出聊天

相关推荐
zlt20003 天前
Spring AI与DeepSeek实战四:系统API调用
java·人工智能·spring ai·deepseek
与海boy11 天前
SpringAI整合Ollama集成DeepSeek
ollama·spring ai·deepseek
Charge815 天前
Spring AI Alibaba 对话记忆使用
spring ai·chatmemory使用
laopeng30117 天前
Spring AI ToolCalling 扩展模型能力边界
java·人工智能·大模型·spring ai
大龄码农有梦想2 个月前
Spring AI如何调用Function Calling
人工智能·function call·function·spring ai·deepseek·qwen模型
大龄码农有梦想2 个月前
Springboot集成Spring AI和Milvus,验证RAG构建过程
人工智能·spring boot·spring·milvus·知识库·rag·spring ai
大龄码农有梦想2 个月前
Springboot集成Milvus和Embedding服务,实现向量化检索
spring boot·embedding·milvus·向量检索·spring ai
大龄码农有梦想3 个月前
Spring AI提示词模板PromptTemplate的使用
人工智能·spring·spring ai·prompt提示词·prompttemplate·提示词模板
zlt20003 个月前
Spring Cloud Alibaba AI 入门与实践
java·spring cloud·spring ai