本地部署大模型(ollama模式)

分享记录一下本地部署大模型步骤。

大模型应用部署可以选择 ollama 或者 LM Studio。本文介绍ollama本地部署

ollama官网为:https://ollama.com/

进入官网,下载ollama。

ollama是一个模型管理工具和平台,它提供了很多国内外常见的模型,我们可以在其官网上搜索自己需要的模型:
https://ollama.com/search

案例以deepseek-r1 为模型。

在ollama会给出运行模型的命令

下载完成ollama后,进行运行deepseek模型

java 复制代码
ollama run deepseek-r1:7b

至此,就可以本地模型进行聊天了。

退出聊天

相关推荐
种时光的人6 小时前
Java+AI 无缝衔接:Spring AI 聊天模型入门到精通
java·人工智能·spring·ai·spring ai
光仔December2 天前
【从0学习Spring AI Alibaba】3、阿里云百炼平台API Key 申请指南
人工智能·ai大模型·spring ai·阿里云百炼·apikey申请
光仔December3 天前
【从0学习Spring AI Alibaba】2、Spring AI Alibaba版本选型及环境搭建
人工智能·大模型·saa·spring ai·ai alibaba
空城.依旧4 天前
找到了一个学习Spring AI的教程,感觉还不错,示例可以直接运行,学习Spring AI推荐
spring ai
超级无敌大好人5 天前
程序运行卡住排查
java·spring ai·qdrant
gujunge6 天前
Spring with AI (5): 搜索扩展——向量数据库与RAG(下)
ai·大模型·llm·openai·qwen·rag·spring ai·deepseek
gujunge8 天前
Spring with AI (4): 搜索扩展——向量数据库与RAG(上)
ai·大模型·llm·openai·qwen·rag·spring ai·deepseek
凤山老林9 天前
深度解析Skill机制:如何通过Spring AI + 阿里巴巴对接任意大模型实现智能技能调用?
java·人工智能·ai agent·skill·spring ai
大龄码农有梦想10 天前
Spring AI Alibaba Skills与 Claude Skills 深度对比分析:概念、机制与应用场景
人工智能·大模型·智能体·大模型应用·spring ai·claude skills
最初的↘那颗心13 天前
Prompt 工程实战:五要素框架与 Spring AI 模板化落地
java·大模型·prompt工程·spring ai·ai应用开发