本地部署大模型(ollama模式)

分享记录一下本地部署大模型步骤。

大模型应用部署可以选择 ollama 或者 LM Studio。本文介绍ollama本地部署

ollama官网为:https://ollama.com/

进入官网,下载ollama。

ollama是一个模型管理工具和平台,它提供了很多国内外常见的模型,我们可以在其官网上搜索自己需要的模型:
https://ollama.com/search

案例以deepseek-r1 为模型。

在ollama会给出运行模型的命令

下载完成ollama后,进行运行deepseek模型

java 复制代码
ollama run deepseek-r1:7b

至此,就可以本地模型进行聊天了。

退出聊天

相关推荐
昙鱼15 小时前
embeddingModel操作milvus数据库集合
spring boot·milvus·spring ai
Z_Easen6 天前
Spring AI:Reactor 异步执行中的线程上下文传递实践
java·spring ai
小小工匠9 天前
大模型开发 - Spring AI MCP 工具分组系统:细粒度权限控制的优雅实现
spring ai·mcp·tool 分组
码者无疆16 天前
使用 Java、Spring Boot 和 Spring AI 开发符合 A2A 标准的 AI 智能体
spring ai
小小工匠18 天前
Spring AI : 探秘 SpringAI 架构解析
spring ai
梵得儿SHI23 天前
(第三篇)Spring AI 基础入门:PromptTemplate 与对话工程实战(从字符串拼接到底层模板引擎的进阶之路)
人工智能·prompt·大模型应用·spring ai·prompttemplate·ai 响应的质量与准确性·上下文管理策略
rengang6624 天前
105-Spring AI Alibaba Module RAG 使用示例
java·人工智能·spring·rag·spring ai·ai应用编程
rengang6625 天前
Spring AI Alibaba 框架使用示例总体介绍
java·人工智能·spring·spring ai·ai应用编程
rengang6625 天前
512-Spring AI Alibaba 字段分类分级 Graph 示例
人工智能·spring·分类·spring ai·ai应用编程
rengang6625 天前
502-Spring AI Alibaba React Agent 功能完整案例
人工智能·spring·agent·react·spring ai·ai应用编程