本地部署大模型(ollama模式)

分享记录一下本地部署大模型步骤。

大模型应用部署可以选择 ollama 或者 LM Studio。本文介绍ollama本地部署

ollama官网为:https://ollama.com/

进入官网,下载ollama。

ollama是一个模型管理工具和平台,它提供了很多国内外常见的模型,我们可以在其官网上搜索自己需要的模型:
https://ollama.com/search

案例以deepseek-r1 为模型。

在ollama会给出运行模型的命令

下载完成ollama后,进行运行deepseek模型

java 复制代码
ollama run deepseek-r1:7b

至此,就可以本地模型进行聊天了。

退出聊天

相关推荐
大佐不会说日语~6 小时前
Spring AI Alibaba 的 ChatClient 工具注册与 Function Calling 实践
人工智能·spring boot·python·spring·封装·spring ai
多则惑少则明18 小时前
AI大模型实用(三)Java快速实现智能体整理(Springboot+LangChain4j)
人工智能·spring ai·langchain4j
腾飞开源3 天前
40_Spring AI 干货笔记之 Transformers (ONNX) 嵌入
人工智能·huggingface·onnx·transformers·嵌入模型·spring ai·句子转换器
腾飞开源3 天前
41_Spring AI 干货笔记之 OpenAI SDK 嵌入(官方支持)
人工智能·嵌入模型·spring ai·openai sdk·github models·示例控制器·无密码认证
栗子叶4 天前
Spring AI MCP Server接入百炼问题排查
spring ai·mcp·百炼·获取工具异常
默 语4 天前
用Java撸一个AI聊天机器人:从零到一的踩坑实录
java·人工智能·spring·ai·机器人·spring ai
Light605 天前
再见,REST API?你好,MCP Server!AI时代后端开发新范式
java·人工智能·rest api·ai agent·spring ai·mcp
蛐蛐蜉蝣耶5 天前
Spring AI与MCP集成实践:构建智能应用的新方式
人工智能·微服务·java开发·spring ai·mcp
IT空门:门主5 天前
Spring AI的教程,持续更新......
java·人工智能·spring·spring ai
腾飞开源8 天前
31_Spring AI 干货笔记之嵌入模型 Amazon Bedrock
人工智能·amazon bedrock·嵌入模型·spring ai·converse api·cohere嵌入·titan嵌入