ollama 本都部署模型

ollama 本都部署模型

ollama 是什么

ollama 是一个开源的运行大模型的框架,可以让我们在不依赖GPU的情况下运行模型

ollama官网

运行ollama

有两种方式,第一个官网下载安装包 linux/macos/windows 都有

第二种就是通过docker 方式运行 ,官方镜像

ollama官方docker 镜像

拉取命令 docker pull ollama/ollama

我们直接下载安装包运行即可

下载运行模型

在官网搜索你想运行的模型,这里使用deepseek

我电脑内存32G,运行一个 7b的,跑起来还可以,很流畅

找到模型,点进去详细页,复制这条命令即可运行

运行效果如下:直接控制台输入

接入ui界面

这里选择 open-web-ui ,直接使用docker 运行 ,

open-webui docker镜像

复制代码
docker pull openwebui/open-webui

docker run open-webui

运行起来之后访问 localhost:3000 端口

选择模型就可以开始聊天了

相关推荐
正在走向自律9 分钟前
从只写接口到独立交付前后端,飞算JavaAI能给Java后端工程师多少溢价?
java·springboot·ai编程·全栈开发·java求职·飞算javaai·金九银十
全栈弄潮儿2 小时前
3 个能立刻复用的 AI 编程工作流
aigc·openai·ai编程
桃西西呀5 小时前
Laya 源码级原理拆解之二:序列打包与决策头
人工智能·llm·ai编程
盟接之桥6 小时前
线束数字化--先进先出为什么总是停留在纸面上?
大数据·网络·数据库·人工智能·制造·ai编程
Yunovian6 小时前
AI时代,针对模型与应用,浅谈一下各编程语言
开发语言·c++·人工智能·python·ai·rust·ai编程
用户4015823324627 小时前
Git 合并冲突怎么解决?用 AI 处理冲突的流程、Prompt 和 4 个易错点
ai编程
小虎AI生活7 小时前
官媒集体下场做 GEO:AI 眼里的“你”,得自己管(附 10 分钟自检实操)
aigc·ai编程
桃西西呀8 小时前
Laya 源码级原理拆解之一:整体架构与运行入口
人工智能·llm·ai编程
吴佳浩8 小时前
Agent 安全红线:越狱防御、间接注入与数据防泄漏实战
人工智能·agent·ai编程
吴佳浩8 小时前
Claude Code 与 Hermes Agent 深度拆解:顶级 Coding Agent 为什么都放弃了纯 Chat 模式?
人工智能·agent·ai编程