还在本地硬扛大模型?试试 Ollama Cloud,顺便把 OpenCode 也升级了

关注我的公众号:【编程朝花夕拾】,可获取首发内容。

01 引言

还在为本地显存不足、跑不动超大模型而烦恼?Ollama 悄悄上线了 Cloud 模型,让普通电脑也能轻松运行 DeepSeek-V3.1、Qwen3-Coder 等 671B 参数量的巨无霸模型,而且使用方式和本地模型完全一样。

今天我们就来聊聊如何利用 Ollama Cloud 让 AI 辅助编程工具 OpenCode 直接接入云端大模型,体验飞一般的代码生成速度。

02 本地模型痛点

相信很多小伙伴都有过这样的经历:

  • 下载了一个 70B 的模型,结果 ollama run 之后直接报 out of memory;
  • 忍痛买了一张 24GB 显存的显卡,结果跑个 120B 模型依然卡成 PPT;
  • 想用最新的 DeepSeek-V3.1(671B 参数),本地根本不可能......
  • Ollama的安装以及拉取的模型直接让C盘爆红

没有条件的小伙伴本地只能安装一些入参数小的模型,但是本机运行起来依然卡成狗。

如下图,只运行了一个0.8b参数的模型,就打了个招呼,直接将本地的CPU直接拉满,根本不能做其他的工作,只能默默卸载ollama。

我们将逐步解决这些痛点,还你一个高效又节省资源的ollama。

03 Ollama部署

官方给了多平台的部署脚本。

3.1 下载

windows平台安装脚本固然方便,但默认都是安装在C盘,我可不想装到C盘。我还是喜欢ZIP包的方式免安装,想放那里就放那里。

ZIP包在GitHub上:github.com/ollama/olla...

选择适合自己系统的版本即可,我这里选择的是ollama-windows-amd64.zip

3.2 自定义部署

解压之后,就是简单的三个文件:

  • lib
  • ollama.exe
  • vc_redist.x64.exe

在当前文件夹内就可以调用ollama的命令启动:ollama serve

启动完成之后,就可以操作ollama了,我们需要新开一个窗口。

配置环境变量

我们需要在任何地方都能够运行ollama的命令,就需要配置环境变量,和配置JDK环境一样。

bash 复制代码
OLLAMA_HOME=E:\tool\ollama-windows-amd64

再次配置Path路径:

现在就可以在任何地方使用ollama serve启动服务了。

配置模型位置

模型默认的模型存储位置:C:\Users\<你的用户名>\.ollama\models

我们通过配置环境变量的来改变模型位置,在启动日志里面可以看到一个参数:OLLAMA_MODELS

因为这里我改过,所以直接显示改过的地址。

修改模型的位置,同样通过环境变量的方式:

04 Ollama Cloud

我们在Ollama的官网可以看到Cloud这样的标签:

我们看看官方的解释:

官方说明文档:docs.ollama.com/cloud

4.1 登录

Ollama 的云端模型需要在 ollama.com 上有一个账户。

要登录或创建账户命令:

bash 复制代码
ollama signin

运行之后,会给出一个类似下面的连接,我们复制到浏览器注册登录即可。

markdown 复制代码
https://signin.ollama.com/?client_id=client_01JX0QMHD43XH82A6K8B&redirect_uri=https%3A%2F%2Follama.com%2Fauth%2Fcallback&state=Y29ubmVjdD9rZXk9YzNOb0xaFF6RnNXa1JKTVU1VVJUVkJRGRhUXpac1JHVTNTU3RDZWk5UWRGRXhVbGhYUlc4d2JtUlJVVXBKT1U4clNXSmlhMDAmbmFtZT1sb2NhbGhvc3QubG9jYWxkb21haW4%3D&authorization_session_id=FYYX4A39SZ2GMXBZDH

登录完成之后,会出现小羊驼的头像。

4.2 运行云端模型

运行就简单了,直接找到带:cloud,直接运行即可,如:

bash 复制代码
ollama run minimax-m2.7:cloud

运行非常快,而且不占用本地资源。

保存到本地的大小,也就几KB

更大的模型都可以在本地运行了。

类似的大参数模型均可畅行无阻。

05 升级OpenCode

OpenCode备受大家喜爱,很大原因是因为内置了几个免费的模型并且支持众多大模型提供商。

5.1 配置Ollama Cloud

和我开始想象的不太一样,我以为直接连接本地的11434端口,结果是直接对接Ollama Cloud,它不依赖本地的Ollama运行。

厂商的连接需要Ollama Cloud API密钥。

5.2 获取秘钥

API秘钥需要在之前申请的Ollama账户中获取。

在settings中设置,里面的Device Keys是执行ollama signin认证后自动带入的设置信息。

API key我们直接通过Generate API Key即可。

5.3 配置

将5.2获取的API key复制到5.1里面即可。此时Ollama Cloud下就会自动加载所有的Cloud模型。

5.4 测试

我们随便选一个模型试试是否可用。

非常完美!

06 番外

到这里基本已经结束了,但是本地模型运行的时候,我们每次都会开两个cmd窗口,一个用来执行ollama serve且不能关闭,另一个运行其他命令。

于是我想有一个后台启动的脚本,执行后无视窗口,还想有一个停止的脚本。

启动脚本.bat

bash 复制代码
@echo off
pushd %~dp0
echo Check if the ollama port [11434] exists....
netstat -ano | findstr ":11434" | findstr "LISTENING"
if %errorlevel% neq 0 (
	echo ollama port [11434] not exists.
	echo use powershell start ollama...
	powershell.exe -command "& {Start-Process -WindowStyle hidden -FilePath ollama serve -RedirectStandardOutput 'ollama.log'}"
	timeout /t 3 /nobreak >nul
)else (
	echo ollama port [11434] exists.
	echo =================================================
    echo =  Ollama is running at http://127.0.0.1:11434  =
	echo =================================================
	pause
	exit /b 0
)


netstat -ano | findstr ":11434" | findstr "LISTENING"
echo %errorlevel%
if %errorlevel% neq 0 (
    echo Failed to start Ollama
) else (
	echo =================================================
    echo =  Ollama is running at http://127.0.0.1:11434  =
	echo =================================================
)
pause

停止脚本.bat

bash 复制代码
@echo off
set PORT=11434

echo find %PORT% process...

for /f "tokens=5" %%a in ('netstat -aon ^| findstr :%PORT% ^| findstr LISTENING') do (
    set PID=%%a
    goto :found
)

echo not found %PORT% process.
pause
exit /b 0

:found
echo found PID: %PID%

taskkill /F /PID %PID% >nul 2>&1
if %errorlevel% equ 0 (
    echo ollama stoped.
) else (
    echo ollama stop failed,maybe need use admin permissions.
)
pause
相关推荐
SunnyDays101112 分钟前
Java 操作 PPT 超链接:添加、修改和删除
java·powerpoint·ppt·超链接
掘金酱17 分钟前
带着作品来,坐下来聊|掘金 X-lab · Coffee Talk 邀请你来见一面
前端·javascript·后端
Thomas.Sir19 分钟前
第4课:配置文件详解:application.yml/properties,多环境配置、配置分组、配置校验
java·spring boot
白露与泡影39 分钟前
一线 Java 后端面试八股(2026 更新版,含完整答案)
java·开发语言·面试
SL_staff41 分钟前
APS落地失败的5个隐形坑:离散制造排产为何总在Excel里打转?
java·人工智能·开源
Code-zyc1 小时前
读取电表数据并展示
java
数据狐(Datafox)1 小时前
一文读懂京东商品详情API:返回字段解读与 JSON 样例
java·开发语言·数据库·windows·json
唐青枫1 小时前
企业知识库 RAG 实战:混合检索、权限过滤与答案溯源
后端
花椒技术1 小时前
花椒 AI 应用工程化实践:灵泡泡的工作流、版本管理与任务恢复
后端·agent·ai编程
SelectDB1 小时前
以实时驱动智能:Apache Doris Summit 2026 盛大落幕,开启 Agentic AI 时代数据新范式
数据库·程序员·agent