还在本地硬扛大模型?试试 Ollama Cloud,顺便把 OpenCode 也升级了

关注我的公众号:【编程朝花夕拾】,可获取首发内容。

01 引言

还在为本地显存不足、跑不动超大模型而烦恼?Ollama 悄悄上线了 Cloud 模型,让普通电脑也能轻松运行 DeepSeek-V3.1Qwen3-Coder 等 671B 参数量的巨无霸模型,而且使用方式和本地模型完全一样。

今天我们就来聊聊如何利用 Ollama Cloud 让 AI 辅助编程工具 OpenCode 直接接入云端大模型,体验飞一般的代码生成速度。

02 本地模型痛点

相信很多小伙伴都有过这样的经历:

  • 下载了一个 70B 的模型,结果 ollama run 之后直接报 out of memory
  • 忍痛买了一张 24GB 显存的显卡,结果跑个 120B 模型依然卡成 PPT
  • 想用最新的 DeepSeek-V3.1(671B 参数),本地根本不可能......
  • Ollama的安装以及拉取的模型直接让C盘爆红

没有条件的小伙伴本地只能安装一些入参数小的模型,但是本机运行起来依然卡成狗。

如下图,只运行了一个0.8b参数的模型,就打了个招呼,直接将本地的CPU直接拉满,根本不能做其他的工作,只能默默卸载ollama

我们将逐步解决这些痛点,还你一个高效又节省资源的ollama

03 Ollama部署

官方给了多平台的部署脚本。

3.1 下载

windows平台安装脚本固然方便,但默认都是安装在C盘,我可不想装到C盘。我还是喜欢ZIP包的方式免安装,想放那里就放那里。

ZIP包在GitHub上:github.com/ollama/olla...

选择适合自己系统的版本即可,我这里选择的是ollama-windows-amd64.zip

3.2 自定义部署

解压之后,就是简单的三个文件:

  • lib
  • ollama.exe
  • vc_redist.x64.exe

在当前文件夹内就可以调用ollama的命令启动:ollama serve

启动完成之后,就可以操作ollama了,我们需要新开一个窗口。

配置环境变量

我们需要在任何地方都能够运行ollama的命令,就需要配置环境变量,和配置JDK环境一样。

bash 复制代码
OLLAMA_HOME=E:\tool\ollama-windows-amd64

再次配置Path路径:

现在就可以在任何地方使用ollama serve启动服务了。

配置模型位置

模型默认的模型存储位置:C:\Users\<你的用户名>\.ollama\models

我们通过配置环境变量的来改变模型位置,在启动日志里面可以看到一个参数:OLLAMA_MODELS

因为这里我改过,所以直接显示改过的地址。

修改模型的位置,同样通过环境变量的方式:

04 Ollama Cloud

我们在Ollama的官网可以看到Cloud这样的标签:

我们看看官方的解释:

官方说明文档:docs.ollama.com/cloud

4.1 登录

Ollama 的云端模型需要在 ollama.com 上有一个账户。

要登录或创建账户命令:

bash 复制代码
ollama signin

运行之后,会给出一个类似下面的连接,我们复制到浏览器注册登录即可。

markdown 复制代码
https://signin.ollama.com/?client_id=client_01JX0QMHD43XH82A6K8B&redirect_uri=https%3A%2F%2Follama.com%2Fauth%2Fcallback&state=Y29ubmVjdD9rZXk9YzNOb0xaFF6RnNXa1JKTVU1VVJUVkJRGRhUXpac1JHVTNTU3RDZWk5UWRGRXhVbGhYUlc4d2JtUlJVVXBKT1U4clNXSmlhMDAmbmFtZT1sb2NhbGhvc3QubG9jYWxkb21haW4%3D&authorization_session_id=FYYX4A39SZ2GMXBZDH

登录完成之后,会出现小羊驼的头像。

4.2 运行云端模型

运行就简单了,直接找到带:cloud,直接运行即可,如:

bash 复制代码
ollama run minimax-m2.7:cloud

运行非常快,而且不占用本地资源。

保存到本地的大小,也就几KB

更大的模型都可以在本地运行了。

类似的大参数模型均可畅行无阻。

05 升级OpenCode

OpenCode备受大家喜爱,很大原因是因为内置了几个免费的模型并且支持众多大模型提供商。

5.1 配置Ollama Cloud

和我开始想象的不太一样,我以为直接连接本地的11434端口,结果是直接对接Ollama Cloud,它不依赖本地的Ollama运行。

厂商的连接需要Ollama Cloud API密钥。

5.2 获取秘钥

API秘钥需要在之前申请的Ollama账户中获取。

settings中设置,里面的Device Keys是执行ollama signin认证后自动带入的设置信息。

API key我们直接通过Generate API Key即可。

5.3 配置

5.2获取的API key复制到5.1里面即可。此时Ollama Cloud下就会自动加载所有的Cloud模型。

5.4 测试

我们随便选一个模型试试是否可用。

非常完美!

06 番外

到这里基本已经结束了,但是本地模型运行的时候,我们每次都会开两个cmd窗口,一个用来执行ollama serve且不能关闭,另一个运行其他命令。

于是我想有一个后台启动的脚本,执行后无视窗口,还想有一个停止的脚本。

启动脚本.bat

bash 复制代码
@echo off
pushd %~dp0
echo Check if the ollama port [11434] exists....
netstat -ano | findstr ":11434" | findstr "LISTENING"
if %errorlevel% neq 0 (
	echo ollama port [11434] not exists.
	echo use powershell start ollama...
	powershell.exe -command "& {Start-Process -WindowStyle hidden -FilePath ollama serve -RedirectStandardOutput 'ollama.log'}"
	timeout /t 3 /nobreak >nul
)else (
	echo ollama port [11434] exists.
	echo =================================================
    echo =  Ollama is running at http://127.0.0.1:11434  =
	echo =================================================
	pause
	exit /b 0
)


netstat -ano | findstr ":11434" | findstr "LISTENING"
echo %errorlevel%
if %errorlevel% neq 0 (
    echo Failed to start Ollama
) else (
	echo =================================================
    echo =  Ollama is running at http://127.0.0.1:11434  =
	echo =================================================
)
pause

停止脚本.bat

bash 复制代码
@echo off
set PORT=11434

echo find %PORT% process...

for /f "tokens=5" %%a in ('netstat -aon ^| findstr :%PORT% ^| findstr LISTENING') do (
    set PID=%%a
    goto :found
)

echo not found %PORT% process.
pause
exit /b 0

:found
echo found PID: %PID%

taskkill /F /PID %PID% >nul 2>&1
if %errorlevel% equ 0 (
    echo ollama stoped.
) else (
    echo ollama stop failed,maybe need use admin permissions.
)
pause
相关推荐
CodeSheep2 小时前
两位大佬相继离世,AI时代我们活得太着急了
前端·后端·程序员
人间打气筒(Ada)2 小时前
go实战案例:如何在 Go-kit 和 Service Meh 中进行服务注册与发现?
开发语言·后端·golang·istio·go-kit
myloveasuka2 小时前
[Java]双列集合
java
lay_liu2 小时前
springboot和springframework版本依赖关系
java·spring boot·后端
Elieal2 小时前
java基础面试
java·开发语言·面试
C++chaofan2 小时前
RPC框架容错机制深度解析
java·开发语言·后端·性能优化·高并发·juc·容错机制
تچ快乐杂货店يچ2 小时前
基于前后端分离的在线考试系统(微服务架构 + RBAC权限 + AI助手)
java·vue.js·spring boot·spring cloud·微服务·架构·typescript
奋斗的老史2 小时前
List和Map互转
java
superantwmhsxx2 小时前
SpringSecurity相关jar包的介绍
java·jar