Ollama 已支持 RWKV-7 模型,可灵活开关思考模式

Ollama 最新版本已支持 RWKV7-G1RWKV-7-World 系列模型。

3 月初,随着 RWKV 社区成员 @MollySophia 的 PR 被合并,llama.cpp 正式支持 RWKV-7 模型。Ollama 近期更新了最新版 llama.cpp,因此同步支持 RWKV-7 架构和对应模型。

Ollama 官方模型仓库现已包含 RWKV-7 系列模型(推荐使用 RWKV7-G1 系列模型):

在 Ollama 中运行 RWKV 模型

以下是在 Ollama 中体验 RWKV-7 G1 2.9B 模型的最简路径。

  1. ollama.com/download 页面,根据您的系统下载 Ollama 安装包:
  1. 下载完毕后,双击安装包以安装 Ollama。任务栏出现 Ollama 图标时,意味着安装已完成:
  1. 在终端中运行 ollama run mollysama/rwkv-7-g1:2.9b 命令,Ollama 将自动下载并运行 RWKV7-G1 2.9B 模型。您可以在终端中与 RWKV 模型进行对话,如下图所示:

若您曾经下载过 mollysama/rwkv-7-g1:2.9b 模型,请运行 ollama pull mollysama/rwkv-7-g1:2.9b 命令,拉取最新的变更。

  1. Ollama 的 RWKV7 G1 模型默认开启思考模式,可以通过 /set nothink/set think 命令灵活地开关思考模式:
  1. 使用 ollama stop mollysama/rwkv-7-g1:2.9b 命令可以停止当前模型实例,从而重置对话上下文,否则 Ollama 会**持续保留当前会话的上下文(历史消息)**作为后续对话的参考

Ollama 官方仓库提供 Q6_K 量化的 RWKV7 G1 模型。

如需使用其他量化类型,需手动创建自定义 RWKV 模型 ,详细教程请在 RWKV 教程 - Ollama 推理 中查看。

RWKV Chat 端侧聊天助手

除了在 Ollama 中运行 RWKV 模型,我们也推荐使用 RWKV Chat 端侧聊天助手体验 RWKV 模型。

RWKV Chat 是 RWKV 官方推出的离线 AI 聊天应用,针对各类端侧设备进行深度推理优化。APP 内含多种小参数模型,支持会话配置调整、灵活切换思考模式,是你的高效生产力伙伴!

在开启和关闭思考模式两种情况下,RWKV Chat 回答同一个问题:

希望抢先体验更多 RWKV APP?请加入 RWKV 应用内测 QQ 群:332381861

加入 RWKV 社区

欢迎大家加入 RWKV 社区,可以从 RWKV 中文官网了解 RWKV 模型,也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊,一起探讨 RWKV 模型。

相关推荐
美狐美颜sdk5 分钟前
AI加持下的直播美颜sdk:动态贴纸功能的未来形态前瞻
人工智能·美颜sdk·直播美颜sdk·第三方美颜sdk·人脸美型sdk
火山引擎开发者社区8 分钟前
Force 开发者日:火山引擎 Agent 开发者生态全面升级
人工智能·火山引擎
智算菩萨8 分钟前
从对话系统到对话式智能体:对话式AI发展综述与2025年前沿整合
人工智能
yiersansiwu123d8 分钟前
AI时代的就业变革:在替代与创造中寻找平衡之道
人工智能
前进的李工20 分钟前
零知识证明:不泄露秘密也能自证
人工智能·web安全·区块链·零知识证明
Tony Bai21 分钟前
Cloudflare 2025 年度报告发布——Go 语言再次“屠榜”API 领域,AI 流量激增!
开发语言·人工智能·后端·golang
寰宇视讯21 分钟前
IDC:奥哲,2025H1蝉联第一!
人工智能
Jason_zhao_MR23 分钟前
米尔RK3506核心板SDK重磅升级,解锁三核A7实时控制新架构
linux·嵌入式硬件·物联网·架构·嵌入式·嵌入式实时数据库
沛沛老爹31 分钟前
Web开发者快速上手AI Agent:基于LangChain的提示词应用优化实战
人工智能·python·langchain·提示词·rag·web转型
FONE_Platform32 分钟前
FONE食品饮料行业全面预算解决方案:构建韧性增长
人工智能·算法·全面预算·全面预算管理系统·企业全面预算