RWKV7-G1 0.1B 推理模型发布,最适合嵌入式的纯血 RNN 模型

2025 年 3 月 10 日,RWKV 基金会发布第一个 RWKV-7 推理模型 (Reasoning Model): RWKV7-G1 0.1B。

RWKV7-G1 系列模型拥有杰出的推理能力 ,且原生支持世界 100+ 种语言和代码。即使是最小的 0.1B 也能回答开放性和创造性问题

RWKV7-G1("GooseOne")系列推理模型是基于 World v3.5 数据集继续训练 RWKV-7 "Goose" World 系列模型。

World v3.5 数据集包含更多小说、网页、数学、代码和 reasoning 数据,总数据为 5.16T tokens。对于 0.1B 模型,我们会随机采样其中的 1T tokens 训练。

目前我们已能在手机高通 8gen3 以 62 token/s 推理 RWKV-7 1.5B 模型,而 0.1B 模型在树莓派也能跑得挺快,欢迎做嵌入式的朋友加入 RWKV 技术群讨论。

模型表现

RWKV7-G1 0.1B 模型回答 simulate SpaceX mars landing using python(使用 python 模拟 SpaceX 火星着陆)":

日本开发者测试 RWKV7-G1 0.1B 的多语言能力:

如此小的 0.1B 模型,也能同时支持世界 100+ 种语言和代码。更大参数的 RWKV7-G1 0.4B/1.5B/2.9B 正在同时训练中

英文和多语言测评

RWKV7-G1 0.1B 的英文和多语言能力相比 RWKV-7-World 0.1B 继续提升:

我们也对 RWKV7-G1 0.1B 进行了 "无法作弊的模型评测" Uncheatable Eval,可见 RWKV7-G1 0.1B 对于多种新数据的压缩率,显著超越所有其它同尺寸的开源模型:

Uncheatable Eval: huggingface.co/spaces/Jell...

训练中的 RWKV7-G1 1.5B 模型

以下示例基于 RWKV7-G1-1.5B-16%trained模型,注意这个模型目前只训练了 16%。后续 100% 训练完成的 RWKV7-G1 1.5B 会显著更强:

RWKV7-G1-1.5B-16%trained 的示例二:

训练中的 RWKV 模型可在 huggingface.co/BlinkDL/tem... 下载。

模型试用

可以在 Hugging Face Gradio Demo 试用 RWKV7-G1 0.1B 模型。

G1 的整体 prompt 格式与 RWKV-7 模型类似,可选使用 <think> 标签开启 reasoning 功能:

makefile 复制代码
User: 你不许参加学术派对!

Assistant: <think>

RWKV Runner 和 Ai00 等 RWKV 推理工具正在适配 reasoning 聊天模式 ,因此目前只能在续写模式中体验 reasoning 功能。

模型下载

下载已完成训练的 RWKV7-G1 0.1B 模型:

下载其他训练中的 RWKV7-G1 模型:

G1 模型发布计划

当前已发布 G1 0.1B 模型,正在训练 G1 0.4B/1.5B/2.9B,具体发布计划如下:

模型 发布计划
G1 0.1B 3 月 8 日(已发布)
G1 0.4B 3 月下旬
G1 1.6B 4 月
G1 2.9B 5 月

我们也在同时准备更大更优的数据集 World v3.7,用于 G1 7B 训练。

RWKV-7 学术支持

RWKV 社区近期新增了大量 RWKV 学术研究论文,以下是截至 2025 年 2 月的 RWKV 论文数量统计表格:

欢迎大家基于 RWKV-7 进行创业、科研,我们也会为基于 RWKV 的项目提供技术支持。

如果您的团队正在基于 RWKV 创业或开展研究,请联系我们!(在"RWKV元始智能"微信公众号留言您的联系方式,或发送邮件到"contact@rwkvos.com"。)

加入 RWKV 社区

欢迎大家加入 RWKV 社区,可以从 RWKV 中文官网了解 RWKV 模型,也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊,一起探讨 RWKV 模型。

相关推荐
风象南3 小时前
普通人用AI加持赚到的第一个100块
人工智能·后端
牛奶3 小时前
2026年大模型怎么选?前端人实用对比
前端·人工智能·ai编程
牛奶3 小时前
前端人为什么要学AI?
前端·人工智能·ai编程
Kagol6 小时前
🎉OpenTiny NEXT-SDK 重磅发布:四步把你的前端应用变成智能应用!
前端·开源·agent
罗西的思考6 小时前
AI Agent框架探秘:拆解 OpenHands(10)--- Runtime
人工智能·算法·机器学习
冬奇Lab7 小时前
OpenClaw 源码精读(2):Channel & Routing——一条消息如何找到它的 Agent?
人工智能·开源·源码阅读
冬奇Lab7 小时前
一天一个开源项目(第38篇):Claude Code Telegram - 用 Telegram 远程用 Claude Code,随时随地聊项目
人工智能·开源·资讯
格砸8 小时前
从入门到辞职|从ChatGPT到OpenClaw,跟上智能时代的进化
前端·人工智能·后端
可观测性用观测云9 小时前
可观测性 4.0:教系统如何思考
人工智能
EdisonZhou9 小时前
MAF快速入门(18)Agent Skill 快速开始
llm·aigc·agent