RWKV7-G1 0.1B 推理模型发布,最适合嵌入式的纯血 RNN 模型

2025 年 3 月 10 日,RWKV 基金会发布第一个 RWKV-7 推理模型 (Reasoning Model): RWKV7-G1 0.1B。

RWKV7-G1 系列模型拥有杰出的推理能力 ,且原生支持世界 100+ 种语言和代码。即使是最小的 0.1B 也能回答开放性和创造性问题

RWKV7-G1("GooseOne")系列推理模型是基于 World v3.5 数据集继续训练 RWKV-7 "Goose" World 系列模型。

World v3.5 数据集包含更多小说、网页、数学、代码和 reasoning 数据,总数据为 5.16T tokens。对于 0.1B 模型,我们会随机采样其中的 1T tokens 训练。

目前我们已能在手机高通 8gen3 以 62 token/s 推理 RWKV-7 1.5B 模型,而 0.1B 模型在树莓派也能跑得挺快,欢迎做嵌入式的朋友加入 RWKV 技术群讨论。

模型表现

RWKV7-G1 0.1B 模型回答 simulate SpaceX mars landing using python(使用 python 模拟 SpaceX 火星着陆)":

日本开发者测试 RWKV7-G1 0.1B 的多语言能力:

如此小的 0.1B 模型,也能同时支持世界 100+ 种语言和代码。更大参数的 RWKV7-G1 0.4B/1.5B/2.9B 正在同时训练中

英文和多语言测评

RWKV7-G1 0.1B 的英文和多语言能力相比 RWKV-7-World 0.1B 继续提升:

我们也对 RWKV7-G1 0.1B 进行了 "无法作弊的模型评测" Uncheatable Eval,可见 RWKV7-G1 0.1B 对于多种新数据的压缩率,显著超越所有其它同尺寸的开源模型:

Uncheatable Eval: huggingface.co/spaces/Jell...

训练中的 RWKV7-G1 1.5B 模型

以下示例基于 RWKV7-G1-1.5B-16%trained模型,注意这个模型目前只训练了 16%。后续 100% 训练完成的 RWKV7-G1 1.5B 会显著更强:

RWKV7-G1-1.5B-16%trained 的示例二:

训练中的 RWKV 模型可在 huggingface.co/BlinkDL/tem... 下载。

模型试用

可以在 Hugging Face Gradio Demo 试用 RWKV7-G1 0.1B 模型。

G1 的整体 prompt 格式与 RWKV-7 模型类似,可选使用 <think> 标签开启 reasoning 功能:

makefile 复制代码
User: 你不许参加学术派对!

Assistant: <think>

RWKV Runner 和 Ai00 等 RWKV 推理工具正在适配 reasoning 聊天模式 ,因此目前只能在续写模式中体验 reasoning 功能。

模型下载

下载已完成训练的 RWKV7-G1 0.1B 模型:

下载其他训练中的 RWKV7-G1 模型:

G1 模型发布计划

当前已发布 G1 0.1B 模型,正在训练 G1 0.4B/1.5B/2.9B,具体发布计划如下:

模型 发布计划
G1 0.1B 3 月 8 日(已发布)
G1 0.4B 3 月下旬
G1 1.6B 4 月
G1 2.9B 5 月

我们也在同时准备更大更优的数据集 World v3.7,用于 G1 7B 训练。

RWKV-7 学术支持

RWKV 社区近期新增了大量 RWKV 学术研究论文,以下是截至 2025 年 2 月的 RWKV 论文数量统计表格:

欢迎大家基于 RWKV-7 进行创业、科研,我们也会为基于 RWKV 的项目提供技术支持。

如果您的团队正在基于 RWKV 创业或开展研究,请联系我们!(在"RWKV元始智能"微信公众号留言您的联系方式,或发送邮件到"[email protected]"。)

加入 RWKV 社区

欢迎大家加入 RWKV 社区,可以从 RWKV 中文官网了解 RWKV 模型,也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊,一起探讨 RWKV 模型。

相关推荐
Blossom.1181 小时前
使用Python和Scikit-Learn实现机器学习模型调优
开发语言·人工智能·python·深度学习·目标检测·机器学习·scikit-learn
DevSecOps选型指南3 小时前
2025软件供应链安全最佳实践︱证券DevSecOps下供应链与开源治理实践
网络·安全·web安全·开源·代码审计·软件供应链安全
DFminer3 小时前
【LLM】fast-api 流式生成测试
人工智能·机器人
郄堃Deep Traffic3 小时前
机器学习+城市规划第十四期:利用半参数地理加权回归来实现区域带宽不同的规划任务
人工智能·机器学习·回归·城市规划
GIS小天4 小时前
AI+预测3D新模型百十个定位预测+胆码预测+去和尾2025年6月7日第101弹
人工智能·算法·机器学习·彩票
阿部多瑞 ABU4 小时前
主流大语言模型安全性测试(三):阿拉伯语越狱提示词下的表现与分析
人工智能·安全·ai·语言模型·安全性测试
cnbestec4 小时前
Xela矩阵三轴触觉传感器的工作原理解析与应用场景
人工智能·线性代数·触觉传感器
不爱写代码的玉子4 小时前
HALCON透视矩阵
人工智能·深度学习·线性代数·算法·计算机视觉·矩阵·c#
sbc-study4 小时前
PCDF (Progressive Continuous Discrimination Filter)模块构建
人工智能·深度学习·计算机视觉
EasonZzzzzzz4 小时前
计算机视觉——相机标定
人工智能·数码相机·计算机视觉