全新开源!边缘设备也可运行的推理模型 RWKV7-G1 0.4B 正式发布

2025 年 3 月 25 日,RWKV 基金会开源了一个中低端设备也可以运行的推理模型(Reasoning Model):RWKV7-G1 0.4B。

RWKV7-G1 0.4B 具备其它同尺寸模型不具备的推理能力 ,同时还支持现实世界 100+ 种语言。在实际测试中,RWKV7-G1 0.4B 模型已经能够完成难度较高的多语言和代码任务

RWKV7-G1 0.4B 推理模型基于 World v3.5 数据集训练。它比此前发布的 RWKV7-G1 0.1B 更强,且性能超越了同参数量的 Transformer 架构模型。

World v3.5 数据集包含更多小说、网页、数学、代码和 reasoning 数据,总数据为 5.16T tokens。我们随机采样了 2T token 的数据来训练 RWKV7-G1 0.4B。

我们也开源了 RWKV 模型端聊天 APP,方便大家体验 RWKV-7 模型。

模型评测

英语和多语言能力

RWKV7-G1 0.4B 英语和多语言能力显著领先于同参数的开源模型:

无法作弊的评测

Uncheatable Eval 是"无法作弊的评测",它使用最新的论文和新闻文章等实时数据,评估开源大语言模型的真实建模能力和泛化能力。

RWKV7-G1 0.4B 的 Uncheatable Eval 综合得分在同参数规模的开源模型中处于领先地位

RWKV7-G1 0.4B 甚至超越了部分 1.5B 模型

模型实测

多语言能力

RWKV7-G1 0.4B 的多语言能力比 G1 0.1B 更强。

下面是 G1 0.4B 把中文翻译为英语和德语的推理过程和翻译结果,

可以在 Hugging Face Gradio Demo 体验更多语言。

代码能力

RWKV7-G1 0.4B 已经拥有能准确完成一些进阶任务的能力,下面是使用 RWKV7-G1 0.4B 写归并排序的示例。

模型试用

我们提供了多个在线 demo ,也提供移动端聊天 APP。

在线 demo(续写模式)

可以在 Hugging Face Gradio Demo 试用 RWKV7-G1 0.4B 模型。

RWKV G1 的整体 prompt 格式与 RWKV-7-World 模型类似,可选使用 <think> 标签开启 reasoning 功能:

makefile 复制代码
User: 我已经是全速前进了!

Assistant: <think>

在线 demo(聊天模式)

为了方便社区体验 RWKV-G1 模型,我们也提供了聊天模式的在线 demo。

可在此体验已完成训练的 RWKV-7 G1 0.1B 和 0.4B 模型,也可以切换到其他正在训练中的 G1 模型,如 G1 1.5B/2.9B。

这个精美的 RWKV 对话界面由 RWKV 社区成员 @Leon 开发,并在 GitHub 仓库 web-rwkv-realweb中开源。

RWKV 端侧聊天 APP

我们也开发了处于内测阶段的 RWKV 端侧聊天 APP(Android 和 iOS 版本)。

在下列地址下载 APP:

贯彻开源开放的宗旨,RWKV 端侧聊天 APP 也已开源 ,在 GitHub rwkv_mobile_flutter 仓库中可以看到项目代码。

测试数据显示:经过 NPU 优化后,RWKV-7 1.5B 模型在高通 8Gen3 手机芯片实现了 62 token/s 的推理速度,G1 0.1B 模型的推理速度则高达 170 token/s

模型下载

下载已完成训练的 RWKV7-G1 0.1B/0.4B 模型:

下载其他训练中的 RWKV7-G1 模型:

G1 模型发布计划

当前已发布 G1 0.1B/0.4B 模型,正在训练 G1 1.5B/2.9B,具体发布计划如下:

模型 发布计划
G1 0.1B 3 月 8 日(已发布)
G1 0.4B 3 月 25 日(已发布)
G1 1.6B 4 月
G1 2.9B 5 月

我们也在同时准备更大更优的数据集 World v3.7,用于 G1 7B 训练。

llama.cpp 已适配 RWKV-7

随着 RWKV 社区开发者 Molly 的 PR 被合并,llama.cpp 现已支持 RWKV-7 模型。

我们也会继续向 llama.cpp 推送 RWKV-7 G1 模型的聊天模板,以支持 G1 模型 的推理(Reasoning)功能。

加入 RWKV 社区

欢迎大家加入 RWKV 社区,可以从 RWKV 中文官网了解 RWKV 模型,也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊,一起探讨 RWKV 模型。

欢迎大家基于 RWKV-7 进行创业、科研,我们也会为基于 RWKV 的项目提供技术支持。

如果您的团队正在基于 RWKV 创业或开展研究,请联系我们!(在"RWKV元始智能"微信公众号留言您的联系方式,或发送邮件到"contact@rwkvos.com"。)

相关推荐
kobesdu7 分钟前
从零推导FAST-LIO的观测雅可比矩阵
人工智能·算法·矩阵
u01030552712 分钟前
使用BufferedReader读取控制台输入
人工智能·1024程序员节
测试开发技术19 分钟前
AI 测试提效 | 告别手工写脚本,分享我的 Playwright + Skill 批量生成 UI 自动化脚本方案
自动化测试·人工智能·ui·自动化·agent·skill·ai测试
乐思智能科技有限公司32 分钟前
PLECS软件学习使用(二)直流电机基本系统模型
人工智能·算法·机器学习·面试·职场和发展
极连AI33 分钟前
极连AI平台解读、Codex5.6仅需0.01倍率,无需Token焦虑,极速响应
人工智能·gpt·chatgpt·aigc·ai编程·ai写作·gpu算力
MartinYeung539 分钟前
[论文学习]PACT:溯源感知能力合约——面向智能体安全的参数级溯源
人工智能·学习·安全
带娃的IT创业者42 分钟前
Inkling:当开源模型开始思考“如何思考”
人工智能·开源·大语言模型·多模态·moe·开源模型·inkling
远航计算机1 小时前
职业技能培训机构如何利用QClaw+Skills做豆包GEO:知识库搭建×内容创作×效果监测的完整实操手册
大数据·人工智能·自动化·aigc·火山引擎
在水一缸1 小时前
KOReader:当开源精神遇上电子墨水屏,一场阅读体验的静默革命
开源·开源项目·电子墨水屏·极客·kindle·koreader·阅读体验
旋生万物1 小时前
电磁力 = 螺旋联络的 90° 旋转?麦克斯韦方程组的几何重构
人工智能·python·算法·机器学习·copilot·世界模型·物理ai