RWKV
一、企业介绍
上海元我智能科技有限公司(以下简称"元我智能")是深圳元始智能有限公司旗下的专注于研发大模型架构和人工智能应用的企业。元我智能成立于 2024 年 2 月,位于上海市,致力于旗下新一代大模型架构:RWKV 及其衍生 AI 应用的训练和研发,推动人工智能行业的技术变革和发展,为各行业提供智能化解决方案,提升效率,降低成本,创造价值。
二、团队领军人物
PENG Bo:RWKV 创始人,RWKV 架构的唯一核心作者,独立完成了从 RWKV-1 到 RWKV-7 的模型架构演进和基底大模型的分布式训练。毕业于香港大学物理系,2023 年 2 月拒绝 OpenAI 的入职邀请。
三、人员架构
RWKV 现有人员 34 人,其中技术人员占比 73%
四、RWKV 核心项目
- RWKV-LM:RWKV 官方仓库,包含 RWKV 训练代码和最新开发动态
- RWKV-RunnerRWVKV:GUI 推理工具,支持一键安装和 API 调用
- RWKV pip 包:官方 RWKV pip 包
- RWKV-PEFT:RWKV 微调工具,含 LORA、Pissa、Bone 等多种微调方法,支持量化训练
- A100 RWKV Server:基于 WebGPU(vulkan)的推理工具,支持大多数 GPU 和集显,支持 nf4/int8 量化推理
五、端侧应用
- 基于 RWKV 模型的 AI 作曲应用,依托端侧算力,无需联网
- 采用 COT 训练的蝇量级 RWKV 端侧模型,一键解决复杂数独
六、招聘岗位
- 岗位一:LLM 混合架构算法实习(不支持长期线上实习)
工作地点:深圳/上海
岗位职责
- 混合架构创新:参与 RNN 与 Transformer 混合架构的设计与优化,探索 DEQ、Universal Transformer 等强表达能力在混合架构下的提升
- 模型实验与调优:基于 PyTorch 搭建混合模型原型,通过 ARWKV 迁移底座,通过消融实验验证架构有效性
- 前沿技术落地:研究并复现相关顶会论文,探索稀疏注意力、MOE 等技术与混合架构的结合潜力
- 工程优化:针对训练效率、推理延迟等痛点,优化混合模型的并行计算策略与硬件适配(如 triton 加速)
岗位要求
- 计算机科学/AI/数学方向硕士或博士在读
- 掌握 RNN 与 Transformer 核心原理,满足至少一项:
- 深入理解 Mamba 等 SSM 模型的数学推导
- 具备 RWKV/Deltanet 等混合架构调优经验
- 复现过线性注意力等改进方案
- 协助参与过百亿参数级模型训练/微调,熟悉 Megatron-LM/DeepSpeed 等框架
- 混合架构技术,满足至少一项:
- 熟悉混合架构通用方案(注意力门控、动态路由)
- 参与 MoE 或混合并行策略实战经验
- (加分)了解 Minimax-01/hymba 等特定实现
- 数学能力,满足至少一项:
- 能推导混合架构梯度传播路径
- 熟悉张量分解等模型压缩数学工具
- 必备 Python 工程化能力(单元测试、性能分析)
- (优先)有 CUDA 算子优化/Triton 使用/千卡集群调试经验
[隐藏福利]
25、26 应届毕业生提供转正 HC!
- 岗位三:音乐生成方向实习
工作地点:深圳/上海
岗位职责
- 协助负责音乐生成模型的测试,开发
- 负责 C 端产品 RWKV 作曲家产品的音乐调优工作
任职要求
- 熟练掌握 C/C++,Python 语言编程
- 熟练掌握 Kaldi,HTK,TensorFlow 等社区开源工具中的一种及以上
- 拥有良好的数学及信号处理基础,懂乐理,至少会一门乐器
- 学习能力强,逻辑思维清晰,根据需求,能够快速设计音乐生成的算法
- 喜欢音乐,了解主流的音乐平台和互联网产品
- 熟悉 Android 系统开发和架构,并有深度学习算法在手机终端的移植优化经验者优先
- 了解高通,MTK 相关平台适配相关
- 在 Discord、Huggingface 上发表过项目优先
- 岗位四:全栈工程师
工作地点:深圳/上海
岗位职责
- 参与公司 OA 系统或 AI 角色扮演系统的前后端开发,负责需求调研、系统设计、编码、测试及上线,确保优秀的用户体验
- 构建和维护后端 API 接口,进行数据库设计及数据交互,保障系统的高性能和扩展性
- 进行 Linux 服务器管理,负责 Web 应用的 CI/CD 自动化部署与 PM2 进程管理,确保线上服务稳定运行
- 协助进行网站 SEO 优化,提升 Web App 在搜索引擎中的曝光率
- 针对 OA 系统与 AI 角色扮演业务场景,提供技术支持与优化方案,推动业务落地与创新
任职要求
前端技能
- 本科及以上,3-4 年工作经验。熟练掌握 JS、TS、HTML、CSS 等基础技术
- 熟悉 Tailwind CSS,并至少熟悉一种 UI 库(如 shadcn 等)
- 精通 React 或 Next.js 框架,有实际项目经验
- 了解使用 Figma 等 UI 设计工具(作为开发者),可以高效准确还原 UI 设计
- 理解前端性能优化、响应式设计及 SEO 基础知识,能针对 OA 系统或 AI 角色扮演系统进行前端优化
后端及运维技能
- 熟练掌握 Python,熟悉 Linux 服务器运维,能独立部署、调试和维护 Web 应用
- 掌握 CI/CD 自动化部署流程,具备实际项目中的应用经验
- 熟悉 PM2 等进程管理工具,保障服务高可用性
- 具备数据库设计及后端 API 开发能力,能支持复杂业务场景
- 具有技术前瞻性,能了解常见后端组件的性能瓶颈
加分项 - 对 Docker 等容器化技术有一定了解和实际使用经验
- 有 OA 系统或 AI 角色扮演相关项目经验者优先
- 参与过大型项目开发与部署,有 SEO 深度优化实践经验
- 有 Web App 跨平台合作开发经验
- 岗位五:Flutter 工程师
岗位职责
- 负责公司 PC 端相关项目的需求分析、编码开发及测试工作
- 基于 Flutter 进行公司移动端跨平台框架的设计和研发工作
- 独立完成移动终端产品应用的功能模块开发
- 对新技术进行预研
- 产品质量控制和产品技术持续改进
岗位要求
- 熟悉 Flutter 业务组件的沉淀、以及性能优化工作
- 熟悉 flutter 性能优化,异步加载
- 对 Flutter 中线程异步,UI 绘制,数据同步有较深的认识
- 参与软件设计,分析并解决软件开发过程中的问题;持续跟进 Flutter 社区技术进展,参与 Flutter 开源社区的技术建设优先
- 有 1-3 年 Flutter 技术栈开发经验,熟悉 Flutter 开发框架的搭建。熟悉前端或其他跨平台框架优先
- 有对 iOS 或 Android 原生应用进行 Flutter 混合开发经验,有硬件交互方面经验优先
投递方式:[email protected] 投递方式:[email protected] 投递方式:[email protected]