【LLM】R1复现项目（SimpleRL、OpenR1、LogitRL、TinyZero）持续更新（1）未来的工作需亟待解决：（2）应用在业务落地时，需要考虑：（3）RL 基本设置：Reward 函数定义、Penalty 函数定义 (Optional)、优化方式、训练平台 注：复现工作均在 TIONE 平台上使用 1 台 ~ 4 台 GPUs 进行。上述几个开源复现工作中，只有 OpenRLHF 支持多机多卡训练。其余的仅支持单机多卡训练，且往往存在 GPU 数目的限制。在训练 TinyZero 和 LogitRL 时，就遇到了扩展 GPUs 后训练卡在初始化的问题。大部分项目使用 4 卡、8 卡、3