📖标题：Fin-R1: A Large Language Model for Financial Reasoning through Reinforcement Learning
🌟摘要
🔸推理大型语言模型（LLM）正在各个领域迅速发展。然而，他们处理复杂金融问题的能力仍需要深入探索。本文介绍了Fin-R1，这是一种专门为财务推理设计的大型语言模型。该模型具有70亿的轻量级参数规模，显著降低了部署成本，同时有效地解决了三个主要的财务痛点：零散的财务数据、不可控的推理逻辑和较弱的业务泛化能力。
🔸为了提高模型的推理能力，我们首先通过从多个权威数据集中提取和筛选过程，构建了Fin-R1-Data，这是一个高质量的数据集，包含约60091个完整的思维链（CoT），用于推理和非推理财务场景。然后，我们基于该数据集执行监督微调（SFT）和强化学习（RL）。这个两阶段框架显著增强了模型执行复杂财务推理任务的能力，使金融人工智能应用程序中的决策更加准确和可解释。
🔸尽管Fin-R1的结构紧凑，只有7B个参数，但它在涵盖多种金融业务场景的权威基准中表现出色。它的平均得分为75.2，总体排名第二，在评估中明显优于其他大规模推理LLM。值得注意的是，Fin-R1优于DeepSeek-R1-Distill-Llama-70B，证明了其效率和有效性。它在ConvFinQA和FinQA中分别获得了85.0和76.0的最新分数，这两个分数都侧重于财务推理。在现实世界的应用中，Fin-R1在财务合规和机器人咨询等领域表现出了强大的自动推理和决策能力，为长期存在的金融行业挑战提供了有效的解决方案。代码可在 https://github.com/SUFE-AIFLM-Lab/Fin-R1 获得。
🛎️文章简介
🔸研究问题：通用推理模型在金融领域应用中面临挑战，包括金融数据的碎片化、推理逻辑的不确定性以及业务泛化能力的不足。
🔸主要贡献：论文提出了Fin-R1，一个专门针对金融推理的大型语言模型，通过重建高质量的金融推理数据集和采用两阶段训练框架，成功解决了上述问题，并在多个金融应用中表现出色。
📝重点思路
🔸构建高质量的金融推理数据集Fin-R1-Data，涵盖中英文多维度的金融专业知识。
🔸采用监督微调（SFT）和强化学习（RL）相结合的两阶段训练方法，提升模型的推理能力和输出格式的一致性。
🔸设计奖励函数，通过格式奖励和内容奖励引导模型生成包含推理步骤和最终答案的输出。
🔸实施群体相对策略优化（GRPO），通过对比新旧策略的输出，优化模型的推理逻辑。
🔎分析总结
🔸Fin-R1在ConvFinQA和FinQA等基准测试中分别获得了85.0和76.0的高分，显示出其在金融推理任务中的卓越性能。
🔸通过比较不同模型，Fin-R1展示了强大的跨任务泛化能力，能够在多个金融基准上超越同类规模的模型。
🔸实验证明，Fin-R1在处理高风险金融应用时，能够提供更为可靠和透明的推理结果，符合金融领域的监管要求。
💡个人观点
论文核心是在金融领域复现了R1的训练模式，结合了监督学习和强化学习方法。
🧩附录
