Data-Centric Financial Large Language Models

本文是LLM系列文章,针对《Data-Centric Financial Large Language Models》的翻译。

以数据为中心的大语言金融模型

  • 摘要
  • [1 引言](#1 引言)
  • [2 背景](#2 背景)
  • [3 方法](#3 方法)
  • [4 实验](#4 实验)
  • [5 结论和未来工作](#5 结论和未来工作)

摘要

大型语言模型(LLM)有望用于自然语言任务,但在直接应用于金融等复杂领域时却举步维艰。LLM很难对所有相关信息进行推理和整合。我们提出了一种以数据为中心的方法,使LLM能够更好地处理财务任务。我们的关键见解是,与其一次用所有内容重载LLM,不如对数据进行预处理和预理解。我们使用基于多任务提示的微调创建了一个财务LLM(FLLM),以实现数据预处理和预理解。然而,每个任务的标记数据很少。为了克服手动注释成本,我们使用溯因增强推理(AAR)通过修改FLLM自己输出的伪标签来自动生成训练数据。实验表明,我们的以数据为中心的带有AAR的FLLM大大优于为原始文本设计的基线财务LLM,在财务分析和解释任务方面达到了最先进的水平。我们还开源了一个新的财务分析和解释基准。我们的方法为释放LLM在复杂现实世界领域的潜力提供了一条很有前途的途径。

1 引言

2 背景

3 方法

4 实验

5 结论和未来工作

本文提出了一种基于FLLM的以数据为中心的方法,以提高LLM在财务分析任务中的能力。为了克服标记数据的稀缺性,他们采用溯因增强推理来自动生成训练数据。实验表明,他们以数据为中心的金融LLM和溯因增强推理大大优于基线LLM,实现了最先进的金融分析和解释基准。以数据为中心的方法为释放LLM在复杂现实世界领域的潜力提供了一个很有前途的方向。采用新的财务分析和解释基准也是一项宝贵的贡献。此外,未来工作的一个有趣方向是将以数据为中心的方法与其他方法相结合,如金融文本的提示和自我监督预训练。整合财务报告、财报电话和股价等多模式数据也可以实现更细致的财务分析。

相关推荐
lucky_lyovo34 分钟前
自然语言处理NLP---预训练模型与 BERT
人工智能·自然语言处理·bert
fantasy_arch39 分钟前
pytorch例子计算两张图相似度
人工智能·pytorch·python
AndrewHZ2 小时前
【3D重建技术】如何基于遥感图像和DEM等数据进行城市级高精度三维重建?
图像处理·人工智能·深度学习·3d·dem·遥感图像·3d重建
飞哥数智坊2 小时前
Coze实战第18讲:Coze+计划任务,我终于实现了企微资讯简报的定时推送
人工智能·coze·trae
Code_流苏3 小时前
AI热点周报(8.10~8.16):AI界“冰火两重天“,GPT-5陷入热议,DeepSeek R2模型训练受阻?
人工智能·gpt·gpt5·deepseek r2·ai热点·本周周报
赴3353 小时前
矿物分类案列 (一)六种方法对数据的填充
人工智能·python·机器学习·分类·数据挖掘·sklearn·矿物分类
大模型真好玩3 小时前
一文深度解析OpenAI近期发布系列大模型:意欲一统大模型江湖?
人工智能·python·mcp
双翌视觉3 小时前
工业视觉检测中的常见的四种打光方式
人工智能·计算机视觉·视觉检测
念念01073 小时前
基于MATLAB多智能体强化学习的出租车资源配置优化系统设计与实现
大数据·人工智能·matlab
nonono3 小时前
深度学习——常见的神经网络
人工智能·深度学习·神经网络