CFGPT: Chinese Financial Assistant with Large Language Model

本文是LLM系列文章,针对《CFGPT: Chinese Financial Assistant with Large Language Model》的翻译。

CFGPT:大型语言模型的中文财务助理

  • 摘要
  • [1 引言](#1 引言)
  • [2 相关工作](#2 相关工作)
  • [3 数据集](#3 数据集)
  • [4 模型和训练](#4 模型和训练)
  • [5 应用](#5 应用)
  • [6 结论](#6 结论)

摘要

大型语言模型(LLM)在金融领域的自然语言处理任务中显示出巨大的潜力。在这项工作中,我们提出了一个名为CFGPT的中国金融生成预训练Transformer框架,其中包括一个用于预训练和监督微调的数据集(CFData)、一个用于熟练管理金融文本的金融LLM(CFLLM),以及一个用于导航现实世界金融应用程序的部署框架(CFAPP)。CFData包括预训练数据集和监督微调数据集,其中预训练数据集中整理了中国的金融数据和分析,以及一个较小的通用文本子集,共有584M个文档和141B个token,监督微调数据集中针对六个不同的金融任务量身定制,通过总共1.5M个指令对和1.5B个token,体现了财务分析和决策的各个方面。CFLLM基于InternetLM-7B来平衡模型能力和大小,分两个阶段在CFData上进行训练,即持续的预训练和监督的微调。CFAPP以大型语言模型(LLM)为中心,并添加了额外的模块,以确保在现实应用中具有多方面的功能。我们的代码发布于https://github.com/TongjiFinLab/CFGPT

1 引言

2 相关工作

3 数据集

4 模型和训练

5 应用

6 结论

在这项研究中,我们介绍了一个具有大型语言模型的开源中国财务助理,名为CFGPT,用于金融领域的适用LLM要求。CFGPT包括一个满足现实世界应用的部署框架,一个在中国金融数据集上进行两阶段微调的开源LLM,以及一个评估中国金融领域模型性能的基准。通过初步评估,我们展示了我们的CFLLM-ins-7B模型在财务任务中的有效性,强调了在财务领域对大型语言模型进行特定领域的持续预训练和监督微调的潜力。尽管如此,诸如提高复杂任务的绩效和解决资源限制等挑战仍然存在。我们的开源贡献旨在促进金融大语言模型文献的进一步研究和创新,促进金融部门开发更有价值和适用性的LLM。

相关推荐
Power202466623 分钟前
NLP论文速读|LongReward:基于AI反馈来提升长上下文大语言模型
人工智能·深度学习·机器学习·自然语言处理·nlp
数据猎手小k27 分钟前
AIDOVECL数据集:包含超过15000张AI生成的车辆图像数据集,目的解决旨在解决眼水平分类和定位问题。
人工智能·分类·数据挖掘
好奇龙猫32 分钟前
【学习AI-相关路程-mnist手写数字分类-win-硬件:windows-自我学习AI-实验步骤-全连接神经网络(BPnetwork)-操作流程(3) 】
人工智能·算法
沉下心来学鲁班1 小时前
复现LLM:带你从零认识语言模型
人工智能·语言模型
数据猎手小k1 小时前
AndroidLab:一个系统化的Android代理框架,包含操作环境和可复现的基准测试,支持大型语言模型和多模态模型。
android·人工智能·机器学习·语言模型
YRr YRr1 小时前
深度学习:循环神经网络(RNN)详解
人工智能·rnn·深度学习
sp_fyf_20241 小时前
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-11-01
人工智能·深度学习·神经网络·算法·机器学习·语言模型·数据挖掘
多吃轻食1 小时前
大模型微调技术 --> 脉络
人工智能·深度学习·神经网络·自然语言处理·embedding
charles_vaez2 小时前
开源模型应用落地-glm模型小试-glm-4-9b-chat-快速体验(一)
深度学习·语言模型·自然语言处理
北京搜维尔科技有限公司2 小时前
搜维尔科技:【应用】Xsens在荷兰车辆管理局人体工程学评估中的应用
人工智能·安全