一套针对金融领域多模态问答的自适应多层级RAG框架-VeritasFi

现有金融 RAG 的两大痛点 :一是多模态数据(文本 / 表格 / 图表)的统一处理,二是通用金融知识与公司特异性需求的平衡。金融领域的问答(如分析 SEC 10-K 报告中的供应链风险、季度毛利率)需要 "精准结合多模态数据、兼顾通用规则与公司特性、快速响应高频查询与实时需求。

围绕金融领域多模态问答RAG框架VeritasFi展开,核心是解决"多模态数据处理"与"通用金融知识-公司特异性平衡"两大痛点,VeritasFi是端到端多层级RAG框架,针对金融场景(如SEC文件分析),通过"预处理-检索-重排序"流水线,实现问答,性能超越GraphRAG、LightRAG等基线。

  1. 三大核心模块
    • CAKC(上下文感知知识处理) :作为数据底座(文档解析),将"文本+表格+图表"多模态文档转为结构化知识库------先拆分文档并通过GPT-4o统一非文本模态为文本,再经去重、共指消解、元数据生成增强语义,同时构建高频记忆库(缓存定量查询答案)并完成索引。

    • THR(三方混合检索):检索核心,先预处理查询(归一化、分解子查询并路由),再并行三条路径:多路径检索(BM25+Dense+元数据,深度分析文档)、高频记忆库(快速响应定量查询)、工具调用(获取实时数据,如股价),确保覆盖全面需求。

    • DAR(域到实体两阶段重排序):优化检索结果,先训通用金融重排序模型(用抽象数据掩盖实体特异性),再通过自动化标注数据微调为公司专用模型,用对比损失提升相关性判断,平衡泛化性与特异性。

通过多模态统一处理、三方并行检索、两阶段重排序,实现"高事实正确性+低延迟+强公司适配性",在FinanceBench、FinQA及内部数据集(Lotus、Zeekr)上表现优异。

实验性能

参考文献:VeritasFi: An Adaptable, Multi-tiered RAG Framework for Multi-modal Financial Question Answering,https://arxiv.org/pdf/2510.10828v1

代码暂未开源

相关推荐
imbackneverdie9 分钟前
AI4S不止于分子药物:以MedPeer为代表的科研基建打开产业新增量
大数据·人工智能·算法·aigc·科研·学术·ai 4s
agent喵23 分钟前
从知识库问答到业务自动化:AI Agent 工作流搭建经验分享
人工智能
周末程序猿30 分钟前
图解 120 个大语言模型(LLM)核心概念(1-30)
人工智能
EQUINOX136 分钟前
【论文阅读】| MoCo精读
论文阅读·人工智能·python·深度学习·机器学习
刘一说1 小时前
AI科技热点日报 | 2026年07月09日
人工智能·科技
LYFlied1 小时前
Anthropic Agent隔离架构解读:比权限弹窗更可靠的是限制爆炸半径
人工智能·架构·软件工程·claude·安全架构·ai agent
敲代码的嘎仔2 小时前
实习日志day6--实习日志day6--title命名规范化&businessType纠正&补充缺失的@Log注解&报警与通信模块补充&产出阶段总结文档
java·开发语言·人工智能·git·python·实习·大二
ZZZMMM.zip2 小时前
基于鸿蒙HarmonyOS NEXT开发AI英语口语应用:智能口语练习新体验与鸿蒙Flutter框架跨端实
人工智能·flutter·华为·harmonyos·鸿蒙·鸿蒙系统
程序喵大人2 小时前
【AI专栏】图解Transformer - 第05章:LLM 推理工程
人工智能·深度学习·llm·transformer
甲维斯2 小时前
差距太大了!GPT5.6Sol 正面战 Fable5,啥也不是!
人工智能·ai编程