技术栈
多模态数据
nap-joker
4 天前
transformer
·
mamba
·
影像数据
·
多模态数据
·
阿茨海默症
·
mci和ad
·
像素级交叉注意力机制
GFE-MAMBA:基于MAMBA的MCI生成特征提取的AD多模态进展评估
提出GFE-Mamba模型,用于轻度认知障碍 (MCI) 向阿尔茨海默病 (AD) 的进展预测,解决多模态数据缺失、长序列特征提取效率低等临床难题,在 ADNI 数据集上实现领先性能。主要针对多模态部分模态数据缺失问题。像AD里面,MRI和PET模态,PET因为昂贵可能存在缺失的情况。多模态(MRI+PET + 临床量表)数据配对困难、训练成本高。
还是码字踏实
1 个月前
多模态数据
·
pymupdf + 截图策略
·
以页为粒度切块
·
三种池化策略
·
qdrant 三层向量集合设计
·
二阶段检索
·
多查询并行扩展
开源项目解读:multi-modal-rag-with-colpali 全栈多模态 RAG 工程深度拆解
在企业知识管理场景中,文档的价值往往不仅在于文字本身,更在于图表、表格、布局、手写批注、扫描件等视觉信息。传统 RAG 方案(PDF → OCR 文本 → 文本向量检索)面临三重硬伤:
我是有底线的