技术栈

多模态数据

nap-joker
4 天前
transformer·mamba·影像数据·多模态数据·阿茨海默症·mci和ad·像素级交叉注意力机制
GFE-MAMBA:基于MAMBA的MCI生成特征提取的AD多模态进展评估提出GFE-Mamba模型,用于轻度认知障碍 (MCI) 向阿尔茨海默病 (AD) 的进展预测,解决多模态数据缺失、长序列特征提取效率低等临床难题,在 ADNI 数据集上实现领先性能。主要针对多模态部分模态数据缺失问题。像AD里面,MRI和PET模态,PET因为昂贵可能存在缺失的情况。多模态(MRI+PET + 临床量表)数据配对困难、训练成本高。
还是码字踏实
1 个月前
多模态数据·pymupdf + 截图策略·以页为粒度切块·三种池化策略·qdrant 三层向量集合设计·二阶段检索·多查询并行扩展
开源项目解读:multi-modal-rag-with-colpali 全栈多模态 RAG 工程深度拆解在企业知识管理场景中,文档的价值往往不仅在于文字本身,更在于图表、表格、布局、手写批注、扫描件等视觉信息。传统 RAG 方案(PDF → OCR 文本 → 文本向量检索)面临三重硬伤:
我是有底线的