论文笔记:Frozen Language Model Helps ECG Zero-Shot Learning

2023 MIDL

1 intro

  • 心电图(ECG)被广泛应用于检测各种心脏疾病,包括心律失常、心脏病发作和心力衰竭等
  • 近些年深度学习方法在心电图数据分类领域取得了不错的效果。
    • 基于深度学习的ECG数据分类方法,通常以监督学习范式进行训练,需要大量的高质量标记数据
  • 一些特殊形式的心电图数据往往难以获得准确的数据标签,需要受过专业培训的心脏病专家对心电图进行手动解释,耗费大量时间及成本
    • ------>部分研究采用自监督预训练+微调的范式来对ECG数据进行分类
    • 相比于基于监督学习方法,这类方法能够更灵活地适配异常检测、心律失常分类等下游任务
    • 但仍然需要一定量的与下游任务相关的标记样本来对模型进行微调
  • 上述两种范式并不能实现零样本学习任务,即模型能够识别训练或微调数据中并没有见过的类别
    • 现有的零样本学习方法通过从已知类别样本中学习共享特征,然后基于未见类别特征的"描述"将共享特征推广到未见类别样本上来实现分类
    • 对于ECG数据,未见类别的"描述"可以借用外部医学领域知识,例如文本形式的心电图报告
    • ------>论文利用临床报告来引导ECG数据的预训练,实现ECG数据的零样本学习

2 方法

训练时候的文本:

测试阶段的文本:

相关推荐
人工智能训练1 小时前
【极速部署】Ubuntu24.04+CUDA13.0 玩转 VLLM 0.15.0:预编译 Wheel 包 GPU 版安装全攻略
运维·前端·人工智能·python·ai编程·cuda·vllm
源于花海2 小时前
迁移学习相关的期刊和会议
人工智能·机器学习·迁移学习·期刊会议
DisonTangor3 小时前
DeepSeek-OCR 2: 视觉因果流
人工智能·开源·aigc·ocr·deepseek
薛定谔的猫19823 小时前
二十一、基于 Hugging Face Transformers 实现中文情感分析情感分析
人工智能·自然语言处理·大模型 训练 调优
发哥来了3 小时前
《AI视频生成技术原理剖析及金管道·图生视频的应用实践》
人工智能
数智联AI团队3 小时前
AI搜索引领开源大模型新浪潮,技术创新重塑信息检索未来格局
人工智能·开源
不懒不懒4 小时前
【线性 VS 逻辑回归:一篇讲透两种核心回归模型】
人工智能·机器学习
冰西瓜6004 小时前
从项目入手机器学习——(四)特征工程(简单特征探索)
人工智能·机器学习
Ryan老房4 小时前
未来已来-AI标注工具的下一个10年
人工智能·yolo·目标检测·ai
丝斯20115 小时前
AI学习笔记整理(66)——多模态大模型MOE-LLAVA
人工智能·笔记·学习