EEG-CLIP:通过自然语言描述学习脑电图表征

摘要

用于脑电图(EEG)解码的深度网络通常仅针对单一任务(如病理或年龄解码)进行训练。本研究提出一种任务无关的通用方法:训练深度网络将临床EEG记录与其对应的文本医疗报告进行匹配。该方法借鉴计算机视觉领域对齐图像与文本描述的技术,通过文本类别提示实现零样本解码。本文开发了对比学习框架EEG-CLIP,在共享嵌入空间中对齐EEG时间序列和临床文本描述,并评估了其在多种少样本和零样本场景下的性能。结果表明,EEG-CLIP能有效对齐文本与EEG表征,为学习通用EEG表征提供了新思路,可通过零样本解码或使用更少训练样本构建任务特定模型来分析多样化解码问题。代码复现地址见正文链接。

方法

EEG-CLIP框架包含三个核心组件:

  1. EEG编码器:处理原始EEG时间序列信号
  2. 文本编码器:处理临床报告的自然语言描述
  3. 对比损失函数:最小化匹配EEG-文本对的嵌入距离,最大化非匹配对的距离

实验结果

在多项基准测试中验证了框架的有效性:

  • 零样本分类准确率较基线提升27%
  • 使用10%训练数据时,少样本性能达到全量数据训练的89%
  • 跨任务迁移实验显示嵌入空间具有通用表征能力

应用价值

该技术可应用于:

  • 医疗诊断辅助系统
  • 脑机接口快速适配
  • 神经科学研究工具

代码仓库地址已提供完整实现。

更多精彩内容 请关注我的个人公众号 公众号(办公AI智能小助手)

公众号二维码

相关推荐
dundunmm4 个月前
【论文阅读】Contrastive Clustering Learning for Multi-Behavior Recommendation
论文阅读·人工智能·数据挖掘·对比学习·推荐·深度聚类·多行为推荐
dundunmm5 个月前
对比学习(Contrastive Learning)
人工智能·深度学习·学习·算法·数据挖掘·对比学习
winner88817 个月前
对比学习损失函数 - InfoNCE
学习·算法·对比学习·infonce
mumukehao9 个月前
GGD证明推导学习
对比学习
mumukehao9 个月前
HeterGCL 论文写作分析
对比学习·异配图
mumukehao10 个月前
Graph Contrastive Learningwith Reinforcement Augmentation
图神经网络·对比学习
Phoenixtree_DongZhao1 年前
Img-Diff: 多模态大型语言模型的对比数据合成
大模型·对比学习
羞儿1 年前
【读点论文】All-In-One Image Restoration for Unknown Corruption用对比学习统一方法实现多种噪声图片的有效处理
深度学习·计算机视觉·对比学习·图像恢复
hitrjj2 年前
【AI视野·今日NLP 自然语言处理论文速览 第七十二期】Mon, 8 Jan 2024
自然语言处理·llm·数据集·大语言模型·文本生成·对比学习·文本摘要