论文阅读——MCAN(cvpr2019)

补充一下MCAN-VQA:

对图片的处理:首先输入图片到Faster R-CNN,会先设定一个判断是否检测到物体的阈值,这样动态的生成m∈[10,100]个目标,然后从检测到的对应的区域通过平均池化提取特征。第i个物体特征表示为:,所以一张图片就被表示为一个特征矩阵:

对问题的处理:首先分成词,最多分为14个词,然后用300-D GloVe word embeddings变成向量,然后过LSTM,使用LSTM所有单词的输出,得到问题特征矩阵:,n是分成的单词个数。

m和n可能不一样,用0填充到max(m,n)。

然后有了图片和问题的特征矩阵X和Y,送入下面的Deep Co-Attention Learning模块,由L层MAC层堆叠

这个MAC层分为两种,stacking和encoder-decoder,和transformer很像,大概如下图:

Deep Co-Attention Learning模块输出的,送入Multimodal Fusion and Output Classifier模块,这个模块有个两层的MLP,做attention reduction

α是学习到的权重。

然后线性多模态融合:

得到Z之后后面就是做分类,sigmoid。

一些实验结果:

所以SA(Y)-SGA(X,Y)比较好,Encoder-decoder比较好。

相关推荐
AI_Auto9 分钟前
MES系列-制造流程数字化的实现
大数据·人工智能·自动化·制造·数字化
DolphinDB智臾科技10 分钟前
DolphinDB × 浙江大学合作新课——量化金融:理论与应用
人工智能·金融·浙江大学·量化金融·dolphindb
老赵聊算法、大模型备案13 分钟前
广西 “人工智能 + 制造” 政策科普:十大支持方向与补贴明细
人工智能·aigc·制造
格林威13 分钟前
AOI在PCB制造领域的核心应用
人工智能·数码相机·计算机视觉·视觉检测·制造·pcb·aoi
阿里云大数据AI技术29 分钟前
云栖实录|智能哨兵:AI驱动的云平台风险巡检
大数据·运维·人工智能
机器之心35 分钟前
单张4090跑到30fps,范浩强团队让VLA实时跑起来了
人工智能·openai
国科安芯1 小时前
光电传感器领域国产MCU芯片抗辐照技术考量
网络·人工智能·单片机·嵌入式硬件·安全
木昆子1 小时前
大模型流式输出:七大底层传输技术对比探究
人工智能·http·ai编程
拓端研究室1 小时前
专题:2025机器人产业的变革与展望白皮书:人形机器人与工业机器人洞察|附130+份报告PDF、数据、绘图模板汇总下载
人工智能·机器人·pdf
Luhui_Dev1 小时前
AI 自主决定记忆:探索 A-MEM、Mem-α 和 Mem0
人工智能