(aaai25) Dynamic Clustering Convolutional Neural Network

核心目标: 在避免过度增加计算成本的前提下,突破局部窗口建模的限制,实现高效的全局特征提取。

核心思想: 通过全局聚类将语义相似的图像块分组为簇,再对每个簇使用共享卷积核进行卷积操作。既保留 CNN 的归纳偏置和计算效率,又获得类似 Transformer 的全局建模能力。

如图所示,主要包括五个步骤:

  • 图像分块与聚类中心初始化:将输入图像转换为 H×W 个图像块,每个块均作为潜在聚类中心,并通过可学习参数将原始块特征转换为聚类中心特征向量(下方黄色特征)。
  • 提取特征向量子向量: 提取特征向量的子向量进行距离计算(采样间隔 d 设为 8),可以降低高分辨率图像处理的计算成本(上方绿色向量)。
  • 全局动态聚类:计算每个聚类中心与特征向量子向量的 L₂范数距离,通过 Top-K 算法选择距离最近的 K-1 个块,与聚类中心共同组成大小为 K 的簇。
  • 得到N个簇: 使用 IndexSelect 从聚类中心向量中选择,最终形成 H×W = N 个全局分布的簇。
  • 簇上卷积操作:对每个簇采用共享卷积核执行分组卷积(借鉴深度可分离卷积思想),平衡参数数量与计算效率,生成新的特征图。

实验部分可以参考作者论文,这里不过多介绍。

相关推荐
SuperEugene5 分钟前
Python 异步 async/await:为什么 AI 框架大量使用?| 基础篇
开发语言·人工智能·python
QYR_116 分钟前
预计2032年全球智能换电站市场销售额将突破62.88亿美元
人工智能·市场调研
沃恩智慧8 分钟前
顶刊热门选题!PINN+LSTM,预测精度大幅提升!!
深度学习·机器学习·lstm
我不是小upper9 分钟前
相关≠因果!机器学习中皮尔逊相关检验的完整流程
人工智能·算法·机器学习
云烟成雨TD10 分钟前
Spring AI 1.x 系列【28】基于内存和 MySQL 的多轮对话实现案例
java·人工智能·spring
耿雨飞10 分钟前
DeerFlow 系列教程 第五篇 | 配置与 Docker 部署全指南:从香港首建到内陆迁移
人工智能·deer-flow·llm应用开发平台
深蓝轨迹11 分钟前
#Python零基础机器学习入门教程
人工智能·python·机器学习
EMQX12 分钟前
S3 正在吞噬一切:AI 时代的基础软件架构革命
人工智能·物联网·mqtt·flowmq
QC777LX13 分钟前
传统法务工作重复度高,AI法律顾问正在改变格局
人工智能
枫叶林FYL16 分钟前
【自然语言处理 NLP】7.2.2.3 隐私泄露评估(Privacy Leakage via Memorization)
人工智能·深度学习·机器学习