相关图表达理解神经网络

本篇文章是博主在人工智能等领域学习时,用于个人学习、研究或者欣赏使用,并基于博主对人工智能等领域的一些理解而记录的学习摘录和笔记,若有不当和侵权之处,指出后将会立即改正,还望谅解。文章分类在学习摘录和笔记专栏

学习摘录和笔记(25)--- 相关图表达理解神经网络》

相关图表达理解神经网络

目录

相关图表达理解神经网络

[1 相关图表示方式](#1 相关图表示方式)

[2 计算图方式](#2 计算图方式)

[3 Relational graph(相关图)](#3 Relational graph(相关图))

[4 结论](#4 结论)


原文/论文出处:

  • 题目:《 何恺明团队新作!深度学习网络架构新视角:通过相关图表达理解神经网络**》**
  • **作者:**Happy
  • 时间: 2020-07-14
  • **来源:**极市平台

1 相关图表示方式

Facebook的研究员从一个新奇的角度对神经网络的表示与设计进行探索,提出了一种新颖的相关图表示方式。它有助于对现有网络架构进行更深层次的分析与性能评价。

Relational graph(相关图)的图表示方式,神经网络的层沿图像结构进行多次信息交互。基于这种图表示方式,有几点发现:

  • 相关图的靶点(sweet spot)可以促使神经网络的性能极大提升;
  • 神经网络的性能与聚类系数、平均路径长度成平滑函数关系;
  • 该发现具有跨数据集、跨任务一致性;
  • 优秀的神经网络结构与真实生物神经网络具有惊人的相似性。

该文为神经网络架构设计与理解提供了一种新方向。


2 计算图方式

神经网络可以通过计算图方式进行表示,神经元可以表示为节点,不同层神经网络之间的连接可以通过有向边表示。这种图表示方式说明了神经网络如何进行信息传递。

已有研究表明:神经网络的性能严重依赖于网络架构。但是网络架构与性能之间的关联性却鲜少有所研究,而这对于NAS尤为重要。

计算图方式一种自然的选择,但其存在这样两个局限性:(1)泛化性能缺失;(2)生物神经元与神经网络的联系缺失(生物神经网络不能通过简单的有向无环图表示)。


3 Relational graph(相关图)

为系统的研究神经网络的图结构与性能之间的关联性,设计了一种称之为相关图的神经网络图表示方式。关键聚焦于信息交互 ,而非交单的有向数据流。

具体的介绍请参看原文。


4 结论

采用相关图表达分析理解神经网络 。该文为传统计算架构到图架构研究提供了一种信息过渡。


文章若有不当和不正确之处,还望理解与指出。由于部分文字、图片等来源于互联网,无法核实真实出处,如涉及相关争议,请联系博主删除。如有错误、疑问和侵权,欢迎评论留言联系作者,或者关注VX公众号:**Rain21321,**联系作者。

相关推荐
jndingxin3 分钟前
OpenCV 图形API(63)图像结构分析和形状描述符------计算图像中非零像素的边界框函数boundingRect()
人工智能·opencv·计算机视觉
旧故新长8 分钟前
支持Function Call的本地ollama模型对比评测-》开发代理agent
人工智能·深度学习·机器学习
微学AI20 分钟前
融合注意力机制和BiGRU的电力领域发电量预测项目研究,并给出相关代码
人工智能·深度学习·自然语言处理·注意力机制·bigru
知来者逆32 分钟前
计算机视觉——速度与精度的完美结合的实时目标检测算法RF-DETR详解
图像处理·人工智能·深度学习·算法·目标检测·计算机视觉·rf-detr
一勺汤35 分钟前
YOLOv11改进-双Backbone架构:利用双backbone提高yolo11目标检测的精度
人工智能·yolo·双backbone·double backbone·yolo11 backbone·yolo 双backbone
武汉唯众智创37 分钟前
高职人工智能技术应用专业(计算机视觉方向)实训室解决方案
人工智能·计算机视觉·人工智能实训室·计算机视觉实训室·人工智能计算机视觉实训室
Johny_Zhao1 小时前
MySQL 高可用集群搭建部署
linux·人工智能·mysql·信息安全·云计算·shell·yum源·系统运维·itsm
一只可爱的小猴子1 小时前
2022李宏毅老师机器学习课程笔记
人工智能·笔记·机器学习
地瓜机器人1 小时前
乐聚机器人与地瓜机器人达成战略合作,联合发布Aelos Embodied具身智能
人工智能·机器人
带娃的IT创业者1 小时前
《AI大模型趣味实战》基于RAG向量数据库的知识库AI问答助手设计与实现
数据库·人工智能