讲座思考 | 周志华教授:新型机器学习神经元模型的探索

12月22日,有幸听了南京大学周志华教授题为"新型机器学习神经元模型的探索"的讲座。现场热闹非凡,大家像追星一样拿着"西瓜书"找周教授签名。周教授讲得依旧循循善诱,由浅入深,听得我很入迷,故作此记。

周教授首先就人工智能领域火热发展的原因提出了自己的见解,强调了人工智能中基础算法相较于算力的基础性作用:算力提升论或为误解,应当是算法带来基础性突破,然后算力的提升才能在其后一段时间内放大算法突破带来的红利。 周教授随后举例说明,BP算法在深层神经网络里存在着梯度消失问题,而2006年随着Hinton的深层模型问世,深度学习一直在近二十年的时间内火热不已,并随着算力不断提升在不同领域有着越来越亮眼的表现。

接着周教授乘势抛出了两个贯穿本次演讲始终的公式:"神经网络=神经网络模型+学习算法" ,而神经网络模型=神经元模型+网络结构。周教授解释道,学习算法指的就是BP算法这种历久弥新的算法,而本次演讲的重点------神经元模型,指的就是受生物神经元接受多个电信号输入,达到阈值后激活并输出的启发,所设计的机器学习神经元数学模型,即著名的M-P神经元模型,形如:

y = f ( ∑ i = 1 n w i x i − θ ) y = f(\sum_{i=1}^n w_i x_i - \theta) y=f(i=1∑nwixi−θ)

周教授指出,关于神经网络的大多数研究都注重在网络结构上做设计,而关于神经元模型的研究甚少,甚至问世近80年的M-P神经元模型到今天仍然遍地在用。此外,近来关于神经元模型的研究又开始有所浮现,讨论能否有别的神经元模型可以使用。在这样的背景下,周教授团队着手了新型神经元模型的相关研究。

周教授首先分享了他们团队在分岔脉冲神经网络 (Bifurcation Spiking Neural Network) 方面的研究^1^。

首先,脉冲神经网络中一种被广泛研究的神经元模型叫做Leaky integrate and fire (LIF) 模型,LIF神经元模型除了考虑信号的传递和神经元激活,还考虑了信号传递的时间累计过程,其一般形式为:

τ d u d t = − u + R f ( I ( t ) ) \tau \frac{du}{dt} = -u + R f(\bold{I(t)}) τdtdu=−u+Rf(I(t))

周教授团队从动力系统视角进行分析,发现基于LIF神经元模型的脉冲神经网络的解空间是分开的三部分,由参数 τ \tau τ决定。因此提出了分岔脉冲神经网络(Bifurcation Spiking Neural Network, BSNN),实现了自适应动力系统,将解空间连起来,解决了解空间分岔的问题,使得解空间可达。

周教授进一步分享了他们团队提出的一种生物上合理且具有灵活的突触可塑性的全新神经元模型:Flexible Transmitter (FT) Model ^2^.

这种FT神经元模型参考了生物神经元的神经递质传递过程,尤其是突触的收缩和发育过程,神经递质不仅起到信号传递作用,还会控制突触发育和收缩,使得神经递质的接受量相应增大和缩小,这一过程如下图所示。

FT神经元模型可以表示为:

( s t , r t ) = f ( w x t , v r t − 1 ) (s_t,r_t) = f(wx_t,vr_{t-1}) (st,rt)=f(wxt,vrt−1)

用复数进行数学上的抽象可表示为:

s t + r t i = f ( w x t , v r t − 1 i ) s_t +r_t \bold{i} = f(wx_t,vr_{t-1} \bold{i} ) st+rti=f(wxt,vrt−1i)

周教授强调,这种FT神经元模型的能力更加强大,因为M-P神经元模型只是FT神经元模型的一个子集。

一种简单基于FT神经元模型的FT神经网络 (FTNet) 同样也被展示:

s t + r t i = f ( W x t , V r t − 1 i ) \bold{s_t} +\bold{r_t i} = f( \bold{Wx}t, \bold{Vr}{t-1} \bold{i} ) st+rti=f(Wxt,Vrt−1i)

周教授认为,这种新型FT神经元模型和基于其上的FT神经网络具有更加强大的能力,可以解决以前基于M-P神经元的神经网络无法解决的问题。周教授团队在一些简单的任务上和常见的神经网络进行对比,例如在MNIST数据集上,和CNN、RNN、基于M-P神经元的FCN、基于脉冲神经网络的SNN等,结果显示基于FT神经元的神经网络具有最高的Accuracy。但这并非没有代价,周教授毫不掩饰地指出了FT神经网络存在的问题,即更多的计算时间。

演讲结束后,老师同学们都很感兴趣,不断提出自己的疑惑并向周教授请教。而周教授也非常耐心、坦诚地回答,整个问答环节持续了超过半小时。


  1. Zhang, Shao-Qun, Zhao-Yu Zhang, and Zhi-Hua Zhou. "Bifurcation spiking neural network." The Journal of Machine Learning Research 22.1 (2021): 11459-11479. ↩︎

  2. Zhang, Shao-Qun, and Zhi-Hua Zhou. "Flexible transmitter network." Neural Computation 33.11 (2021): 2951-2970. ↩︎

相关推荐
qzhqbb40 分钟前
基于统计方法的语言模型
人工智能·语言模型·easyui
冷眼看人间恩怨1 小时前
【话题讨论】AI大模型重塑软件开发:定义、应用、优势与挑战
人工智能·ai编程·软件开发
2401_883041081 小时前
新锐品牌电商代运营公司都有哪些?
大数据·人工智能
AI极客菌2 小时前
Controlnet作者新作IC-light V2:基于FLUX训练,支持处理风格化图像,细节远高于SD1.5。
人工智能·计算机视觉·ai作画·stable diffusion·aigc·flux·人工智能作画
阿_旭2 小时前
一文读懂| 自注意力与交叉注意力机制在计算机视觉中作用与基本原理
人工智能·深度学习·计算机视觉·cross-attention·self-attention
王哈哈^_^2 小时前
【数据集】【YOLO】【目标检测】交通事故识别数据集 8939 张,YOLO道路事故目标检测实战训练教程!
前端·人工智能·深度学习·yolo·目标检测·计算机视觉·pyqt
Power20246663 小时前
NLP论文速读|LongReward:基于AI反馈来提升长上下文大语言模型
人工智能·深度学习·机器学习·自然语言处理·nlp
数据猎手小k3 小时前
AIDOVECL数据集:包含超过15000张AI生成的车辆图像数据集,目的解决旨在解决眼水平分类和定位问题。
人工智能·分类·数据挖掘
好奇龙猫3 小时前
【学习AI-相关路程-mnist手写数字分类-win-硬件:windows-自我学习AI-实验步骤-全连接神经网络(BPnetwork)-操作流程(3) 】
人工智能·算法
沉下心来学鲁班3 小时前
复现LLM:带你从零认识语言模型
人工智能·语言模型