今天与豆包聊天,聊了当前深度学习中的神经网络。
1、跟他多次沟通后,对GPT中的神经网络总结了如下几个关键要点:
(1)GPT是一种基于深度学习的语言模型,它使用线性代数和神经网络来模拟人工神经元。
(2)激活函数在神经元网络中起到关键作用,确认当前神经元是否对下一级输出,通过激活函数模拟神经元的非线性行为。
(3)权重和偏置则代表上一神经元对下一神经元的影响强度。 我这个总结是否还有问题,是否需要再精炼一下。
2、神经网络的训练方式
有了上面3点,就能组成一个复杂的人工神经网络了。
人工神经网络如何能够按要求运行起来,训练这个神经网络就是关键了,最近10多年人工神经网络飞速发展的原因就是可以训练这个人工神经网络了。
(1)算力:得益于摩尔效应,有了强大算力可以训练人工神经网络。特别是GPU。
(2)数据:互联网和物联网,产生了大量的数据,可以用于训练神经网络。
(3)算法:不断找到更好的修正参数算法(最早知道的是误差反向传播,现在具体是什么,我也不知道了),更有效率的悬链人工神经网络。
3、那就从人工神经网络出发,往外探索,看看能发现什么不一样的风景。