神经网络背后的数学原理

神经网络背后的数学原理

数学建模

标题民科味道满满。其实这篇小短文就是自我娱乐。

物理世界是物种多样,千姿百态。可以从不同的看待眼中的世界,包括音乐、绘画、舞蹈、雕塑等各种艺术形式。但这些主观的呈现虽然在各人眼中是物理写实的,但是经过大脑处理后有了不同的结果。各自的大脑有着不同的世界建模,对万物的联系edge有着不同的权重。

看到一朵红色的花,这是牛饲料,这是绘画的风景,这是物理学的光的反射,这是生物学中色素的沉淀,这是片肥沃的土地,这是季节的反映。。。这可能就是所谓的局域性原理。越近影响越大。

从而可知要真实的用数学去刻画这个世界,需要多少公式,需要引入多少变量,结果却未知。所以退而求其次,在专业领域做专业的事。这可能也是许多人对AGI悲观的原因吧。

神经网络

神经网络给了我们一个机会,以能量去换取真实世界的近似。

经过多年的互联网发展,积累了海量的数据;摩尔定律使得处理器达到了很高的性能。神经网络虽很早就出现,但在现在才适逢其会,将算法、数据、算力这3者融合在一起,不需要定义各种规则,也能去模拟、近似某个事物。这也让一些人看到了实现AGI的可能性。理论上,只要足够的数据,足够大的模型,足够的参数,足够的算力是有可能无限接近。

数学原理

虽上过高数课,但我没有经过严格的数学培训,此处就是以一介数学白丁的视角看神经网络后的数学原理。

数学最大的能力就是能够超出物理限制,可以自洽的展现多维世界。二维世界不好解决的问题,将它升维到三维世界,可能就能一眼看穿答案。因为在高维世界,可以更容易看清楚物体间的关联性。而这正是神经网络所需。

一句话被tokenize为多个token后,为了得到token间的相关性,以embedding方式将token从scalar升维为vector,从而在二维空间里训练模型,得到相关性。此种升维手段用处多多。

但是升维带来的问题也很明显,那就是参数量的剧增。从而又出现以工程方法来减少计算量的尝试,以极低精度算来带来训练和推理性能提升。比如降秩、剪枝、稀疏化等。

瞎写到现在,也不知说了啥...

相关推荐
机器学习之心HML7 小时前
PSO-TCN-BiLSTM-MATT粒子群优化算法优化时间卷积神经网络-双向长短期记忆神经网络融合多头注意力机制多特征分类预测/故障诊断Matlab实现
神经网络·算法·cnn
codelancera9 小时前
Pytorch-04 搭建神经网络架构工作流
人工智能·pytorch·神经网络
Sunhen_Qiletian10 小时前
NumPy库学习(三):numpy在人工智能数据处理的具体应用及方法
人工智能·深度学习·神经网络·机器学习·计算机视觉·numpy
m0_5587901418 小时前
GPU算力平台评测
服务器·人工智能·python·深度学习·神经网络·目标检测·机器学习
Debroon19 小时前
大模型幻觉的本质:深度=逻辑层次,宽度=组合限制,深度为n的神经网络最多只能处理n层逻辑推理,宽度为w的网络无法区分超过w+1个复杂对象的组合
人工智能·深度学习·神经网络
叫我:松哥1 天前
python案例:基于python 神经网络cnn和LDA主题分析的旅游景点满意度分析
人工智能·python·神经网络·数据挖掘·数据分析·cnn·课程设计
808&Heartbreak*1 天前
CNN实战项目
人工智能·神经网络·cnn
木卯_THU2 天前
TGD第十篇:当神经网络遇到TGD特征
人工智能·深度学习·神经网络·表情识别·tgd·视频特征提取·特征工提取
martian6652 天前
深度学习核心:神经网络-激活函数 - 原理、实现及在医学影像领域的应用
人工智能·深度学习·神经网络·机器学习·医学影像·影像大模型
无风听海2 天前
理解梯度在神经网络中的应用
人工智能·深度学习·神经网络·梯度