神经网络背后的数学原理

神经网络背后的数学原理

数学建模

标题民科味道满满。其实这篇小短文就是自我娱乐。

物理世界是物种多样,千姿百态。可以从不同的看待眼中的世界,包括音乐、绘画、舞蹈、雕塑等各种艺术形式。但这些主观的呈现虽然在各人眼中是物理写实的,但是经过大脑处理后有了不同的结果。各自的大脑有着不同的世界建模,对万物的联系edge有着不同的权重。

看到一朵红色的花,这是牛饲料,这是绘画的风景,这是物理学的光的反射,这是生物学中色素的沉淀,这是片肥沃的土地,这是季节的反映。。。这可能就是所谓的局域性原理。越近影响越大。

从而可知要真实的用数学去刻画这个世界,需要多少公式,需要引入多少变量,结果却未知。所以退而求其次,在专业领域做专业的事。这可能也是许多人对AGI悲观的原因吧。

神经网络

神经网络给了我们一个机会,以能量去换取真实世界的近似。

经过多年的互联网发展,积累了海量的数据;摩尔定律使得处理器达到了很高的性能。神经网络虽很早就出现,但在现在才适逢其会,将算法、数据、算力这3者融合在一起,不需要定义各种规则,也能去模拟、近似某个事物。这也让一些人看到了实现AGI的可能性。理论上,只要足够的数据,足够大的模型,足够的参数,足够的算力是有可能无限接近。

数学原理

虽上过高数课,但我没有经过严格的数学培训,此处就是以一介数学白丁的视角看神经网络后的数学原理。

数学最大的能力就是能够超出物理限制,可以自洽的展现多维世界。二维世界不好解决的问题,将它升维到三维世界,可能就能一眼看穿答案。因为在高维世界,可以更容易看清楚物体间的关联性。而这正是神经网络所需。

一句话被tokenize为多个token后,为了得到token间的相关性,以embedding方式将token从scalar升维为vector,从而在二维空间里训练模型,得到相关性。此种升维手段用处多多。

但是升维带来的问题也很明显,那就是参数量的剧增。从而又出现以工程方法来减少计算量的尝试,以极低精度算来带来训练和推理性能提升。比如降秩、剪枝、稀疏化等。

瞎写到现在,也不知说了啥...

相关推荐
无风听海8 小时前
行向量和列向量在神经网络应用中的选择
人工智能·深度学习·神经网络·行向量·列向量
山烛13 小时前
深度学习入门:神经网络
人工智能·深度学习·神经网络·bp神经网络·前向传播
Learn Beyond Limits15 小时前
Multi-output Classification and Multi-label Classification|多输出分类和多标签分类
人工智能·深度学习·神经网络·算法·机器学习·分类·吴恩达
坐吃山猪1 天前
动手学深度学习03-线性神经网络
人工智能·深度学习·神经网络·动手学深度学习
西猫雷婶2 天前
神经网络|(十二)概率论基础知识-先验/后验/似然概率基本概念
人工智能·神经网络·机器学习·回归·概率论
重启的码农2 天前
llama.cpp 分布式推理介绍(7) 远程后端缓冲区 (RPC Buffer)
c++·人工智能·神经网络
唐丙斯城3 天前
新能源汽车热管理仿真:蒙特卡洛助力神经网络训练
人工智能·神经网络·汽车
fsnine3 天前
深度学习——神经网络
人工智能·深度学习·神经网络
先做个垃圾出来………4 天前
神经网络(Neural Network, NN)
人工智能·深度学习·神经网络
爱学习的小道长4 天前
神经网络中 标量求导和向量求导
pytorch·深度学习·神经网络