神经网络

深度学习基础：从原理到实践——第二章神经网络（上）在学习神经网络之前，我们需要先回顾一下感知机(特指单层感知机)的基本概念。感知机是神经网络的基础，它模拟了生物神经元的信息处理过程。感知机接收多个输入信号，对这些信号进行加权求和，并与一个阈值进行比较，最终输出 0 或 1 的结果。

深度学习之神经网络1(Neural Network)深度学习神经网络就是大脑仿生，数据从输入到输出经过一层一层的神经元产生预测值的过程就是前向传播（也叫正向传播）。

DAY03：【DL 第一弹】神经网络人工神经网络（ANN）是模仿生物大脑神经元结构的计算模型。生物大脑由数十亿神经元组成，每个神经元通过树突接收信号，在细胞体内处理后，通过轴突输出信号到其他神经元。人工神经网络用数学模型模拟这一过程：每个人工神经元接收多个输入信号（类似树突），对信号进行加权求和（模拟细胞体整合信息），再通过激活函数（模拟神经元的兴奋/抑制状态）输出结果。

Transformer架构与NLP词表示演进在自然语言处理（NLP）领域，词表示的优化和Transformer架构的出现是两大关键里程碑。前者解决了“如何让机器理解词语语义”的基础问题，后者则凭借高效的全局信息捕捉能力，成为当前主流NLP模型的核心框架。本文将系统梳理从稀疏词表示到动态词表示的演进路径，再聚焦Transformer的核心机制与编码器流程，为NLP入门学习提供清晰脉络。

GAN入门：生成器与判别器原理（附Python代码）在生成对抗网络（GAN）的世界里，生成器和判别器是两个核心的组成部分。就好像一场精彩的猫鼠游戏，生成器努力生成以假乱真的数据，而判别器则尽力分辨出数据的真假。理解这两者的原理，对于掌握GAN的搭建和训练至关重要。接下来，我们就一起深入探究生成器和判别器的原理，并通过Python代码来实现一个简单的GAN。

RNN的注意力机制：原理与实现（代码示例）在循环神经网络（RNN）的应用中，注意力机制是一项非常重要的技术。它能够帮助模型更加聚焦于输入序列中的关键部分，从而提升模型的性能。在这一小节中，我们将详细探讨RNN中注意力机制的原理，并通过Python代码示例来实现它，同时解决注意力机制计算过程中可能出现的维度不匹配问题。

Learn Beyond Limits

Mean Normalization｜均值归一化-----------------------------------------------------------------------------------------------

5.吴恩达机器学习—神经网络的基本使用目录一、神经网络基本概念1.什么是神经网络2.激活向量计算与前向传播算法二、TensorFlow1.TensorFlow和Numpy中数据表示对比

C嘎嘎嵌入式开发

(一) 机器学习之深度神经网络深度神经网络（Deep Neural Networks, DNN）是人工智能领域的核心技术之一，通过多层非线性变换学习复杂的特征表示。本文深入解析DNN的基本原理、网络架构、训练算法以及从感知机到现代深度网络的发展历程，帮助读者全面理解这一重要技术。

可触的未来，发芽的智生

触摸未来2025.10.06：声之密语从生理构造到神经网络的声音智能革命《声之密语：从生理构造到神经网络的声音智能革命》深夜的工作室里，示波器上的声波频率如心跳般起伏。我凝视着这些波形，突然意识到人类发声系统的精妙远超我们想象——这不像随机演化的结果，更像某种精心设计的通信系统。

神经网络之为什么回归任务的输出是高斯分布的均值现实中，我们观测到的 yyy 往往不是完美确定的，它受到测量误差、随机性等因素的影响。因此我们建模如下：

0.6 卷积神经网络1.待优化的参数过多容易导致模型过拟合全连接层的神经元网络参数个数(w和b)：例如：处理1000万像素的RGB彩色图，如果隐藏层为1000个神经元。那么参数仅w就是：1000x3x1000万=300亿个参数

第三章神经网络输入层->中间层（隐藏层）->输出层向下一个神经元发送信号时，改变信号的激活函数有很大差异。神经网络中使用的是平滑变化的sigmoid函数，而感知机中使用的是信号急剧变化的阶跃函数。

可触的未来，发芽的智生

触摸未来2025.10.04：当神经网络拥有了内在记忆……当神经网络拥有了内在记忆……凌晨三点，城市沉睡如深海，村子朦胧又清醒。远远的，我的工作室还亮着灯，像一艘孤独的航船，在思想的海洋中探寻着未知的领域。

深度学习之神经网络2(Neural Network)多层神经网络的学习能力比单层网络强得多。想要训练多层网络，需要更强大的学习算法。误差反向传播算法（Back Propagation）是其中最杰出的代表，它是目前最成功的神经网络学习算法。现实任务使用神经网络时，大多是在使用 BP 算法进行训练，值得指出的是 BP 算法不仅可用于多层前馈神经网络，还可以用于其他类型的神经网络。通常说 BP 网络时，一般是指用 BP 算法训练的多层前馈神经网络。

理解神经网络流程个人记录 2025 10 3 神经网络流程数据的预处理通过dataset和dataloader进行 dataset 处理数据旋转裁切调整对比度等操作将数据修改成张量的格式就像numpy 用array格式，pandas用的是dataframe格式 dataloader 处理数据如果批次大小和加载数量，因为他不像机器学习可以把数据一次性读进来。前向传播样本特征输入后进行预测，通过损失函数中参数权重偏置进行链式求导法则得到梯度，用梯度下降法更新参数循环最终使得梯度平稳停止。

DAY 43 复习日-2025.10.7作业： kaggle找到一个图像数据集，用cnn网络进行训练并且用grad-cam做可视化进阶：并拆分成多个文件

AI大事记10:从对抗到创造——生成对抗网络 (GANs)2014 年，加拿大蒙特利尔一家小酒馆里，几个年轻人正为一个棘手的问题发愁：如何让机器生成一张逼真的人脸照片？当时的主流方法效果总是不尽如人意，生成的图像要么模糊不清，要么奇形怪状。就在这时，一位年轻的博士生伊恩・古德费洛 (Ian Goodfellow) 灵光一闪："为什么不让两个神经网络互相对抗，共同进化？" 这个简单而天才的想法，彻底改变了人工智能的研究方向，也为后来的生成式 AI 浪潮奠定了基础。

AI学习日记——神经网络参数的更新目录一、参数更新与SGD的局限性1. 神经网络最优化问题的挑战2. SGD方法及其实现3. SGD的缺点分析

wa的一声哭了

Stanford CS336 assignment1 | Transformer Language Model Architecture我们每次都去激活环境太繁琐这里建议直接把激活环境的命令写进.bashrc文件找到家目录下的.bashrc文件然后找到项目根目录下面有一个.venv文件 .venv目录下有一个bin，然后bin中有一个activate脚本，这个脚本就是用来激活uv环境的，我们只需要在每次打开终端也就是shell启动的时候执行一遍这个脚本就好了。