在神经网络中，激活函数通常不仅仅是在最后一层使用，而是在每一层的神经元之间使用 。激活函数的作用是引入非线性变换，使得神经网络能够学习和表示更加复杂的函数关系。
在神经网络的隐藏层中，激活函数常常被应用于每个神经元的输出，将输入信号进行非线性映射。这有助于模型学习非线性模式和特征，并提高网络的表示能力。常见的激活函数包括ReLU、Sigmoid、Tanh等。
在输出层中，激活函数的选择取决于任务的性质。对于二分类任务，通常使用Sigmoid函数作为激活函数，将输出限制在0到1之间，表示概率值。对于多分类任务，常用的激活函数是Softmax函数，将输出转换为每个类别的概率分布。
需要注意的是，有些特殊的网络结构或任务可能不使用激活函数，例如在一些回归任务中，输出层可能直接输出实数值而不经过激活函数。此外，一些特殊的网络结构，如生成对抗网络（GANs）中的生成器部分，也可能使用特定的激活函数，如LeakyReLU。
总结来说，激活函数在神经网络中被广泛应用于隐藏层，用于引入非线性变换。在输出层，激活函数的选择取决于任务的性质，可以是Sigmoid、Softmax等。