前馈网络+层归一化

核心用途：为4×512的LayerNorm输入矩阵，填充0~10之间的高质量随机浮点数，模拟真实模型输入（如文本序列特征向量），替代老旧rand()函数，保证测试数据的合理性和LayerNorm计算结果的可靠性。

一、完整代码片段

复制代码

#include <iostream>
#include <vector>
#include <cmath>
#include <memory>
#include <iomanip>
#include <numeric>
#include <random>

// 层归一化核心计算函数（double高精度版本）
// 输入：二维矩阵（4x512）、缩放系数gamma、平移系数beta、防止除0的epsilon
// 输出：归一化后的矩阵（智能指针管理内存，避免泄漏）
std::unique_ptr<std::vector<std::vector<double>>> layer_norm(
    const std::vector<std::vector<double>>& input,
    double gamma = 1.0,
    double beta = 0.0,
    double epsilon = 1e-8) {

    int rows = input.size();
    if (rows == 0) return std::make_unique<std::vector<std::vector<double>>>(); // 空输入保护
    int cols = input[0].size();

    // 智能指针创建输出矩阵，自动释放内存
    auto output = std::make_unique<std::vector<std::vector<double>>>(rows, std::vector<double>(cols));

    for (int i = 0; i < rows; ++i) {
        // 计算当前行均值
        double sum = std::accumulate(input[i].begin(), input[i].end(), 0.0);
        double mean = sum / cols;

        // 计算当前行方差,先算偏差再平方和，减少精度损失
        double var_sum = 0.0;
        for (int j = 0; j < cols; ++j) {
            double diff = input[i][j] - mean;
            var_sum += diff * diff;
        }
        double var = var_sum / cols;

        // 执行层归一化计算
        double std_dev = std::sqrt(var + epsilon); // 加入epsilon防止分母为0
        for (int j = 0; j < cols; ++j) {
            (*output)[i][j] = gamma * (input[i][j] - mean) / std_dev + beta;
        }
    }

    return output;
}

// 输出行号+均值+方差+验证结果
void validate_layer_norm(const std::vector<std::vector<double>>& output) {
    int rows = output.size();
    if (rows == 0) return; // 空矩阵直接返回
    int cols = output[0].size();

    std::cout << std::fixed << std::setprecision(8);
    bool all_passed = true; // 标记是否所有行验证通过

    for (int i = 0; i < rows; ++i) {
        // 计算当前行均值
        double mean = std::accumulate(output[i].begin(), output[i].end(), 0.0) / cols;

        // 计算当前行方差
        double var_sum = 0.0;
        for (double val : output[i]) {
            double diff = val - mean;
            var_sum += diff * diff;
        }
        double var = var_sum / cols;

        // 验证误差是否在1e-6以内
        bool mean_ok = std::fabs(mean) < 1e-6;    // 均值接近0
        bool var_ok = std::fabs(var - 1.0) < 1e-6; // 方差接近1
        bool row_passed = mean_ok && var_ok;

        if (!row_passed) all_passed = false;
        // 对比数值
        std::cout << "第" << (i + 1) << "行：均值=" << mean << "，方差=" << var << " → "
            << (row_passed ? "通过" : "失败") << std::endl;
    }

    // 汇总结果
    std::cout << "总计：" << (all_passed ? "全部通过" : "部分失败") << std::endl;
}

int main() {
    // 构造4x512的测试输入矩阵
    int rows = 4;
    int cols = 512;
    std::vector<std::vector<double>> input(rows, std::vector<double>(cols));

    // 生成随机数
    std::random_device rd;
    std::mt19937 gen(rd());
    std::uniform_real_distribution<double> dis(0.0, 10.0); // 0~10均匀分布

    for (int i = 0; i < rows; ++i) {
        for (int j = 0; j < cols; ++j) {
            input[i][j] = dis(gen);
        }
    }

    // 执行层归一化并验证结果
    auto norm_output = layer_norm(input);
    validate_layer_norm(*norm_output);

    return 0;
}

二、解析

std::random_device rd用于创建随机种子生成器对象 rd，其核心是从操作系统或硬件层面获取真随机数，作为后续伪随机数生成器的初始种子。种子是随机数序列的起始值，若种子固定则每次运行生成的随机数完全相同，而通过 rd 获取真随机种子能保证每次测试的输入数据不同，更贴合真实场景。需要注意的是，少数平台（如部分虚拟机）不支持真随机，rd 会退化为伪随机，但依然优于手动设置固定种子（如 gen (123)）。

std::mt19937 gen(rd())中的 mt19937 是 C++11 提供的基于梅森旋转算法的高性能伪随机数生成器，也是目前推荐的主流用法。相比老旧的 rand ()，它的随机数序列周期极长（2¹⁹⁹³⁷ - 1）、无明显规律且不易重复，生成速度快能适配 4×512 矩阵的大规模填充，同时随机数分布均匀，可避免因数据偏差影响 LayerNorm 验证结果。gen (rd ()) 则是用 rd 生成的真随机数初始化 gen，让其开始生成高质量伪随机数序列。

std::uniform_real_distribution<double> dis(0.0, 10.0)定义了均匀分布的浮点数生成规则，其中 double 类型与 LayerNorm 的计算精度保持一致，能避免精度损失。dis (0.0, 10.0) 指定随机数范围为左闭右开的 [0.0, 10.0)，该范围内每个数被生成的概率相等。范围可根据需求调整，但需避免数值过大或过小导致 LayerNorm 计算出现方差趋近于 0 等极端值。

最后通过双层循环遍历 4×512 矩阵的所有位置，外层循环遍历行、内层循环遍历列，在循环中用 dis (gen) 生成符合 [0.0, 10.0) 均匀分布的 double 型随机数，赋值给矩阵对应位置完成输入数据填充。

三、关键注意事项

精度匹配：生成double类型随机数，与LayerNorm的计算精度（所有浮点变量为double）保持一致，避免float转double的精度偏差。
避免使用rand()：老旧的rand()函数存在精度低、分布不均、跨平台不一致的问题，不适合LayerNorm的高精度测试需求。
可复用性：若需多次生成随机矩阵，可将该段代码封装为函数，减少冗余（如封装为generate_random_matrix(int rows, int cols)）。

四、总结

这段代码通过真随机种子搭配高性能伪随机数生成器，结合均匀分布规则生成测试数据，适配 LayerNorm 的高精度测试需求，既保证了输入数据的合理性，也能让 LayerNorm 的计算和验证结果更可靠。