RMSNorm 类中引入一些参数

RMSNorm 类中,引入可学习的参数,以增强模型的表达能力和适应性。以下是一些常见的方法:

  1. 可学习的缩放参数(Scale)

    除了 self.weight,可以为每个维度引入一个可学习的缩放参数。这可以通过创建一个与输入维度相同的权重矩阵来实现,而不是一个向量。这样,每个特征维度都会有一个独立的缩放因子。

    python 复制代码
    class RMSNorm(torch.nn.Module):
        def __init__(self, dim: int, eps: float = 1e-6):
            super().__init__()
            self.eps = eps
            self.weight = nn.Parameter(torch.ones((dim, 1)))  # 权重矩阵
    
        def forward(self, x):
            normed = self._norm(x)
            return normed * self.weight
  2. 可学习的偏移参数(Shift)

    除了缩放,还可以为每个维度引入一个可学习的偏移参数。这可以通过添加一个与 self.weight 类似的权重矩阵来实现,但用于添加到归一化后的输出上。

    python 复制代码
    class RMSNorm(torch.nn.Module):
        def __init__(self, dim: int, eps: float = 1e-6):
            super().__init__()
            self.eps = eps
            self.scale = nn.Parameter(torch.ones((dim, 1)))  # 缩放权重矩阵
            self.shift = nn.Parameter(torch.zeros((dim, 1)))  # 偏移权重矩阵
    
        def forward(self, x):
            normed = self._norm(x)
            return normed * self.scale + self.shift
  3. 可学习的归一化参数(Custom Normalization)

    可以设计一个自定义的归一化函数,其中包含可学习的参数。例如,可以学习一个参数来控制归一化过程中的动态范围。

python 复制代码
import torch
import torch.nn as nn

class CustomNorm(nn.Module):
    def __init__(self, num_features, eps=1e-5):
        super(CustomNorm, self).__init__()
        # 可学习的缩放参数 gamma,初始化为1
        self.gamma = nn.Parameter(torch.ones(num_features))
        # 可选的可学习偏移参数 beta,初始化为0
        self.beta = nn.Parameter(torch.zeros(num_features))
        self.eps = eps

    def forward(self, x):
        # 计算均值和方差
        mean = x.mean(1, keepdim=True)
        var = x.var(1, keepdim=True)

        # 归一化
        x_norm = (x - mean) / torch.sqrt(var + self.eps)

        # 应用可学习的缩放和偏移
        x_out = self.gamma * x_norm + self.beta

        return x_out

# 示例使用
num_features = 10  # 假设输入特征的维度为10
custom_norm_layer = CustomNorm(num_features)

# 假设有一个随机生成的输入张量
input_tensor = torch.randn(5, num_features)  # 5个样本,每个样本有10个特征

# 前向传播
output_tensor = custom_norm_layer(input_tensor)
print(output_tensor)
  1. 可学习的激活函数参数

    在归一化之后,可以引入一个可学习的激活函数,其参数也可以是可训练的。这可以通过使用 nn.functional 中的激活函数,并将可学习参数作为激活函数的输入。

    python 复制代码
    class RMSNorm(torch.nn.Module):
        def __init__(self, dim: int, eps: float = 1e-6):
            super().__init__()
            self.eps = eps
            self.activation_param = nn.Parameter(torch.ones(1))  # 可学习的激活函数参数
    
        def forward(self, x):
            normed = self._norm(x)
            return torch.tanh(self.activation_param * normed)  # 使用tanh激活函数
相关推荐
潮汐退涨月冷风霜18 小时前
数字图像处理(1)OpenCV C++ & Opencv Python显示图像和视频
c++·python·opencv
九章云极AladdinEdu1 天前
超参数自动化调优指南:Optuna vs. Ray Tune 对比评测
运维·人工智能·深度学习·ai·自动化·gpu算力
酷飞飞1 天前
Python网络与多任务编程:TCP/UDP实战指南
网络·python·tcp/ip
研梦非凡1 天前
ICCV 2025|从粗到细:用于高效3D高斯溅射的可学习离散小波变换
人工智能·深度学习·学习·3d
数字化顾问1 天前
Python:OpenCV 教程——从传统视觉到深度学习:YOLOv8 与 OpenCV DNN 模块协同实现工业缺陷检测
python
学生信的大叔1 天前
【Python自动化】Ubuntu24.04配置Selenium并测试
python·selenium·自动化
诗句藏于尽头1 天前
Django模型与数据库表映射的两种方式
数据库·python·django
通街市密人有1 天前
IDF: Iterative Dynamic Filtering Networks for Generalizable Image Denoising
人工智能·深度学习·计算机视觉
智数研析社1 天前
9120 部 TMDb 高分电影数据集 | 7 列全维度指标 (评分 / 热度 / 剧情)+API 权威源 | 电影趋势分析 / 推荐系统 / NLP 建模用
大数据·人工智能·python·深度学习·数据分析·数据集·数据清洗
扯淡的闲人1 天前
多语言编码Agent解决方案(5)-IntelliJ插件实现
开发语言·python