强化学习小笔记 —— 从 Normal 正态分布的对数概率密度到 tanh-Normal的对数概率密度

在学习 SAC 算法用于连续动作的代码时,遇到了一个不懂的地方,如下代码所示:

python 复制代码
# pytorch
class PolicyNetContinuous(torch.nn.Module):
    def __init__(self, state_dim, hidden_dim, action_dim, action_bound):
        super(PolicyNetContinuous, self).__init__()
        self.fc1 = torch.nn.Linear(state_dim, hidden_dim)
        self.fc_mu = torch.nn.Linear(hidden_dim, action_dim)
        self.fc_std = torch.nn.Linear(hidden_dim, action_dim)
        self.action_bound = action_bound

    def forward(self, x):
        x = F.relu(self.fc1(x))
        mu = self.fc_mu(x)
        std = F.softplus(self.fc_std(x))
        dist = Normal(mu, std)
        normal_sample = dist.rsample()  # rsample()是重参数化采样
        log_prob = dist.log_prob(normal_sample)
        action = torch.tanh(normal_sample)
        # 计算tanh_normal分布的对数概率密度
        # 我们需要的是进行 tanh 转换后的对数概率密度,不是 normal 对数概率密度
        log_prob = log_prob - torch.log(1 - torch.tanh(action).pow(2) + 1e-7)
        action = action * self.action_bound
        return action, log_prob

# tensorflow
class PolicyNetContinuous(tf.keras.Model):
    def __init__(self, state_dim, hidden_dim, action_dim, action_bound):
        super(PolicyNetContinuous, self).__init__()
        self.fc1 = tf.keras.layers.Dense(hidden_dim, activation=tf.keras.activations.relu)
        self.fc_mu = tf.keras.layers.Dense(action_dim)
        self.fc_std = tf.keras.layers.Dense(action_dim, activation=tf.keras.activations.softplus)
        self.action_bound = action_bound

    def call(self, x):
        x = self.fc1(x)
        mu = self.fc_mu(x)
        std = self.fc_std(x)
        dist = tfp.distributions.Normal(loc=mu, scale=std)
        normal_sample = dist.rsample()
        log_prob = dist.log_prob(normal_sample)
        action = tf.tanh(normal_sample)
        log_prob = log_prob - tf.math.log(1 - tf.tanh(action) ** 2 + 1e-7)
        action = action * self.action_bound
        return action, log_prob

疑惑的地方在于对动作的对数概率密度进行了以下处理:

python 复制代码
log_prob = log_prob - torch.log(1 - torch.tanh(action).pow(2) + 1e-7)

从代码里可以看到,策略网络的目标是输出一个动作,这个动作是从一个参数为 mu 和 std 的正态分布中采样得到的。然后,这个动作被一个 tanh 函数转换到 -1 到 1 的范围内,以满足环境的动作空间要求。

这里的 log_prob 是动作的对数概率密度。在 SAC 算法中,我们需要计算这个对数概率密度,因为它在更新策略网络时会用到。

因为动作是从正态分布中采样得到的,然后使用tanh()进行转换,经过转换后的动作的对数概率密度不能再使用从正态分布中获取的log_prob。所以,我们需要计算的是这个转换后的动作的对数概率密度,而不是转换前的动作的对数概率密度。

下面来说明一下,基于转换后的对数概率密度是怎么得到的:

(1)首先,我们从一个正态分布 N o r m a l ( m u , s t d ) Normal(mu,std) Normal(mu,std)中采样一个随机变量 x x x,其概率密度函数为 p X ( x ) p_X(x) pX(x),接着,我们使用 t a n h tanh tanh函数将随机变量 x x x映射为另一个随机变量 y = t a n h ( x ) y=tanh(x) y=tanh(x),y对应的概率密度函数为 p Y ( y ) p_Y(y) pY(y)。

(2)根据反函数的定义,我们可以知道有: y = t a n h ( x ) y=tanh(x) y=tanh(x) 和 x = t a n h − 1 ( y ) x=tanh^{-1}(y) x=tanh−1(y),其中 t a n h − 1 为 t a n h tanh^{-1}为tanh tanh−1为tanh的反函数。

(3)我们考虑 p Y ( y ) p_Y(y) pY(y)对应的累积分布函数: F Y ( y ) = p ( Y < = y ) = p ( g ( X ) < = y ) F_Y(y)=p(Y<=y)=p(g(X)<=y) FY(y)=p(Y<=y)=p(g(X)<=y) 公式中的 g = t a n h ( ⋅ ) g=tanh(·) g=tanh(⋅);

(4)根据反函数的性质和tanh(·)的单调性,可以将(3)中的公式修改为: F Y ( y ) = p ( X < = t a n h − 1 ( y ) ) = F X ( t a n h − 1 ( y ) ) F_Y(y)=p(X<=tanh^{-1}(y))=F_{X}(tanh^{-1}(y)) FY(y)=p(X<=tanh−1(y))=FX(tanh−1(y))。

(5)要得到 Y Y Y的概率密度函数 p Y ( y ) p_Y(y) pY(y),我们可以对 F Y ( y ) F_Y(y) FY(y)进行求导,根据链式法则有: p Y ( y ) = d F X ( t a n h − 1 ( y ) ) d y = d F X ( t a n h − 1 ( y ) ) d t a n h − 1 ( y ) ⋅ d t a n h − 1 ( y ) d y = p X ( x ) 1 − ( t a n h ( x ) ) 2 p_Y(y)=\frac{dF_X(tanh^{-1}(y))}{dy}=\frac{dF_X(tanh^{-1}(y))}{dtanh^{-1}(y)}·\frac{dtanh^{-1}(y)}{dy}=\frac{p_X(x)}{1-(tanh(x))^2} pY(y)=dydFX(tanh−1(y))=dtanh−1(y)dFX(tanh−1(y))⋅dydtanh−1(y)=1−(tanh(x))2pX(x)

(6)获取对数概率密度函数: l o g P Y ( y ) = l o g P X ( x ) − l o g ( 1 − ( t a n h ( x ) ) 2 ) logP_Y(y) = logP_X(x) - log(1-(tanh(x))^2) logPY(y)=logPX(x)−log(1−(tanh(x))2)

(7)为了避免 1 − ( t a n h ( x ) ) 2 1-(tanh(x))^2 1−(tanh(x))2等于0导致log趋向于无穷小,所以一般会加一个 1 e − 7 1e-7 1e−7,即: l o g P Y ( y ) = l o g P X ( x ) − l o g ( 1 − ( t a n h ( x ) ) 2 + 1 e − 7 ) logP_Y(y) = logP_X(x) - log(1-(tanh(x))^2 + 1e-7) logPY(y)=logPX(x)−log(1−(tanh(x))2+1e−7)

(8)综上,得到了代码中的结果。

相关推荐
电科_银尘1 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
Sakura_j_h_2 小时前
MCP SDK 2.0 实战:用 MCPServer 搭本地笔记检索服务
开发语言·笔记·python·qt·ai工具·mcp·mcpserver
猿人谷2 小时前
遗传编程的未来:从进化搜索到自主发现求解方法
人工智能·深度学习·神经网络·ai-native
前进的李工5 小时前
Agent 学习笔记 15:Agent 怎样响应事件与中途打断?
人工智能·笔记·agent·openclaw·工具设计·gpt-6 astra·原生异步
泓博6 小时前
Android仿写苹果缩放窗口
人工智能·gpt·深度学习
在所不辞兄7 小时前
【人工智能驱动的电催化研究-07】CSV文件、路径与可追溯记录
人工智能·深度学习·神经网络·机器学习·有限元·电化学·电催化
希和20279 小时前
51 单片机学习笔记:LCD1602、独立按键、I2C 与 AT24C02 掉电存储(江科大课程小白笔记)
笔记·单片机·学习
北风toto9 小时前
Spring Boot 常用注解 · 概要笔记
spring boot·笔记·后端
下一站春风里10 小时前
Spring IoC 控制反转 完整技术笔记
java·spring boot·笔记·spring
jay神10 小时前
基于 YOLOv8 的传送带异物检测系统(Web 版)
前端·人工智能·深度学习·yolo·计算机视觉·计算机毕业设计