草稿纸1106

我继续在学习《ML Lecture 23-1: Deep Reinforcement Learning by Hung-yi Lee》中的视频教程https://youtu.be/W8XF3ME8G2I?si=zEQ3qj_iXzZZ-n85,其中提到:

"""
Gradient Ascent θ new ← θ old + η ∇ R ˉ θ old = ∑ t = 1 T ∇ log ⁡ p ( a t ∣ s t , θ ) ∇ R ˉ θ ≈ 1 N ∑ n = 1 N R ( τ n ) ∇ log ⁡ P ( τ n ∣ θ ) = 1 N ∑ n = 1 N R ( τ n ) ∑ t = 1 T n ∇ log ⁡ p ( a t n ∣ s t n , θ ) = 1 N ∑ n = 1 N ∑ t = 1 T n R ( τ o n ) ∇ log ⁡ ‾ p ( a t n ∣ s t n , θ ) \begin{aligned} & \begin{array}{l} \text { Gradient Ascent } \\ \theta^{\text {new }} \leftarrow \theta^{\text {old }}+\eta \nabla \bar{R}{\theta^{\text {old }}} \end{array} \quad=\sum{t=1}^T \nabla \log p\left(a_t \mid s_t, \theta\right) \\ & \nabla \bar{R}\theta \approx \frac{1}{N} \sum{n=1}^N R\left(\tau^n\right) \nabla \log P\left(\tau^n \mid \theta\right)=\frac{1}{N} \sum_{n=1}^N R\left(\tau^n\right) \sum_{t=1}^{T_n} \nabla \log p\left(a_t^n \mid s_t^n, \theta\right) \\ & =\frac{1}{N} \sum_{n=1}^N \sum_{t=1}^{T_n} R\left(\tau_o^n\right) \nabla \underline{\log } p\left(a_t^n \mid s_t^n, \theta\right) \\ & \end{aligned} Gradient Ascent θnew ←θold +η∇Rˉθold =t=1∑T∇logp(at∣st,θ)∇Rˉθ≈N1n=1∑NR(τn)∇logP(τn∣θ)=N1n=1∑NR(τn)t=1∑Tn∇logp(atn∣stn,θ)=N1n=1∑Nt=1∑TnR(τon)∇logp(atn∣stn,θ)

"""

"这里的 Gradient Ascent 的微分是很符合人类直觉的, R ( τ n ) R\left(\tau^n\right) R(τn)为正则会提升获得此次胜利的过程中采取的每一次动作的概率;而 R ( τ n ) R\left(\tau^n\right) R(τn)为负,则会降低这些动作出现的概率",请问,这种说法正确吗

相关推荐
2202_7567496933 分钟前
06 基于sklearn的机械学习-欠拟合、过拟合、正则化、逻辑回归
人工智能·python·深度学习·机器学习·计算机视觉·逻辑回归·sklearn
星期天要睡觉38 分钟前
机器学习——逻辑回归(LogisticRegression)实战案例:信用卡欺诈检测数据集
人工智能·机器学习·逻辑回归
WeiJingYu.2 小时前
逻辑回归的应用
算法·机器学习·逻辑回归
天上的光2 小时前
机器学习——学习路线
人工智能·学习·机器学习
仪器科学与传感技术博士5 小时前
python:如何调节机器学习算法的鲁棒性,以支持向量机SVM为例,让伙伴们看的更明白
python·算法·机器学习
roman_日积跬步-终至千里9 小时前
【机器学习】(算法优化一)集成学习之:装袋算法(Bagging):装袋决策树、随机森林、极端随机树
算法·机器学习·集成学习
linweidong9 小时前
如何设计和实施高效的向量化数据检索解决方案
人工智能·机器学习·大模型·agent·milvus·faiss·向量索引
小关会打代码10 小时前
机器学习第三课之逻辑回归(三)LogisticRegression
人工智能·机器学习·逻辑回归·下采样·过采样
weixin_4640780718 小时前
机器学习sklearn:过滤
人工智能·机器学习·sklearn
weixin_4640780719 小时前
机器学习sklearn:降维
人工智能·机器学习·sklearn