强化学习学习笔记

1.关于agent

在之前一直听说强化学习里有agent和environment,在大模型的学习时也有基于langchain搭建智能体,一直没有搞清楚什么意思。

其实这两种都是agent,不过当大语言模型到来时的agent是llm based的。

2.强化学习、监督学习、无监督学习区别

如果只是对比监督学习和无监督学习,它们的区别是有无标签,机器学习的目的是学习数据中的某种模式,比如具有某些特征的是什么,比如四条腿的就不会是鸡,但是如果要机器来学习这些模式就需要带有标签的数据。

强化学习得到的反馈是只针对当前的行为,比如一个人在人生某个阶段采取了某个行动,世界给了他反馈,不管这个反馈是什么,他能明确的就是采取这样的行动,在怎样怎样的条件下会得到什么样的结果。他无法预知自己未做的选择有什么结果。

用比喻的做法来说就是监督学习有一个老师告诉你怎么做是最好的,哪怕你做错了 他也会告诉你。强化学习是你采取了一个行为,没有人告诉你是否别的更好,你只能自己摸索着看看这个情况怎么样,要做哪个还是不能确定。

3.强化学习的目标

如果说一个行动和一个状态有一个价值,长期来看有一个期望价值,但是actor是不知道的,他只能通过自己已知,已经采取过的行动去估计,比如做某件事情,十次有七次有收获,有三次无 刚好他采取的三次都有收获,他就认为目前为止这个行动收获的概率是100%。

相关推荐
高洁0113 小时前
世界模型的因果内核:从预测表象到理解机制
人工智能·python·深度学习·transformer·迁移学习
意念回复21 小时前
从 RNN 到 GQA:自注意力与多头注意力机制全解析
人工智能·rnn·深度学习
哈尔滨张谦蛋2 天前
兰州大学 · 甘肃省可穿戴装备重点实验室 · 2027年博士招生
人工智能·深度学习
chh5632 天前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
汤姆宝库3 天前
RoPE旋转位置编码的实现与长上下文外推
python·深度学习·机器学习
tellmewhoisi3 天前
深度学习0:数学知识:(L1正则化和L2正则化)
人工智能·深度学习
AI小怪兽3 天前
你的视觉基础模型会说“植物语“吗?面向目标检测的视觉基础模型植物语法
人工智能·深度学习·机器学习
罗西的思考3 天前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法
tellmewhoisi4 天前
深度学习0:数学知识:(雅可比矩阵)
人工智能·深度学习·矩阵