state: T h e s t a t u s o f a g e n t w i t h r e s p e c t t o t h e e n v i r o n m e n t The \quad status \quad of \quad agent \quad with \quad respect \quad to \quad the \quad environment Thestatusofagentwithrespecttotheenvironment (agent 相对于环境的状态)
对于下面的网格地图来说： s t a t e state state就相当于$ location $,用 s 1 、 s 2 、 . . . 、 s 9 s_1、s_2、...、s_9 s1、s2、...、s9来表示
state space： T h e s e t o f a l l s t a t e S = { s i } i = 1 9 The \quad set \quad of \quad all \quad state \quad S = \{s_i\}_{i=1}^{9} ThesetofallstateS={si}i=19 状态空间,把所有 s t a t e state state放在一起得到的集合就是 s t a t e s p a c e state \quad space statespace
Action: F o r e a c h s t a t e , t h e r e a r e f i v e p o s s i b l e a c t o i n : a 1 、 a 2 、 a 3 、 a 4 、 a 5 For \quad each \quad state, \quad there \quad are \quad five \quad possible \quad actoin: a_1、a_2、a_3、a_4、a_5 Foreachstate,therearefivepossibleactoin:a1、a2、a3、a4、a5
Action space of a state: t h e s e t o f a l l p o s s i b l e a c t i o n s o f a q u a d s t a t e the \quad set \quad of \quad all possible actions \quad of \quad a \ quad state thesetofallpossibleactionsofa quadstate
A ( s i ) = { a i } i = 1 5 A(s_i) = \{a_i\}_{i=1}^{5} A(si)={ai}i=15
state transition: 当采取了一个 a c t i o n action action后， a g e n t agent agent从一个 s t a t e state state转移到另一个 s t a t e state state,这样一个过程佳作 s t a t e t r a n s i t i o n state \quad transition statetransition
s t a t e t r a n s i t i o n state \quad transition statetransition定义一种 a g e n t agent agent和 e n v i r o n m e n t environment environment交互的行为
Forbidden area:有两种情况，一种是forbidden are可以到达，但是会得到相应的惩罚，另一种是forbidden area不可到达，相当于有一堵墙。
Tabular representation:可以用表格来描述state transition
只能能表示确定的情况
相比于上面的表格，更一般的做法是使用下面这种方法
state transition probability:使用概率来描述state transition
Policy：告诉agent在一个状态应该采取什么动作
π \pi π在强化学习中用来表示条件概率，而不是圆周率
上面图片中的情况是确定性的策略，同时也有不确定的策略
Reward:reward是action采取一个action后得到的实数，一个正的reward代表鼓励采取这样的action，一个负的reward代表惩罚这样的action。
reward可以理解成一个 h u m a n − m a c h i n e i n t e r f a c e human-machine \quad interface human−machineinterface,我们人类和机器交互的一个接口
reward依赖于当前的 s t a t e 和采取的 a c t i o n state和采取的action state和采取的action而不是依赖于接下来的 s t a t e state state
trajectory:是一个 s t a t e − a c t i o n − r e w a r d state-action-reward state−action−reward chain
Return:沿着trajectory，所有的reward相加得到得就是return
return的作用可以用来评估一个策略的好坏
discount return:
从上图可以看到上面的trajectory是无限长的，对应的return是发散的。
为了解决这个问题引入一个 d i s c o u n t r a t e γ ∈ [ 0 , 1 ) discount \quad rate \quad \gamma \in [0, 1) discountrateγ∈[0,1)
上面的return就可以用discount return来表示
$discount return = 0 + \gamma * 0 + {\gamma^2} * 0 + {\gamma^3} * 1 + {\gamma^4} * 1 + ... $
d i s c o u n t r e t u r n = γ 3 ( 1 + γ + γ 2 + γ 3 + . . . ) discount return = \gamma^3(1 + \gamma + \gamma^2 + \gamma^3 + ...) discountreturn=γ3(1+γ+γ2+γ3+...)
d i s c o u n t r e t u r n = γ 3 ( 1 1 − γ ) discount return = \gamma^3(\frac{1}{1 - \gamma}) discountreturn=γ3(1−γ1)
episode\trial:一个有限步的trajectory被称为episode，也就是有terminal states的trajectory。
可以采用方法将episodic转化为continue的，在terminal state时无论采取什么action都会回到terminal state。
MDP:Markov decision process,马尔可夫决策过程是一个框架framework
一个马尔可夫决策过程中有很多关键的元素：
set:
- State:
- Action
- Reward
Probability distribution:
- State transition probability:在一个状态s，采取action a，转移到状态 s ′ s^{'} s′的概率 p ( s ′ ∣ s , a ) p(s^{'}|s,a) p(s′∣s,a)
- Reward probability:在状态s，采取action a，得到reward r的概率 p ( r ∣ s , a ) p(r|s, a) p(r∣s,a)
Policy:
在状态s,采取action a的概率 π ( a ∣ s ) \pi(a|s) π(a∣s)
Markov property:memoryless property
