强化学习问题

问题描述

样本为轨迹 $\tau$ ，满足概率 $p_{\theta }(\tau )$ 的分布，即 $\tau \sim p_{\theta }(\tau )$ ， $\theta$ 为策略的参数

策略$\pi (a|s)$表示从状态$s$执行动作$a$的概率分布，即

$$\sum _{a_i\in A}^{}\pi (a_i|s)=1$$

马尔科夫假设：下一个状态${𝑠}_{𝑡+1}$只与当前的状态𝑠𝑡和执行的动作𝑎𝑡相关，则某个轨迹发生的概率为：

$$𝑃({𝑠}_1,{𝑎}_1,{𝑠}_2,{𝑎}_2,\cdots ,{𝑠}_{𝑇})=𝑃({𝑠}_1)\pi (a_1|s_1)𝑃({𝑠}_2)\pi (a_2|s_2)...$$

奖励与期望

单步奖励定义为 $r$ ，对于轨迹 $\tau$ 总奖励 $R(\tau )$ ，有

$$R(\tau )=\sum r_t$$

考虑到近期奖励更重要，加入参数$\gamma \in [0,1]$，上式改写为

$$R(\tau )=\sum {\gamma }^{t-1}{r}_t$$

策略梯度方法

寻找策略 $\pi (a|s)$ 使得总奖励 $R(\tau )$ 最大是我们的目标。由于环境与策略有随机性，所以希望$R(\tau )$的期望最大，即

$$\mathcal{L}(\theta )\stackrel{def}{=}J({\pi }_{\theta })={\mathbb{E}}_{\tau }[R(\tau )]=\int {\pi }_{\theta }(\tau )R(\tau )d\tau$$

$\mathcal{L}(\theta )$是我们的训练目标函数。
通过网络训练，找到一组 $\theta$ 代表的网路 ${\pi }_{\theta }$ ，使得上式最大。

$$\frac{\partial J}{\partial \theta }={\mathbb{E}}_{\tau }[\frac{\partial }{\partial \theta }{\log }_{}{\pi }_{\theta }(\tau )\cdot R(\tau )]={\mathbb{E}}_{\tau }[\frac{\partial }{\partial \theta }\sum {\log }_{}{\pi }_{\theta }(a_t|s_t)\cdot R(\tau )]$$$$\mathcal{L}(\theta )={\mathbb{E}}_t[{\log }_{}{\pi }_{\theta }(a_t|s_t)\cdot A_t]$$

上式的期望采用多次采样来拟合。 更新后的参数${\theta }^{\prime }$为下式

$${\theta }^{\prime }=\theta +\mu \cdot \frac{\partial J}{\partial \theta }$$

方差

通过将奖励 $R(\tau )$ 分布在0周围，可以减小方差。一个简单的方法是加入偏置b，即

$$R(\tau )-b$$

对于参数b的估计可以采用 $R(\tau )$ 的均值

重要性采样

重要性采样是一种通过其他分布来估计期望的方法。 对于分布 $p_{\theta }$，和历史的某一分布 $p_{\overline{\theta }}$ ，

$$J_{\overline{\theta }}={\mathbb{E}}_{\tau }[R(\tau )]=\sum _t{\mathbb{E}}_{s_t}[\frac{p_{\theta }(\cdot )}{p_{\overline{\theta }}(\cdot )}\cdot {\mathbb{E}}_{a_t}[\frac{{\pi }_{\theta }}{{\pi }_{\overline{\theta }}}\cdot r_t]]$$

可以被用来估计 $J_{\theta }$ 在

$$\frac{p_{\theta }(s_t)}{p_{\overline{\theta }}(s_t)}\approx 1$$

的情况下，可以简化为

$$J_{\overline{\theta }}=\sum _t{\mathbb{E}}_{s_t}[{\mathbb{E}}_{a_t}[\frac{{\pi }_{\theta }}{{\pi }_{\overline{\theta }}}\cdot r_t]]=\sum _t{\mathbb{E}}_{(s_t,a_t)}[\frac{{\pi }_{\theta }}{{\pi }_{\overline{\theta }}}\cdot r_t]$$

这样可以用一次采样的结果优化多次$\theta$
这种采样策略和待优化的目标策略不是同一策略的方法叫做离线(Off-Policy)方法

PPO算法

基于上面的理论，一方面我们需要优化$J$，另一方面我们希望两个$\theta ,{\theta }^{\prime }$相似，否则无法重要性采样。采样通过当前状态的${\pi }_{\theta }(a_t|s_t)。$
$J^{{\theta }^{\prime }}(\theta )$ 表示用 ${\theta }^{\prime }$ 优化 $\theta$ 的目标函数。PPO算法是一种同策略算法。公式如下

$$J_{\mathrm{PPO}}(\theta )=J^{{\theta }^{\prime }}(\theta )-\beta \mathrm{KL}(\theta ,{\theta }^{\prime })$$

上式的$\mathrm{KL}(\theta ,{\theta }^{\prime })$描述$\theta ,{\theta }^{\prime }$的相似程度，表示为动作的距离。
上式的$\beta$是动态的，如果 $\mathrm{KL}(\theta ,{\theta }^k)>{\mathrm{KL}}_{max}$，增大 $\beta$ ；如果 $\mathrm{KL}(\theta ,{\theta }^k)<{\mathrm{KL}}_{min}$，减小$\beta$

除此之外还有PPO2算法，PPO2避免了计算KL散度，它采用设定 $\frac{{\pi }_{\theta }(\cdot )}{{\pi }_{\overline{\theta }}(\cdot )}$ 上下界的方式，将其限制在1附近。

值函数方法

状态值函数 ，$V$ 函数，定义为从状态 $s_t$ 开始，策略 $\pi$ 下的期望回报。
状态-动作价值函数 ，$q$ 函数，定义从状态 $s_t$ 和动作 $a_t$ 开始，策略 $\pi$ 下的期望回报。
可以看出

$$V_{s_t}=\underset{a_t}{max}{Q}_{s_t}(a_t)$$

对于上述两个函数 $V,Q$

1. 可以采用生成多条轨迹来计算，即 蒙特卡洛方法 。

$$V=\frac{1}{N}\sum R(\tau )$$

2. 考虑到值函数的递推关系。可以采用 时序差分方法 。递推关系(贝尔曼方程)如下

$$V_t^{\pi }={\mathbb{E}}_{\tau }[r_t+\gamma V_{t+1}^{\pi })]$$

构造误差项

$$\delta =r_t+\gamma V_{t+1}^{\pi }-V_t^{\pi }$$

更新 $V$ 函数为 $V_t^{\pi }+\alpha \delta$，$\alpha \in [0,1]$
同理，对于 $Q$ 函数

$$\delta =r_t+\gamma \underset{a_t}{max}{Q}_{t+1}^{\pi }-Q_t^{\pi }$$

更新 $Q$ 函数为 $Q_t^{\pi }+\alpha \delta$，$\alpha \in [0,1]$
策略改进需要兼顾最优、探索，因此以一定概率 $ϵ$ 进行随机， $1-ϵ$ 的概率选择最优，记为贪心算法。

DQN算法

利用贪心算法的策略 $\pi$ ，获得的数据存到memory中，数据足够多的时候开始训练Q，训练结束后更新Q。

Actor-Critic方法

Actor 通过训练策略 ${\pi }_{\theta }$ 更新 $\theta$
Critic 通过训练 $V_{\varphi }$ 更新 $\varphi$

Advantage AC方法

通过Critic计算出 $V$
定义动作的优势值 $A_t=\delta =r_t+\gamma V_{t+1}^{\pi }-V_t^{\pi }$
采用目标函数为

$${\mathcal{L}}^{PG}(\theta )={\mathbb{E}}_t[{\log }_{}{\pi }_{\theta }(a_t|s_t)\cdot A_t]$$

以计算Actor的梯度