将策略用参数化函数表示（$\pi (a|s,\theta )$），通过优化函数参数进而最大化某个标量指标来得到最优策略的方法叫做策略梯度。

这里最优策略变为了最大化某个标量指标的策略，更新策略等价于更新参数，通过计算获取动作概率。

指标选择

一是平均状态价值，不难理解 二是平均单步奖励

梯度推导

蒙特卡洛策略梯度Reinforce