functionQπ(s,a)。reward的期望值。显然,动作之后的reward更容易理解。公式来迭代更新,看下一小节。Q值,怎么能有下一个Q值呢?没有错。reward和原来的Q值来更新现在的Q值。当i→∞时Q_i→Q∗。policy来生成动作,也就是说这个policy不是优化的那个policy,所以Q-Learning算法叫做Off-policy的算法。reward,因此是model-free的方法。有利于更新Q值,获得更好的policy。exploration和exploitation的比例。Learning的基本思想了。