使用线性函数逼近的Q学习

Question

我想获得一些关于如何使用函数逼近的Q学习算法的有用说明。对于基本的Q学习算法，我找到了一些例子，我想我也明白它。如果使用函数逼近，我会遇到麻烦。有人可以通过一个简短的例子来解释它是如何工作的吗？

我所知道的：

1. Istead使用矩阵，我们使用的功能和参数Q值的。
2. 使用派生函数和参数的线性组合近似。
3. 更新参数。

我已经检查本文：Q-learning with function approximation

但我不能找到任何有用的教程如何使用它。

感谢您的帮助！

Answer 1

我认为，this是最好的参考之一。它用几个伪代码示例写得很好。就你而言，你可以通过忽略资格痕迹来简化算法。另外，根据我的经验和根据您的使用情况，Q-Learning可能无法很好地工作（有时需要大量的经验数据）。例如，您可以尝试Fitted-Q值，这是批量算法。