蒙特卡洛方法
蒙特卡洛方法概述
基本概念
蒙特卡洛方法是一类通过采样和统计来解决问题的方法。在强化学习中，蒙特卡洛方法通过采样完整的状态-动作序列 来学习价值函数和最优策略，不需要环境模型的完整知识。
核心思想：通过大量随机采样和实际经验来估计期望值和概率分布。
主要方法
1. 首次访问MC方法
只考虑每个回合中状态或状态-动作对的首次出现
2. 每次访问MC方法
考虑每个回合中状态或状态-动作对的所有出现
3. 探索起始MC方法
通过随机选择初始状态-动作对来保证探索
4. 离线MC控制
基于完整回合数据进行策略评估和改进
算法流程
首次访问MC预测
- 初始化价值函数和回报计数器
- 生成一个回合的经验
- 对回合中首次出现的每个状态
- 计算该状态后续的回报
- 更新价值函数估计
MC控制
- 初始化Q函数和策略
- 生成回合经验
- 对每个状态-动作对更新Q值
- 改进策略（ε-贪婪）
- 重复直到收敛
应用场景
博弈游戏
如围棋、国际象棋等回合制游戏
金融市场
投资组合优化、风险评估
机器人控制
路径规划、动作序列学习
推荐系统
用户行为序列分析