【强化学习】Q-learning算法详解：含MATLAB和Python实现代码

Q-learning算法详解 1. Q-learning算法简介Q-Learning算法的基本概念Q-Learning算法的核心思想Q-learning算法步骤Q-Learning算法的特点 MATLAB 实现 Q-learningPython 实现 Q-learning参考

强化学习属于机器学习，但与以前的监督学习和无监督学习的处理对象和任务都不同。监督学习和无监督学习处理的都是静态的数据，比如文本、图像等，主要是解决分类、回归及聚类等问题。

而强化学习要解决的是 动态的决策问题，是根据不断变化的环境，做出不同的决策，最后生成一个动作序列，以达到某种目的或者最优，处理的数据是动态的。

强化学习的目的，是让计算机学会自主的进行动态的决策。阿尔法围棋软件就是典型的强化学习成果，最近推出的ChartGPT的核心算法，也是基于神经网络组成的强化学习框架。

1. Q-learning算法简介

Q-learning是一种基于值迭代的强化学习算法，属于无模型（model-free）强化学习方法。它通过学习 状态-动作值函数（Q值） 来优化策略，使得智能体在给定环境中获得最大累计奖励。

Q-Learning算法的基本概念

状态（State）‌：环境的某个特定情况或配置。动作（Action）‌：在给定状态下可以采取的可能行为。奖励（Reward）‌：采取某个动作后从环境中获得的即时回报。策略（Policy）‌：从状态到动作的映射，指导如何根据当前状态选择动作。Q函数（Q-value）‌：表示在状态s下采取动作a的期望回报。

在强化学习中，奖励非常重要，因为样本没有标签，理论上是奖励在引领学习。一般需要人工设置，是强化学习中较为复杂的难点。

Q-Learning算法的核心思想

Q-Learning通过贝尔曼（Bellman）方程来更新Q值，其公式为：

Q-learning算法步骤

1、初始化 Q 表：将所有状态-动作对的 Q 值设为零或随机值

2、选择动作：使用 ε-greedy 策略选择动作：

以概率 ϵ 进行随机探索以概率 1−ϵ 选择当前 Q 值最大的动作（贪心策略）

3、执行动作 & 观察奖励：执行动作 a，观察环境的新状态 s′ 和奖励 r

4、更新 Q 值：使用 Q-learning 公式更新 Q 表

5、重复：直到满足终止条件（如达到最大迭代次数或收敛）

Q-Learning算法的特点 无需模型‌：Q-Learning不需要环境的动态模型，通过与环境的交互来学习。‌离线学习‌：可以在没有实时环境反馈的情况下，使用已经收集的数据来更新Q值。‌收敛性‌：在满足一定条件下，Q-Learning能够收敛到最优策略。 MATLAB 实现 Q-learning

下面是一个基于 MATLAB 的 Q-learning 示例，应用于一个 5x5 的网格世界（Grid World）。

clc; clear; close all; % 参数设置 alpha = 0.1; % 学习率 gamma = 0.9; % 折扣因子 epsilon = 0.1; % 探索概率 numEpisodes = 500; % 训练回合数 numStates = 25; % 5x5 网格 numActions = 4; % 上、下、左、右 Q = zeros(numStates, numActions); % 初始化 Q 表 % 设定动作映射 (上=1, 下=2, 左=3, 右=4) actionMap = [-5, 5, -1, 1]; % 训练 Q-learning 代理 for episode = 1:numEpisodes state = randi(numStates); % 随机初始化状态 while state ~= 25 % 终止状态（假设25号格子是终点） if rand < epsilon % 采取随机动作（探索） action = randi(numActions); else % 采取贪心策略（利用） [~, action] = max(Q(state, :)); end % 计算下一个状态 nextState = state + actionMap(action); % 边界检查 if nextState < 1 || nextState > numStates || ... (mod(state, 5) == 0 && action == 4) || ... (mod(state, 5) == 1 && action == 3) nextState = state; % 保持不变 end % 设定奖励函数 if nextState == 25 reward = 100; else reward = -1; end % 更新 Q 值 Q(state, action) = Q(state, action) + alpha * ... (reward + gamma * max(Q(nextState, :)) - Q(state, action)); % 更新状态 state = nextState; end end % 显示最终 Q 值 disp('训练后的Q表:'); disp(Q); Python 实现 Q-learning

Python 版本使用 numpy 和 gym 库，应用于 OpenAI Gym 的 FrozenLake 环境。

import numpy as np import gym # 创建环境 env = gym.make("FrozenLake-v1", is_slippery=False) # 超参数 alpha = 0.1 # 学习率 gamma = 0.9 # 折扣因子 epsilon = 0.1 # 探索率 num_episodes = 500 # 训练回合数 num_states = env.observation_space.n num_actions = env.action_space.n # 初始化 Q 表 Q = np.zeros((num_states, num_actions)) # Q-learning 训练 for episode in range(num_episodes): state = env.reset()[0] # 初始化状态 done = False while not done: # 选择动作（ε-贪心策略） if np.random.uniform(0, 1) < epsilon: action = env.action_space.sample() # 随机探索 else: action = np.argmax(Q[state, :]) # 贪心策略 # 执行动作 next_state, reward, done, _, _ = env.step(action) # 更新 Q 值 Q[state, action] = Q[state, action] + alpha * ( reward + gamma * np.max(Q[next_state, :]) - Q[state, action] ) # 更新状态 state = next_state # 显示最终 Q 表 print("训练后的 Q 表:") print(Q) # 评估学习效果 state = env.reset()[0] env.render() for _ in range(10): action = np.argmax(Q[state, :]) # 选择最佳动作 state, _, done, _, _ = env.step(action) env.render() if done: break 参考