强化学习 - Q-learning(Q学习)

什么是机器学习

强化学习中的 Q-learning (Q学习)是一种用于学习在未知环境中做出决策的方法。它是基于值函数的方法,通过学习一个值函数 Q,该函数表示在给定状态和动作下,期望的累积奖励。

以下是一个简单的 Q-learning 的实现教程,使用 Python 进行演示。这里我们考虑一个简单的驾驶代理程序在一个格子世界中学习如何最优地选择动作以达到目标。

python 复制代码
import numpy as np

# 定义格子世界的大小
num_states = 6
num_actions = 4  # 上、下、左、右

# 初始化 Q 表
Q = np.zeros((num_states, num_actions))

# 定义参数
alpha = 0.1  # 学习率
gamma = 0.9  # 折扣因子
epsilon = 0.1  # 探索概率

# 定义转移矩阵 R
R = np.array([
    [-1, -1, -1, -1, 0, -1],
    [-1, -1, -1, 0, -1, 100],
    [-1, -1, -1, 0, -1, -1],
    [-1, 0, 0, -1, 0, -1],
    [0, -1, -1, 0, -1, 100],
    [-1, 0, -1, -1, 0, 100]
])

# Q-learning 算法
def q_learning(state, alpha, gamma, epsilon, num_episodes):
    for episode in range(num_episodes):
        current_state = state
        while current_state != 5:  # 目标状态为5
            # epsilon-greedy策略选择动作
            if np.random.rand() < epsilon:
                action = np.random.choice(range(num_actions))
            else:
                action = np.argmax(Q[current_state, :])

            # 执行动作,得到下一个状态
            next_state = action

            # 更新 Q 值
            Q[current_state, action] = Q[current_state, action] + alpha * \
                (R[current_state, action] + gamma * np.max(Q[next_state, :]) - Q[current_state, action])

            # 进入下一个状态
            current_state = next_state

# 运行 Q-learning 算法
q_learning(state=0, alpha=alpha, gamma=gamma, epsilon=epsilon, num_episodes=1000)

# 打印学得的 Q 表
print("Learned Q-table:")
print(Q)

在这个例子中,我们定义了一个简单的格子世界,其中代理程序在不同的状态之间移动,选择上、下、左、右四个动作。代理程序通过 Q-learning 学习在每个状态下选择每个动作的 Q 值。在每个训练 episode 中,代理程序根据 epsilon-greedy 策略选择动作,执行动作后更新 Q 值

请注意,这只是一个简化的 Q-learning 示例,实际应用中可能涉及到更复杂的环境和状态。调整参数,如学习率alpha)、折扣因子gamma)、探索概率epsilon),是实现良好性能的关键。

相关推荐
学习路上_write13 分钟前
神经网络初次学习收获
人工智能·python
zstar-_14 分钟前
DeepSeek-OCR可能成为开启新时代的钥匙
人工智能·ocr
墨利昂25 分钟前
自然语言处理NLP的数据预处理:从原始文本到模型输入(MindSpore版)
人工智能·自然语言处理
wb0430720132 分钟前
如何开发一个 IDEA 插件通过 Ollama 调用大模型为方法生成仙侠风格的注释
人工智能·语言模型·kotlin·intellij-idea
apocalypsx33 分钟前
深度学习-卷积神经网络基础
人工智能·深度学习·cnn
Aevget43 分钟前
界面控件DevExpress WPF v25.2新功能预览 - 聚焦AI功能提升
人工智能·wpf·界面控件·devexpress·ui开发·.net 10
F_D_Z1 小时前
扩散模型对齐:DMPO 让模型更懂人类偏好
人工智能·扩散模型·kl散度·双阶段训练·散度最小化偏好优化
ezl1fe1 小时前
第一篇:把任意 HTTP API 一键变成 Agent 工具
人工智能·后端·算法
Larry_Yanan1 小时前
QML学习笔记(四十五)QML与C++交互:信号槽的双向实现
c++·笔记·qt·学习·ui·交互
算家计算1 小时前
OpenAI推出首款浏览器,能否撼动全球超30亿用户的Chrome?
人工智能·openai·资讯