强化学习 - Q-learning(Q学习)

什么是机器学习

强化学习中的 Q-learning (Q学习)是一种用于学习在未知环境中做出决策的方法。它是基于值函数的方法,通过学习一个值函数 Q,该函数表示在给定状态和动作下,期望的累积奖励。

以下是一个简单的 Q-learning 的实现教程,使用 Python 进行演示。这里我们考虑一个简单的驾驶代理程序在一个格子世界中学习如何最优地选择动作以达到目标。

python 复制代码
import numpy as np

# 定义格子世界的大小
num_states = 6
num_actions = 4  # 上、下、左、右

# 初始化 Q 表
Q = np.zeros((num_states, num_actions))

# 定义参数
alpha = 0.1  # 学习率
gamma = 0.9  # 折扣因子
epsilon = 0.1  # 探索概率

# 定义转移矩阵 R
R = np.array([
    [-1, -1, -1, -1, 0, -1],
    [-1, -1, -1, 0, -1, 100],
    [-1, -1, -1, 0, -1, -1],
    [-1, 0, 0, -1, 0, -1],
    [0, -1, -1, 0, -1, 100],
    [-1, 0, -1, -1, 0, 100]
])

# Q-learning 算法
def q_learning(state, alpha, gamma, epsilon, num_episodes):
    for episode in range(num_episodes):
        current_state = state
        while current_state != 5:  # 目标状态为5
            # epsilon-greedy策略选择动作
            if np.random.rand() < epsilon:
                action = np.random.choice(range(num_actions))
            else:
                action = np.argmax(Q[current_state, :])

            # 执行动作,得到下一个状态
            next_state = action

            # 更新 Q 值
            Q[current_state, action] = Q[current_state, action] + alpha * \
                (R[current_state, action] + gamma * np.max(Q[next_state, :]) - Q[current_state, action])

            # 进入下一个状态
            current_state = next_state

# 运行 Q-learning 算法
q_learning(state=0, alpha=alpha, gamma=gamma, epsilon=epsilon, num_episodes=1000)

# 打印学得的 Q 表
print("Learned Q-table:")
print(Q)

在这个例子中,我们定义了一个简单的格子世界,其中代理程序在不同的状态之间移动,选择上、下、左、右四个动作。代理程序通过 Q-learning 学习在每个状态下选择每个动作的 Q 值。在每个训练 episode 中,代理程序根据 epsilon-greedy 策略选择动作,执行动作后更新 Q 值

请注意,这只是一个简化的 Q-learning 示例,实际应用中可能涉及到更复杂的环境和状态。调整参数,如学习率alpha)、折扣因子gamma)、探索概率epsilon),是实现良好性能的关键。

相关推荐
智源研究院官方账号22 分钟前
众智FlagOS 1.5发布:统一开源大模型系统软件栈,更全面、AI赋能更高效
人工智能·开源
小小测试开发31 分钟前
给贾维斯加“手势控制”:从原理到落地,打造多模态交互的本地智能助
人工智能·python·交互
早睡冠军候选人40 分钟前
K8s学习----节点(Node)
运维·学习·云原生·容器·kubernetes
强盛小灵通专卖员1 小时前
airsim多无人机+无人车联合仿真辅导
人工智能·无人机·中文核心期刊·小论文·延毕·淘宝店铺-闪电科创
l12345sy1 小时前
Day31_【 NLP _1.文本预处理 _(2)文本张量表示方法】
人工智能·自然语言处理·word2vec·word embedding·cbow·skipgram
云卓SKYDROID1 小时前
无人机信号模块:技术要点与断联应对指南
人工智能·无人机·高科技·云卓科技
真智AI2 小时前
[特殊字符] AI时代依然不可或缺:精通后端开发的10个GitHub宝藏仓库
人工智能·github·系统设计·后端开发·github资源·编码实践
deepdata_cn2 小时前
大语言模型(LLM)的基本概念
人工智能·语言模型·自然语言处理
草莓熊Lotso2 小时前
从 “Hello AI” 到企业级应用:Spring AI 如何重塑 Java 生态的 AI 开发
java·人工智能·经验分享·后端·spring
LETTER•2 小时前
Llama 模型架构解析:从 Pre-RMSNorm 到 GQA 的技术演进
深度学习·语言模型·自然语言处理·llama