论文笔记 <交通灯> IntelliLight:一种用于智能交通灯控制的强化学习方法

今天读的是IntelliLight:一种用于智能交通灯控制的强化学习方法,其核心创新点在于解决了传统方法在​​真实动态交通环境​ ​下的不足,并通过​​模型结构优化​ ​和​​训练机制改进​​提升性能。

讲解一下我认为的创新点:

传统方法的缺陷​​:固定时序控制(Fixed-time)和基于规则的方法(如SOTL)无法适应动态交通流;已有强化学习方法大多在仿真环境中测试,未考虑真实交通的复杂性和样本不平衡问题。

  • 关键挑战​
    • ​环境表征​:如何有效融合交通状态(车流位置、等待时间等)和信号灯相位(Phase)。
    • ​决策偏差​:相同车流条件下,不同相位需不同决策,但传统DQN将相位作为普通特征,导致决策混淆。
    • ​样本不平衡​:真实交通中不同相位-动作组合出现频率差异大,影响训练稳定性。

为了解决相位决策混淆问题,他这里有的一个创新方法:​

​(1) Phase Gate(相位门控):
主要就是面对不同的 相位(如东西向绿灯 P=0 或南北向绿灯 P=1)激活不同的全连接层分支。

他的输入特征为:融合图像特征(CNN提取车流位置) + 传统特征(排队长度 L、等待时间 W、车辆数 V、相位 P)。

效果就是相同车流下,不同相位能够触发独立决策逻辑,避免错误动作(如该保持相位时误切换)。

还有就是面对真实交通中样本不平衡问题(如某些相位-动作组合样本稀少)毕竟强化学习只是在仿真里面训练,面对真实环境还有差距。

他提出的创新方法为:

(2)Memory Palace(记忆宫殿)​:

他为为每个相位-动作组合(如 (P=0, a=保持)(P=1, a=切换))建立独立记忆池。这样就能够保证训练时从各记忆池​​均匀采样​​,确保低频组合不被忽略。

这样能提升模型对罕见交通场景的适应能力,减少决策偏差。

面对仿真和真实环境的差距,他使用真实数据来训练。

(3) 真实数据驱动的训练与评估

使用济南市 ​​1,704个摄像头​​ 的31天真实数据(4.05亿条车辆记录),覆盖动态交通流(高峰/非高峰、工作日/周末)。

并且他的奖励函数可以参考下:

奖励 = w1*总排队长度 + w2*总等待时间 + w3*信号切换惩罚 + w4*总延误 + w5*通过车辆数 + w6*总通行时间

还有就是他的状态表示:

使用图像特征和传统特征:

图像特征:车流位置矩阵 M → CNN提取空间信息。

传统特征:各车道排队长度 L_i、车辆数 V_i、平均等待时间 W_i、当前相位 P_c、下一相位 P_n

​动作空间为 ​二值决策(a=0 保持当前相位,a=1 切换相位)

​训练框架​ ​:分为​​离线阶段​ ​:用固定时序策略收集初始样本。和​​在线阶段​ ​:ε-贪婪策略交互更新(ε=0.05),定期从记忆宫殿采样更新DQN。

总结:

我认为以后比赛最值得尝试的就是他的相位门控机制,能够解决状态-动作混淆问题。

还有记忆宫殿,分桶存储样本解决不平衡问题,能够提升鲁棒性。

相关推荐
czijin3 小时前
【论文阅读】Security of Language Models for Code: A Systematic Literature Review
论文阅读·人工智能·安全·语言模型·软件工程
安逸sgr6 小时前
Zotero白嫖腾讯云翻译
论文阅读·云计算·腾讯云
飞机火车巴雷特10 小时前
【论文阅读】LightThinker: Thinking Step-by-Step Compression (EMNLP 2025)
论文阅读·人工智能·大模型·cot
网安INF10 小时前
【论文阅读】-《THE JPEG STILL PICTURE COMPRESSION STANDARD》
论文阅读·计算机视觉
张较瘦_10 小时前
[论文阅读] 人工智能 + 软件工程 | ReCode:解决LLM代码修复“贵又慢”!细粒度检索+真实基准让修复准确率飙升
论文阅读·人工智能·软件工程
张较瘦_10 小时前
[论文阅读] 软件工程 | 告别“线程安全玄学”:基于JMM的Java类静态分析,CodeQL3分钟扫遍GitHub千仓错误
java·论文阅读·安全
源于花海16 小时前
Energy期刊论文学习——基于集成学习模型的多源域迁移学习方法用于小样本实车数据锂离子电池SOC估计
论文阅读·迁移学习·集成学习·电池管理
CV-杨帆1 天前
论文阅读:ACL 2022 Beyond Goldfish Memory∗: Long-Term Open-Domain Conversation
论文阅读
有点不太正常1 天前
《A Study of Probabilistic Password Models》(IEEE S&P 2014)——论文阅读
论文阅读·密码学·口令猜测·马尔可夫链
Arong-tina1 天前
【论文阅读—深度学习处理表格数据】ResNet-like & FT Transformer
论文阅读·深度学习·transformer