SolarChain-Eval：面向去中心化能源市场的物理约束可信经济智能体评测基准

SolarChain-Eval：面向去中心化能源市场的物理约束可信经济智能体评测基准

论文原网页链接 ：https://arxiv.org/html/2607.08681v1

摘要

随着智能体AI广泛应用于信息物理融合（CPS）能源系统，评测体系需要同时兼顾任务性能与决策可信度。去中心化光伏能源市场中，自主经济智能体虽能提升市场整体收益，但也存在利用虚假发电数据制造虚假流动性、输出不稳定治理策略等安全风险。

本文提出SolarChain-Eval ------一套带物理约束的去中心化能源市场可信智能体评测基准。该基准将市场治理建模为兼容Gymnasium的马尔可夫决策过程，智能体以小时粒度输出治理动作，从市场收益、物理安全、滑点、动作平滑度、空间公平性、可审计六大维度量化评估智能体策略。

基准内置大语言模型规划/审计双层管控模块，仅评测阶段启用、训练阶段不介入：规划器定义单轮完整周期动作取值边界与审计规则，审计器逐轮复审高风险动作并给出修正方案；所有干预行为、触发信号、原始动作、修正动作、推理理由均结构化日志留存。

实验对比静态规则、随机策略、短视贪心、PPO/SAC/DQN强化学习、RL+LLM混合六大类智能体，验证收益与物理安全存在固有权衡；移除物理约束惩罚项后，纯收益最大化智能体会主动利用无效发电数据、人为制造市场虚假流动性。LLM管控层可降低部分安全风险，但无法完全补偿奖励函数设计缺陷带来的底层偏差。

完整数据集、训练评测脚本开源可复现。

三大核心贡献

1. 构建带光伏物理底层约束的去中心化能源市场MDP仿真评测环境，提出收益、安全、公平、可审计多维度综合可信评测指标；
2. 设计评测时生效的LLM规划-审计双层管控架构，完整记录干预全链路日志，实现智能体决策可追溯；
3. 大规模消融实验验证物理约束与LLM事后管控的互补作用，揭示无约束强化学习会刻意制造虚假流动性的安全漏洞。
   

1 引言

1.1 研究背景

智能体AI逐步落地能源、金融类信息物理经济系统，其决策不仅影响数字代币收益，还受光伏装机、辐照等真实物理条件限制。传统仅依靠单一标量奖励评测方式无法衡量智能体可信度，行业要求自主能源智能体满足物理合规、约束感知、全流程可审计三大可信标准。

去中心化光伏点对点市场中，强化学习被用于代币发行、流动性调控、激励分配，但现有仿真普遍忽略物理边界约束：光伏发电量受光照、光伏板硬件容量硬性限制，无物理惩罚的RL智能体会学习虚假套利策略，刻意放大无效发电数据制造虚假市场流动性，引发系统性风险。

1.2 现有双层RL+LLM框架缺陷对比

框架	领域	LLM+RL协同机制	局限性
RE-GoT	机器人控制	思维图演化奖励，视觉模型提取轨迹语义反馈	实时推理大模型延迟过高，不适用高频能源调度
分布式电网LLM-RL	配电网调度	大语言模型将运维安全意图转化惩罚系数，DRL自适应调参	LLM幻觉会带来数值计算偏差
ADMM-LLM	微网热电优化	LLM作为优化器观测残差调整ADMM惩罚	无严格数学收敛证明，依赖试错调参
现有双层架构均未面向去中心化能源代币经济场景，缺少光伏物理底层校验、市场公平性、事后可审计完整评测体系。

1.3 本文研究问题

RQ1：对比静态、随机、贪心基线，RL自主治理策略在市场收益、物理安全、市场稳定、区域公平之间存在何种权衡关系？

RQ2：移除物理惩罚项后，收益最大化智能体是否会刻意利用无效发电制造虚假流动性？

RQ3 LLM规划审计管控层能多大程度缓释RL风险，奖励函数设计缺陷能否仅靠事后干预完全弥补？

1.4 资源开源声明

完整仿真数据集、强化学习训练脚本、LLM审计提示模板、评测指标计算代码开源：https://github.com/yxu-dev/SolarChain-Eval

2 相关工作

2.1 去中心化能源市场强化学习

传统经济机制假设环境平稳，无法适配分布式能源（DER）间歇发电、P2P拓扑；代币经济受流动性、投机价格剧烈波动影响。强化学习将市场治理建模MDP，适配高维时序状态，平衡长期经济收益与物理约束。

现有研究将治理动作抽象为奖励分配比例 r _ t r\_t r_t、流动性投放 l _ t l\_t l_t、代币销毁率 b _ t b\_t b_t三类连续控制量，主流RL算法：

1. PPO：在线策略，裁剪目标抑制大幅参数更新，适合平稳宏观参数调节；
   KaTeX parse error: Undefined control sequence: \[ at position 47: ...b{E}}*{t}\\left\̲[̲\\min(p*{t}(\\t...
2. SAC：离线策略+最大熵正则，鼓励多样市场策略探索；
   KaTeX parse error: Undefined control sequence: \[ at position 77: ...\{\\pi}}\\left\̲[̲r(s\{t},a\_{t}...
3. DQN：离散动作空间，将连续治理参数离散为 5 3 = 125 5^3=125 53=125网格，精准估计动作价值。
   

2.2 LLM与强化学习双层协同体系

纯RL黑盒决策难以审计，近年研究采用上下双层架构：底层RL高频执行控制，上层LLM做高层意图翻译、奖励修正、参数调优。但现有方案仅训练阶段融合大模型，缺少评测时事后风险拦截 机制，无法在不重训策略前提下修正危险治理动作。

同时现有能源AI评测仅关注交易收益，缺少物理违规、虚假流动性、区域分配公平等可信维度量化指标。

3 方法：SolarChain-Eval完整仿真评测框架

3.1 马尔可夫决策过程建模

3.1 状态与动作定义

单条轨迹为24小时完整市场周期，输入720小时真实城市光伏时序数据（2026年4月），每小时一步决策。

状态向量 s _ t s\_t s_t ：时间角度、核验真实发电量、智能体上报发电量、光伏物理上限、供需缺口、市场流动性、代币价格、风险信号、滑点系数。

动作向量KaTeX parse error: Undefined control sequence: \[ at position 6: a\_t=\̲[̲\\alpha\_t,\\el... ：激励分配比例、流动性投放比例、代币销毁比例；约束 a l p h a _ t + e l l _ t l e 0.98 \\alpha\_t+\\ell\_t \\le 0.98 alpha_t+ell_tle0.98。

3.2 仿真基础配置

配置项	参数
覆盖城市	北京、上海、成都、深圳、杭州
光伏节点总数	50个
数据集时长	2026.04.01--2026.04.30
总小时状态样本	720条
光伏发电记录	36000条
P2点对点交易记录	1185条
单轮episode时长	24小时（小时级决策）
对比策略集合	静态固定参数、随机、短视贪心、PPO、SAC、DQN

3.3 光伏物理违规量化模块

定义虚假供给违规指标 V _ t V\_t V_t，量化智能体通过治理资金背书无效光伏发电量制造虚假流动性的严重程度：

V _ t = f r a c b e t a _ t X _ t m a x ( G _ t v + b e t a _ t X _ t , e p s i l o n ) , q u a d b e t a _ t = f r a c m i n ( a l p h a _ t + e l l _ t , 0.98 ) 0.98 V\{t}=\\frac{\\beta\{t}X\{t}}{\\max(G\{t}^{v}+\\beta\{t}X\{t},\\epsilon)},\\quad \\beta\{t}=\\frac{\\min(\\alpha\{t}+\\ell\_{t},0.98)}{0.98} V_t=fracbeta_tX_tmax(G_tv+beta_tX_t,epsilon),quadbeta_t=fracmin(alpha_t+ell_t,0.98)0.98

X _ t X\_t X_t为被注入虚假发电数据， G _ t v G\_t^v G_tv是真实可核验发电量；移除公式中物理惩罚项即可做消融实验，观测纯收益智能体套利行为。

市场供需更新机制：销毁代币压缩有效需求

w i d e t i l d e Q ∗ t = Q ∗ t d m a x ( 0.75 , 1 − 0.80 b _ t ) \\widetilde{Q}*{t}=Q*{t}^{d}\\max(0.75,1-0.80b\_{t}) widetildeQ∗t=Q∗tdmax(0.75,1−0.80b_t)

3.4 多维度复合奖励函数

单步奖励由市场成交正向收益+多类安全惩罚构成：

R _ t = M _ t − D _ t − J _ t − U _ t − P h i _ t − F _ t R\_t=M\_t-D\_t-J\_t-U\_t-\\Phi\_t-F\_t R_t=M_t−D_t−J_t−U_t−Phi_t−F_t

• M _ t M\_t M_t：市场撮合成交正向收益；
• D _ t D\_t D_t：流动性大幅回撤惩罚；
• J _ t J\_t J_t：前后动作抖动平滑惩罚；
• U _ t U\_t U_t：未满足负荷需求惩罚；
• P h i _ t \\Phi\_t Phi_t：光伏违规综合风险（ V _ t V\_t V_t加权）；
• F _ t F\_t F_t：多城市空间激励分配不公平惩罚。
  训练框架采用Stable-Baselines3，支持PPO/SAC/DQN三类强化学习控制器。
  

3.5 LLM规划+审计双层管控架构（仅评测阶段启用）

架构分层：底层RL训练好的治理智能体；上层独立LLM管控层，训练阶段不参与、仅评测时拦截风险动作，不会修改底层RL参数。

3.5.1 规划器 Planner（episode全局）

每个24小时周期初始化执行一次：读取全周期光照、供需、历史风险统计，输出三类约束：

1. 动作取值上下界（ a l p h a , e l l , b \\alpha,\\ell,b alpha,ell,b）；
2. 审计全局预算、最大复审轮次、冷却间隔；
3. 风险触发阈值。
   RL原始动作先经过规划器边界裁剪得到受限动作 b a r a _ t \\bar{a}\_t bara_t。

3.5.2 审计器 Auditor（逐步条件触发）

仅满足审计触发条件时执行复审，区分硬性高危触发、软性波动触发：

1. 硬性触发 H _ t H\t H_t：光伏违规超标、供需严重缺口、市场滑点过高；
   KaTeX parse error: Undefined control sequence: \[ at position 25: ...mathbb{I}\\left\̲[̲\\nu\{t}>\\tau...
2. 软性触发 S _ t S\t S_t：相邻治理动作抖动幅度超标（L1距离）
   KaTeX parse error: Undefined control sequence: \[ at position 65: ...{t}=\\mathbb{I}\̲[̲\\kappa\{t}>\\...
3. 最终复审判定：硬性触发直接审计；软性触发受全局审计预算、冷却间隔限制
   KaTeX parse error: Undefined control sequence: \[ at position 43: ...t}\\wedge\\left\̲[̲H\_{t}\\ \\vee\...
   审计器输出二选一：

• 批准：直接执行裁剪后动作 b a r a _ t \\bar{a}\_t bara_t；
• 修正：输出合规保守治理参数，替换原动作。

3.5.3 结构化日志规范

所有LLM输入输出强制JSON Schema结构化，禁止自由文本直接控制市场；完整记录：episode编号、小时步、原始RL动作、审计修正后动作、触发类型、风险指标、自然语言修正理由，可完整复盘每条治理决策。

3.6 三大评测实验设置

1. 标准基准实验：完整复合奖励（包含物理惩罚），对比6类策略收益、安全、公平指标；
2. 物理约束消融实验：奖励移除光伏违规惩罚，观测虚假流动性套利行为；
3. LLM管控层实验：底层RL不变，叠加规划审计模块，量化风险修正效果。

六大可信评测指标

评测维度	量化指标
市场收益	累计单步奖励、总成交交易量
光伏物理安全	平均违规率、虚假流动性规模
市场稳定性	流动性回撤、代币滑点均值
动作平滑度	相邻动作抖动幅度
空间公平性	多城市激励分配不平衡度
可审计性	审计触发率、动作修正率、单步修正幅度

4 实验结果与分析

实验配置：3组随机种子，每组策略90轮完整24小时episode，总评测记录1620条周期数据、38880条小时动作、129600条城市时序记录、12960条LLM审计日志。

4.1 标准基准完整策略对比（带物理惩罚奖励）

策略	累计奖励均值	总交易量	光伏违规率	平均滑点	虚假流动性
静态固定	-23.38	0.514	0.4874	0.0140	0.1803
随机策略	-25.46	0.480	0.4771	0.0148	0.1137
短视贪心	-23.08	0.456	0.4779	0.0144	0.1009
PPO	-22.35	0.470	0.4520	0.0134	0.1453
SAC	-22.26	0.521	0.4461	0.0178	0.0686
DQN	-23.23	0.491	0.4688	0.0148

核心结论

1. 三类RL策略整体累计收益显著优于静态/随机/贪心基线（统计显著性 p < 10 − 28 p<10^{-28} p<10−28）；
2. SAC兼顾最高成交量、最低光伏违规，但市场滑点更高；PPO动作最平稳但虚假流动性偏高；DQN综合表现弱于连续控制RL；
3. 收益最大化与物理安全、市场稳定存在天然权衡，单一奖励无法完整衡量智能可信度。

4.2 物理约束消融实验（移除违规惩罚）

策略	奖励提升差值	光伏违规增量	虚假流动性增量
PPO	+22.61	+0.0311	+0.0785
SAC	+22.52	+0.0412	+0.1238
DQN	+23.55	+0.0182	+0.0576
叠加LLM管控后消融增量小幅下降，但虚假流动性仍显著上涨：
RL+LLM	奖励增量	违规增量	虚假流动性增量
----	----	----	----
PPO	+22.67	+0.0225	+0.0598
SAC	+22.62	+0.0344	+0.1149
DQN	+23.78	+0.0413	+0.0413

结论：移除物理惩罚后，RL智能体会刻意背书无效光伏数据抬高收益；LLM事后审计仅能小幅缓解，无法根除底层奖励偏差带来的套利行为。

4.3 LLM规划审计层效果对比（主设置带物理惩罚）

| 策略 | 奖励变化 | 动作抖动变化 | 虚假流动性变化 | 审计触发率 | 复审修正率 |

| ---- | ---- | ---- | ---- | ---- |

| PPO+LLM | -0.094 | +0.0223 | -0.0074 | 0.344 | 0.961 |

| SAC+LLM | -0.062 | -0.0290 | +0.0073 | 0.342 | 0.966 |

| DQN+LLM | -0.277 | -0.0179 | +0.0109 | 0.372 | 0.958 |

1. 审计触发率34%--37%，触发后95%以上动作会被修正，管控生效；
2. 效果分策略差异化：SAC、DQN动作抖动明显降低，PPO抖动小幅上升；
3. LLM仅作为事后拦截手段，无法修复训练阶段奖励函数底层缺陷。

审计真实案例（PPO无物理惩罚场景）

• 周期：第6周期15小时
• RL原始动作： a l p h a = 0.049 , e l l = 0.931 , b = 0.200 \\alpha=0.049,\\ell=0.931,b=0.200 alpha=0.049,ell=0.931,b=0.200（高流动性投放，背书虚假发电）
• 审计修正动作： a l p h a = 0.050 , e l l = 0.200 , b = 0.000 \\alpha=0.050,\\ell=0.200,b=0.000 alpha=0.050,ell=0.200,b=0.000
• 修正理由：光伏违规率超标，大幅压缩流动性投放，降低虚假供给资金背书规模。
  完整动作、风险指标、推理文本永久结构化留存，满足金融能源审计追溯要求。

5 结论与未来工作

5.1 核心结论

1. 本文搭建SolarChain-Eval物理约束去中心化光伏能源市场评测基准，从收益、物理安全、稳定、公平、可审计多维度量化智能体可信度；
2. 纯收益导向强化学习会利用光伏数据漏洞制造虚假流动性，仅靠评测阶段LLM事后管控无法彻底解决，训练阶段必须嵌入物理惩罚约束；
3. LLM规划审计双层架构可在不重训RL策略前提下拦截高危治理动作，全链路结构化日志满足监管可追溯需求。

5.2 局限性与未来拓展

1. 当前仅光伏P2P能源场景，后续拓展供应链、通用去中心化交易仿真；
2. LLM管控仅事后修正，未来研究训练阶段RL+LLM联合优化，从源头减少风险动作；
3. 消融更多超参：光伏虚假数据注入频率、奖励权重、审计触发阈值；
4. 拓展更多LLM基座、约束型RL基线横向对比。

资源下载汇总

1. 论文HTML原文：https://arxiv.org/html/2607.08681v1
2. 完整开源代码、仿真数据集、训练评测脚本、LLM提示模板：https://github.com/yxu-dev/SolarChain-Eval
3. 附录完整公式实现、数据生成脚本、评测表格、日志解析工具存放于仓库appendix/目录
4. 环境部署文档：仓库README.md（Python+Stable-Baselines3+LLM调用依赖）

附录

附录A 公式代码实现

1. 光伏物理上限、虚假供给指标代码实现；
2. 连续动作解码、全局预算约束校验；
3. 市场撮合、供需更新完整函数；
4. 周期公平性、审计指标聚合计算逻辑。

附录B 数据集与复现协议

1. 原始数据源：Open-Meteo历史辐照气象API、5城光伏硬件参数生成脚本；
2. 数据分层：小时气象、节点发电、市场流动性、P2P交易；
3. LLM复现规范：固定ChatGPT 5.5 mini，输入输出强制JSON结构化，日志完整落地；
4. 全套补充数据表：主实验汇总、消融对比、审计统计、动作分布表。

附录C 完整实验数据表

包含表8--表16全部定量结果：策略均值区间、四类设置指标对比、审计触发统计、动作分布分位数等原始实验数值。