#论文阅读#
大语言模型计划生成的新范式：基于过程挖掘的技能学习
论文信息
Skill Learning Using Process Mining for Large Language Model Plan Generation
Andrei Cosmin Redis, Mohammadreza Fani Sani, Bahram Zarrin, Andrea Burattin
Cite as: arXiv:2410.12870 cs.CL (or arXiv:2410.12870v1 cs.CL for this version)
研究背景：当LLMs遇到复杂任务的"绊脚石"
想象你让AI规划一场跨国会议，传统大语言模型（LLMs）可能会生成一个线性步骤列表：先订会议室、再发邮件、最后准备资料。但现实中，这些步骤可能可以并行进行（比如订会议室的同时预约咖啡），而LLMs却因缺乏"结构化控制流模型"，只能按顺序执行，效率低下且难以复用类似场景的经验。
这就像用简单的菜谱列表做满汉全席：每个步骤孤立执行，无法发现"预处理食材"和"调制酱汁"可以同时进行，也无法将"宴会流程"作为通用技能复用到其他活动中。现有文本规划器的核心痛点在于：
- 线性思维限制效率：只能生成扁平动作序列，无法识别并行任务（如同时预订会议室和发送邀请）。
- 缺乏结构导致"失忆"：相似任务需从头规划，无法复用历史技能（如重复生成"安排会议"的步骤）。
- 黑箱决策难解释：用户难以理解为什么AI选择某一步骤，调试和优化困难。
创新点：给LLMs装上"流程显微镜"
论文的核心突破是将**过程挖掘（Process Mining）**技术引入LLMs，让AI从历史生成的动作序列中提取"技能模型"，就像从大量烹饪记录中总结出标准化菜谱流程：
- 技能发现：用过程挖掘算法（如归纳矿工）从LLM生成的动作序列中提炼结构化控制流模型，例如将"安排会议"的不同执行痕迹整合成包含并行步骤（预订房间+准备资料）的流程模型。
- 技能存储与检索：将模型存入"技能库"，通过"一致性检查"（Conformance Checking）匹配当前任务需求，确保检索的技能在结构上与目标任务对齐，而非仅靠文本语义相似性。
- 并行执行与可解释性：结构化模型允许AI识别可并行的任务分支，缩短执行时间，同时让用户直观看到步骤间的逻辑关系。
研究方法和思路：三步搭建智能规划系统
1. 从"流水账"到"流程图"：过程发现提取技能
- 输入：LLM生成的动作序列（如"预订会议室→发送邮件→准备资料"）。
- 处理：使用归纳矿工算法分析序列，识别动作间的顺序、并行关系，生成BPMN或Petri网格式的流程模型。例如，发现"预订会议室"和"准备资料"可并行执行，合并为"会议准备"技能。
- 输出：结构化技能模型，存入技能库。
2. 技能库：让LLMs"记住"历史经验
- 存储形式：每个技能是一个包含控制流结构的模型，记录动作间的依赖关系和并行可能。
- 复用机制：当新任务与历史任务相似时，LLM无需从头生成计划，直接从技能库检索匹配模型，像调用函数一样复用经验。
3. 精准匹配：一致性检查提升检索质量
- 单阶段方法：仅用一致性检查，通过"对齐适应度"指标衡量生成计划与技能模型的结构匹配度，避免因文本表述差异导致的误匹配（如"安排会议"和"组织会谈"可能对应同一模型）。
- 两阶段方法：先通过文本语义嵌入（如ada-002）快速过滤候选技能，再用一致性检查重新排序，平衡效率与准确性。
实验验证：结构化模型真的有用吗？
- 数据集：使用ProcessTBench（含LLM生成的532个任务轨迹）和TaskBench（533个多语言重述任务）。
- 关键发现 ：
- 过程挖掘能有效从LLM轨迹中提取高保真模型，平均"重放适应度"0.96，"对齐适应度"0.94，表明模型与真实流程高度吻合。
- 在技能检索中，两阶段方法（ada-002+一致性检查）的F1分数达0.90，MRR达0.93，接近纯语义模型（ada-002），但在规划器准确率≥0.7时表现更优，且更具可解释性。
主要贡献：让LLMs从"新手"变"专家"
- 填补文本规划与代码规划的鸿沟：赋予文本型LLMs类似代码规划器的结构化控制流能力，无需依赖代码生成即可实现技能复用和并行执行。
- 提升效率与透明度 ：
- 并行执行可缩短任务时间，如TaskBench中查询响应速度提升1.43倍。
- 结构化模型让用户清晰看到AI决策逻辑，便于调试和优化自动化流程。
- 开创过程挖掘与LLMs的交叉应用：首次将过程挖掘技术用于LLM的技能学习，为自动化规划提供了可解释、可复用的新框架。
总结：未来已来，但仍需探索
论文通过实验证明，过程挖掘与LLMs的结合能有效提升复杂任务的规划效率和可解释性，为企业自动化、智能代理等场景提供了新路径。然而，当前研究仍基于合成数据集，未来需在真实场景中验证，同时探索更复杂的规划器设计和开放集技能检索。
一句话总结：给LLMs一套"流程建模工具"，让它学会从历史经验中提炼可复用的结构化技能，像人类一样高效规划复杂任务。