LORA时间

框架目标仍是:事件要素抽取 + 跨句时序关系 + 因果推理 + 全局一致时间线

1. 总体目标与思路

目标:构建篇章级事件理解系统,同时完成

  • 事件触发词/要素抽取
  • 跨句时序关系抽取(TDDiscourse)
  • 因果关系推断(LLM 弱监督 + 校准)
  • 全局一致的时间线/关系图(结构约束)

核心策略

  • LoRA 微调让大模型低成本适配具体任务
  • LoRA 校准让 LLM 产出的因果/要素银标更可靠
  • 结构化推理/优化保证全局一致性(避免 LLM 不一致)

2. 数据层与标注层

2.1 时序监督(真实标签)

  • TDDiscourse:跨句事件对 + {a,b,i,ii,s}(主监督,主评估集)
  • TimeBank-Dense:全文 TimeML(补充事件属性、DCT、TLINK,做辅助特征/预训练/一致性约束)

2.2 因果与要素监督(银标 + 校准)

  • 用基础 LLM 生成银标:

    • 事件要素银标:Agent/Patient/Time/Loc/...(结构化 JSON)
    • 因果银标:CAUSE/ENABLE/PREVENT/NONE(或二分类 CAUSE/NONE)
  • 抽样少量样本人工校验,构建:

    • Causal-Calib(几百条即可)
    • Arg-Calib(几百条即可)

校准集用于 LoRA 校准,不要求规模大,但要覆盖现象(跨句、隐含因果、否定/假设等)。


3. 模型层:LoRA 驱动的多模块体系

整体结构(文本→事件→关系→时间线):

  1. 事件识别与要素抽取(LoRA-IE)
  2. 跨句时序分类(LoRA-Temporal)
  3. 因果推断(LoRA-Causal,先校准再扩展)
  4. 全局一致推理与时间线构建(结构层)

下面逐模块细化。


3.1 模块一:事件识别与要素抽取(LoRA-IE)

输入

  • TimeBank-Dense 文本(或你自己的文本)
  • 标记事件候选 span(可来自 TimeML <EVENT> 或触发词检测器)

LoRA 用法

  • LoRA-IE:在底座 LLM 上做"结构化抽取"微调

    • 任务:输出固定 schema 的 JSON(触发词 + 要素槽位)
    • 训练数据:LLM 生成银标 + Arg-Calib 校准

输出

  • 事件触发词 + 要素槽位(结构化)
  • 事件属性特征(tense/aspect/polarity/class 等,来自 TimeML 或模型预测)

可选:将 LoRA-IE 产出的要素作为"实体特征向量",再给下游关系模型用。


3.2 模块二:语义增强表示层(LoRA-Feature / 蒸馏)

目的:把 LLM 的高阶语义压缩成稳定特征,用于关系预测。

  • LoRA-Feature(可选):微调 LLM 输出稳定的离散标签/分数,例如:

    • 是否假设/否定/观点/报告
    • 事件持续性强弱(duration prior)
    • 因果倾向评分
    • discourse phenomena 预测

将这些转换为 embedding 或 one-hot/数值特征拼接到事件表示中。


3.3 模块三:跨句时序关系分类(LoRA-Temporal,主任务)

数据

  • TDDiscourse:跨句事件对 + {a,b,i,ii,s}

输入格式(关键点)

  • 上下文窗口(例如事件所在句 ±2 句)

  • 用特殊 token 标注事件对:

    • <e1> ... </e1>, <e2> ... </e2>

模型

  • 底座 LLM + LoRA-Temporal(参数高效微调)
  • 输出:5 类时序标签概率

训练损失

  • L_temporal = CrossEntropy

这部分是你的"硬指标主线",写论文最稳。


3.4 模块四:因果关系推断(LoRA-Causal:校准 → 扩展)

Stage A:LoRA 校准(重点)

  • 用 **Causal-Calib(人工校验小集)**对 LLM 做 LoRA 微调
  • 目的:纠正 LLM 的因果幻觉与过度解释

Stage B:扩展银标与联合训练

  • 用校准后的 LLM 批量生成因果银标(更可靠)
  • 在同一底座模型上训练 LoRA-Causal(或共享部分 LoRA)

输出

  • 因果标签 +(可选)简短证据句/解释

联合损失(与时序任务联合)

  • L_total = L_temporal + λ L_causal + γ L_consistency

其中一致性约束:

  • 若 Causal(A,B)=1,则鼓励 Temporal(A,B)=BEFORE
  • 用 margin/hinge 做软约束(允许例外)

3.5 模块五:全局一致推理与时间线构建(结构层)

目标:避免 pairwise 冲突,生成全局一致的时间结构。

两条路线:

路线 5A:时间线端点预测(Timeline Head)

  • 给每个事件预测 start & duration
  • 用类似 timeline loss 的约束把 TimeML 关系映射为端点约束
  • 输入表示来自 LoRA-Temporal/LoRA-Feature 的事件表示

路线 5B:图优化一致性(Graph Consistency)

  • 节点=事件,边=预测关系分数

  • 做:

    • 无环约束
    • 最小修改原则
    • 或 ILP/最短路径/排序优化

输出:

  • 全局一致时间线
  • 全局因果图(叠加在时间线上)

4. 训练与推理流程(端到端流水线)

4.1 训练阶段(建议顺序)

  1. LoRA-Temporal(用 TDDiscourse 真标注先跑稳)
  2. 构建 Causal-Calib / Arg-Calib 少量人工校验集
  3. LoRA-Causal 校准 → 批量生成因果银标
  4. LoRA-IE 校准 → 批量生成要素银标
  5. 多任务联合训练(Temporal + Causal + Consistency)
  6. 最后加入 全局一致结构层(时间线/图优化)

4.2 推理阶段

文本 → LoRA-IE 事件/要素 → LoRA-Temporal 时序关系 → LoRA-Causal 因果关系 → 结构层全局一致 → 输出时间线/关系图


5. 实验与评估设计

5.1 主任务:TDDiscourse 时序分类

  • 指标:F1、Temporal Awareness(如可复现)

  • 对比:

    • 不用 LoRA(冻结模型 + 线性层)
    • LoRA-Temporal
    • LoRA-Temporal + LLM语义特征
    • 联合因果 + 一致性约束
      • 全局一致结构层

5.2 因果质量评估

  • 在人工校验集上算:Precision/Recall/F1
  • 校准前 vs 校准后 LLM 的提升(这是亮点)

5.3 一致性评估

  • 冲突率(cycle / 违反包含关系)
  • 时间线可满足率(s,d 端点约束满足比例)

5.4 现象分析(TDDiscourse phenomena)

  • 哪类 phenomena 最难
  • LoRA + 语义增强对哪些 phenomena 提升最大

6. 论文可写的贡献点(LoRA版)

  1. LoRA-Temporal:参数高效跨句时序适配(主结果)
  2. LoRA 校准式银标生成:显著提升因果/要素银标可靠性,并带来下游提升
  3. 因果-时序一致性约束:将认知约束注入多任务学习
  4. 全局一致时间线构建:从局部关系到篇章级一致结构
  5. phenomena 驱动分析:揭示跨句推断困难来源与模型改善机制

相关推荐
码农葫芦侠1 小时前
Vercel Labs Skills:AI 编程安装「技能Skills」的工具
人工智能·ai·ai编程
宝贝儿好1 小时前
【强化学习】第十章:连续动作空间强化学习:随机高斯策略、DPG算法
人工智能·python·深度学习·算法·机器人
未来之窗软件服务2 小时前
AI人工智能(二十三)错误示范ASR 语音识别C#—东方仙盟练气期
人工智能·c#·语音识别·仙盟创梦ide·东方仙盟
金智维科技官方2 小时前
智能体,重构企业自动化未来
人工智能·自动化·agent·智能体·数字员工
桂花饼2 小时前
谷歌正式发布 Gemini 3.1 Pro:核心智能升级与国内极速接入指南
人工智能·qwen3-next·claude-sonnet·sora2pro·gemini-3.1pro·grok-420-fast·openclaw 配置教程
Mixtral2 小时前
2026年3款AI会议记录工具测评:告别会后整理
人工智能
Evand J2 小时前
【课题推荐】深度学习驱动的交通流量预测系统(基于LSTM的交通流量预测系统),MATLAB实现
人工智能·深度学习·matlab·课题简介
甲枫叶2 小时前
【claude热点资讯】Claude Code 更新:手机遥控电脑开发,Remote Control 功能上线
java·人工智能·智能手机·产品经理·ai编程
光头颜2 小时前
任务分解与子 Agent 调度:Controller/Worker 模式的最小可运行实现(SQL + 文档 RAG)
人工智能·智能体