框架目标仍是:事件要素抽取 + 跨句时序关系 + 因果推理 + 全局一致时间线
1. 总体目标与思路
目标:构建篇章级事件理解系统,同时完成
- 事件触发词/要素抽取
- 跨句时序关系抽取(TDDiscourse)
- 因果关系推断(LLM 弱监督 + 校准)
- 全局一致的时间线/关系图(结构约束)
核心策略:
- 用 LoRA 微调让大模型低成本适配具体任务
- 用 LoRA 校准让 LLM 产出的因果/要素银标更可靠
- 用 结构化推理/优化保证全局一致性(避免 LLM 不一致)
2. 数据层与标注层
2.1 时序监督(真实标签)
- TDDiscourse:跨句事件对 + {a,b,i,ii,s}(主监督,主评估集)
- TimeBank-Dense:全文 TimeML(补充事件属性、DCT、TLINK,做辅助特征/预训练/一致性约束)
2.2 因果与要素监督(银标 + 校准)
-
用基础 LLM 生成银标:
- 事件要素银标:Agent/Patient/Time/Loc/...(结构化 JSON)
- 因果银标:CAUSE/ENABLE/PREVENT/NONE(或二分类 CAUSE/NONE)
-
抽样少量样本人工校验,构建:
- Causal-Calib(几百条即可)
- Arg-Calib(几百条即可)
校准集用于 LoRA 校准,不要求规模大,但要覆盖现象(跨句、隐含因果、否定/假设等)。
3. 模型层:LoRA 驱动的多模块体系
整体结构(文本→事件→关系→时间线):
- 事件识别与要素抽取(LoRA-IE)
- 跨句时序分类(LoRA-Temporal)
- 因果推断(LoRA-Causal,先校准再扩展)
- 全局一致推理与时间线构建(结构层)
下面逐模块细化。
3.1 模块一:事件识别与要素抽取(LoRA-IE)
输入
- TimeBank-Dense 文本(或你自己的文本)
- 标记事件候选 span(可来自 TimeML
<EVENT>或触发词检测器)
LoRA 用法
-
LoRA-IE:在底座 LLM 上做"结构化抽取"微调
- 任务:输出固定 schema 的 JSON(触发词 + 要素槽位)
- 训练数据:LLM 生成银标 + Arg-Calib 校准
输出
- 事件触发词 + 要素槽位(结构化)
- 事件属性特征(tense/aspect/polarity/class 等,来自 TimeML 或模型预测)
可选:将 LoRA-IE 产出的要素作为"实体特征向量",再给下游关系模型用。
3.2 模块二:语义增强表示层(LoRA-Feature / 蒸馏)
目的:把 LLM 的高阶语义压缩成稳定特征,用于关系预测。
-
LoRA-Feature(可选):微调 LLM 输出稳定的离散标签/分数,例如:
- 是否假设/否定/观点/报告
- 事件持续性强弱(duration prior)
- 因果倾向评分
- discourse phenomena 预测
将这些转换为 embedding 或 one-hot/数值特征拼接到事件表示中。
3.3 模块三:跨句时序关系分类(LoRA-Temporal,主任务)
数据
- TDDiscourse:跨句事件对 + {a,b,i,ii,s}
输入格式(关键点)
-
上下文窗口(例如事件所在句 ±2 句)
-
用特殊 token 标注事件对:
<e1> ... </e1>,<e2> ... </e2>
模型
- 底座 LLM + LoRA-Temporal(参数高效微调)
- 输出:5 类时序标签概率
训练损失
- L_temporal = CrossEntropy
这部分是你的"硬指标主线",写论文最稳。
3.4 模块四:因果关系推断(LoRA-Causal:校准 → 扩展)
Stage A:LoRA 校准(重点)
- 用 **Causal-Calib(人工校验小集)**对 LLM 做 LoRA 微调
- 目的:纠正 LLM 的因果幻觉与过度解释
Stage B:扩展银标与联合训练
- 用校准后的 LLM 批量生成因果银标(更可靠)
- 在同一底座模型上训练 LoRA-Causal(或共享部分 LoRA)
输出
- 因果标签 +(可选)简短证据句/解释
联合损失(与时序任务联合)
- L_total = L_temporal + λ L_causal + γ L_consistency
其中一致性约束:
- 若 Causal(A,B)=1,则鼓励 Temporal(A,B)=BEFORE
- 用 margin/hinge 做软约束(允许例外)
3.5 模块五:全局一致推理与时间线构建(结构层)
目标:避免 pairwise 冲突,生成全局一致的时间结构。
两条路线:
路线 5A:时间线端点预测(Timeline Head)
- 给每个事件预测 start & duration
- 用类似 timeline loss 的约束把 TimeML 关系映射为端点约束
- 输入表示来自 LoRA-Temporal/LoRA-Feature 的事件表示
路线 5B:图优化一致性(Graph Consistency)
-
节点=事件,边=预测关系分数
-
做:
- 无环约束
- 最小修改原则
- 或 ILP/最短路径/排序优化
输出:
- 全局一致时间线
- 全局因果图(叠加在时间线上)
4. 训练与推理流程(端到端流水线)
4.1 训练阶段(建议顺序)
- LoRA-Temporal(用 TDDiscourse 真标注先跑稳)
- 构建 Causal-Calib / Arg-Calib 少量人工校验集
- LoRA-Causal 校准 → 批量生成因果银标
- LoRA-IE 校准 → 批量生成要素银标
- 多任务联合训练(Temporal + Causal + Consistency)
- 最后加入 全局一致结构层(时间线/图优化)
4.2 推理阶段
文本 → LoRA-IE 事件/要素 → LoRA-Temporal 时序关系 → LoRA-Causal 因果关系 → 结构层全局一致 → 输出时间线/关系图
5. 实验与评估设计
5.1 主任务:TDDiscourse 时序分类
-
指标:F1、Temporal Awareness(如可复现)
-
对比:
- 不用 LoRA(冻结模型 + 线性层)
- LoRA-Temporal
- LoRA-Temporal + LLM语义特征
- 联合因果 + 一致性约束
-
- 全局一致结构层
5.2 因果质量评估
- 在人工校验集上算:Precision/Recall/F1
- 校准前 vs 校准后 LLM 的提升(这是亮点)
5.3 一致性评估
- 冲突率(cycle / 违反包含关系)
- 时间线可满足率(s,d 端点约束满足比例)
5.4 现象分析(TDDiscourse phenomena)
- 哪类 phenomena 最难
- LoRA + 语义增强对哪些 phenomena 提升最大
6. 论文可写的贡献点(LoRA版)
- LoRA-Temporal:参数高效跨句时序适配(主结果)
- LoRA 校准式银标生成:显著提升因果/要素银标可靠性,并带来下游提升
- 因果-时序一致性约束:将认知约束注入多任务学习
- 全局一致时间线构建:从局部关系到篇章级一致结构
- phenomena 驱动分析:揭示跨句推断困难来源与模型改善机制