💡 一句话总结：国防科大发布中文军事新闻信息抽取基准 CMNIE（1.3 万实例，事件/论元/实体/关系联合标注）。最重要的发现不是「谁分高」，而是零样本 LLM 的失败模式：语义单元找得到，span 边界对不齐。用 LLM 做结构化抽取的团队，这个结论直接影响你的后处理设计。
导语：让 AI 读新闻写数据库，卡在哪一步？
情报分析的经典需求：把新闻流变成结构化数据库------谁、在哪、什么时候、对谁、做了什么、关系如何。这意味着事件抽取、论元识别、实体识别、关系抽取四件事联合做对，而不是各做各的。
通用领域的信息抽取数据集不少，但垂直领域（尤其是军事新闻：装备名、部队编制、行动术语高度特殊）一直缺统一 schema 的联合标注资源。于是「领域适配」变成每个团队的私活：自己标、自己评、不可比。
国防科大的 CMNIE 把这个私活变成了公共基础设施。
想看原文？
- 📄 论文：arXiv 2609.10722
它的思路是什么？
- 🗂️ 统一 schema 四件套：7 类事件、10 类论元角色、7 类实体、8 类关系在同一套 schema 下联合标注------事件和它的参与者、实体和它的关系不再各标各的
- 🚪 95% 质量门控：人工标注按批次验收，四项质量指标全部达到 95% 才接收，否则整批返工------标注质量是管出来的
- ⚖️ 三代方法同台：监督 IE 模型、零样本 LLM、微调 LLM 在同一测试集上对比，看的是真实能力图谱而不是单点 SOTA
效果到底怎么样？
- 🔍 零样本 LLM：找得到，对不齐：模型基本能定位相关的语义单元，但在精确 span 边界匹配上大量失分------「大致在这」和「精确到字符」是两个能力
- 🏆 微调 schema 条件生成摘得关系抽取最佳；显式 span 建模的传统路线在精确论元抽取上仍有一席之地
- 📏 精确-宽松匹配的差距被系统量化：如果只评宽松匹配，你会高估零样本方案的可用性
为什么你要关心？
- 🛠️ LLM 抽取的后处理必须有对齐层：让 LLM 输出带字符偏移的结果、或加一步边界校正------评测口径从宽松换到精确，ROI 立刻显现
- 📏 评测口径决定结论：同一套系统，宽松匹配下「接近可用」，精确匹配下「处处翻车」------给老板看的报告用哪个口径，是个诚实问题
- 🏗️ 垂直领域 schema 是资产：CMNIE 的 schema 设计与批次验收流程，对任何想建领域抽取基准的团队都是模板
理性看待
冷静看三点：领域敏感性强，schema 和结论向通用新闻外推需谨慎；1.3 万实例在深度学习标准下属中小规模，支撑大模型微调尚可、支撑从头训练不足；军事领域的公开数据本身有时效与覆盖的局限。但「精确边界是零样本 LLM 的短板」这个发现，放之各个垂直领域皆准。