自然语言处理NLP - 第4章 NLP任务地图:先定义输出再挑模型

4.1 分类:给文本贴标签

二分类从两个标签中选一个,例如垃圾邮件与正常邮件;多分类从多个互斥标签中选一个;多标签分类允许同时选多个标签。留言"电梯坏了,而且物业一直不处理"可能既是报修又是投诉,是否允许两个标签取决于业务规则。

不要让模型替你决定标签体系。先定义每个标签的边界、冲突优先级以及"其他"类别,标注人员才能一致。若同类留言总被不同人标成不同类别,提高模型规模通常无法根治问题。

4.2 序列标注和实体识别

命名实体识别(NER)定位文本中的实体片段并分类,例如地点、组织、日期。BIO标注用B表示实体起点、I表示实体内部、O表示非实体。它不只是判断"有没有地点",还要指出地点在原文哪个范围。

"3号楼电梯故障"可按字符展示为:3/B-LOC,号/I-LOC,楼/I-LOC,电/O,梯/O,故/O,障/O。这里"3号楼"被定义为地点;实际项目也可以把楼栋作为单独类型,关键是标注规范前后一致。

4.3 关系抽取和事件抽取

关系抽取连接实体,例如"王工负责3号楼"可得到"负责(王工,3号楼)"。事件抽取组织一次发生的事情,包括事件类型、参与方、地点、时间和状态。它比简单关键词搜索更接近业务记录。

"昨日已修复,今日再次故障"至少包含两次不同状态变化,不能合并成一个不带时间的"故障"。事件记录应保留来源、原文跨度和时间依据,方便人工复核。

4.4 检索、匹配和排序

检索在大量文档中寻找相关内容;语义匹配判断两段表达是否接近;排序把候选内容按相关性排列。用户问"怎么报修",相关文档可能写的是"设施故障申报流程",字面并不相同。

但语义相近不等于可以互换。"允许夜间施工"和"禁止夜间施工"涉及同一主题,向量距离可能很近,业务意义却相反。因此检索负责找候选证据,不能直接代替事实和逻辑判断。

4.5 生成类任务

翻译要求跨语言保留意义;摘要要求压缩内容并保留关键事实;改写强调风格或表达变化;问答要求回应具体问题。抽取式摘要选择原文片段,生成式摘要重新组织表达,后者更灵活,也更容易引入原文没有的内容。

对于制度问答,"回答自然"不是唯一目标。还要检查引用是否支持结论、适用条件是否保留、是否区分旧版与新版、无资料时是否拒答。流畅但错误的回复可能比明确的"暂时无法确定"更有害。

4.6 一张任务选择表

表 2 4.6 一张任务选择表

|--------|----------|-----------|
| 需求 | 典型输出 | 首先检查 |
| 工单分流 | 类别标签 | 标签边界是否清楚 |
| 地址抽取 | 原文片段和位置 | 地址格式与范围 |
| 制度检索 | 排序后的证据段落 | 文档是否正确入库 |
| 制度问答 | 回答、引用、状态 | 证据能否支持结论 |
| 对话执行 | 动作与参数 | 权限、确认与幂等性 |

本章检查点:把"做一个智能助手"改写为三个能够单独验收的小任务。需求越具体,越容易选模型、准备数据和解释失败。

相关推荐
如若1238 小时前
TRACER 论文解读与复现:面向 ICU 长时程患者监测的多模态 Harness 架构、时序证据建模与工具增强推理
人工智能·深度学习·计算机视觉
深蓝AI10 小时前
无头浏览器不必从 Chrome 改:Lightpanda 用 Zig 从零造,100 个页面只占 123MB 内存
人工智能·程序员
奈落2412 小时前
AI辅助的另一面:从2026年国际AI安全报告的“故障”清单到国内专家的可靠性短板,自主行动的Agent为什么更难及时干预
人工智能·安全·agent·本地部署·ai 办公
火山引擎开发者社区14 小时前
eMudhra 证书失陷:容器用户最容易忽略的镜像信任链漏洞
人工智能
LabVIEW开发15 小时前
LabVIEW 机载 DIAL:每秒万次甲烷测量
人工智能·labview·labview知识·labview功能·labview程序
飞猫的边缘AI16 小时前
英特尔量子生意
人工智能·量子计算·边缘ai
深蓝AI16 小时前
桌面 Agent 缺的不是视觉:Vercel 开源 agent-desktop,用无障碍树 ref 替代截图坐标
人工智能·程序员
镜子AI16 小时前
镜子AI 技术复盘:三条自动化链路上的“停止条件“设计
运维·人工智能·自动化
向哆哆16 小时前
羊行为目标检测数据集:4类别、2,000张图像 | 目标检测
人工智能·yolo·目标检测·目标跟踪
如若12316 小时前
【论文复现】CoFailMed:从零复现医学图像分割的共享失败审计,含完整代码流程与科研绘图
人工智能·python