自然语言处理NLP - 第4章 NLP任务地图:先定义输出再挑模型

4.1 分类:给文本贴标签

二分类从两个标签中选一个,例如垃圾邮件与正常邮件;多分类从多个互斥标签中选一个;多标签分类允许同时选多个标签。留言"电梯坏了,而且物业一直不处理"可能既是报修又是投诉,是否允许两个标签取决于业务规则。

不要让模型替你决定标签体系。先定义每个标签的边界、冲突优先级以及"其他"类别,标注人员才能一致。若同类留言总被不同人标成不同类别,提高模型规模通常无法根治问题。

4.2 序列标注和实体识别

命名实体识别(NER)定位文本中的实体片段并分类,例如地点、组织、日期。BIO标注用B表示实体起点、I表示实体内部、O表示非实体。它不只是判断"有没有地点",还要指出地点在原文哪个范围。

"3号楼电梯故障"可按字符展示为:3/B-LOC,号/I-LOC,楼/I-LOC,电/O,梯/O,故/O,障/O。这里"3号楼"被定义为地点;实际项目也可以把楼栋作为单独类型,关键是标注规范前后一致。

4.3 关系抽取和事件抽取

关系抽取连接实体,例如"王工负责3号楼"可得到"负责(王工,3号楼)"。事件抽取组织一次发生的事情,包括事件类型、参与方、地点、时间和状态。它比简单关键词搜索更接近业务记录。

"昨日已修复,今日再次故障"至少包含两次不同状态变化,不能合并成一个不带时间的"故障"。事件记录应保留来源、原文跨度和时间依据,方便人工复核。

4.4 检索、匹配和排序

检索在大量文档中寻找相关内容;语义匹配判断两段表达是否接近;排序把候选内容按相关性排列。用户问"怎么报修",相关文档可能写的是"设施故障申报流程",字面并不相同。

但语义相近不等于可以互换。"允许夜间施工"和"禁止夜间施工"涉及同一主题,向量距离可能很近,业务意义却相反。因此检索负责找候选证据,不能直接代替事实和逻辑判断。

4.5 生成类任务

翻译要求跨语言保留意义;摘要要求压缩内容并保留关键事实;改写强调风格或表达变化;问答要求回应具体问题。抽取式摘要选择原文片段,生成式摘要重新组织表达,后者更灵活,也更容易引入原文没有的内容。

对于制度问答,"回答自然"不是唯一目标。还要检查引用是否支持结论、适用条件是否保留、是否区分旧版与新版、无资料时是否拒答。流畅但错误的回复可能比明确的"暂时无法确定"更有害。

4.6 一张任务选择表

表 2 4.6 一张任务选择表

|--------|----------|-----------|
| 需求 | 典型输出 | 首先检查 |
| 工单分流 | 类别标签 | 标签边界是否清楚 |
| 地址抽取 | 原文片段和位置 | 地址格式与范围 |
| 制度检索 | 排序后的证据段落 | 文档是否正确入库 |
| 制度问答 | 回答、引用、状态 | 证据能否支持结论 |
| 对话执行 | 动作与参数 | 权限、确认与幂等性 |

本章检查点:把"做一个智能助手"改写为三个能够单独验收的小任务。需求越具体,越容易选模型、准备数据和解释失败。

相关推荐
具身AGI1 小时前
模型懂物理吗?物理AI 物理推理 的新赛点
人工智能·深度学习·计算机视觉
lincats1 小时前
大白话讲解Addy Osmani 的循环工程Loop Engineering工作流
人工智能·驱动开发·架构·prompt·状态模式·知识图谱
流光D1 小时前
AI Era: Building Web Sites and Configuring Nginx Reverse Proxy Process
前端·人工智能·nginx
smartpi_ai2 小时前
语音模块与主控 MCU 串口对接实战:协议设计六要点,联调少走一半弯路
人工智能·小程序·语音识别
吨吨ai2 小时前
ChatGPT Plus / Pro + Codex 全栈自动化开发实战:2026年9月2日 从智能体工作流到企业级代码交付的完整技术指南
人工智能·chatgpt·自动化
人工智能时代 准备好了吗2 小时前
同名实体消歧实用指南:建立同名实体识别页
人工智能
CIO402 小时前
AI未来--AI时代下的数字化建设规划
人工智能
leoZ2312 小时前
第 2 篇:搭建地基——Vue3 + Vite + Tailwind v4 + shadcn-vue
前端·javascript·vue.js·人工智能·目标检测·数据挖掘·语音识别