系列文章目录
第一章 规则和传统NLP之NLP概述
第二章 规则和传统NLP之NLP任务范式
规则和传统NLP之困难和挑战
- 系列文章目录
- [一、 NLP的困难与挑战](#一、 NLP的困难与挑战)
- [二、 语言歧义](#二、 语言歧义)
-
- [1. 同音词](#1. 同音词)
- [2. 词性歧义](#2. 词性歧义)
- [3. 分词导致的歧义](#3. 分词导致的歧义)
- [4. 语法结构歧义](#4. 语法结构歧义)
- [5. 语境歧义](#5. 语境歧义)
- [三、 不同语言结构差异](#三、 不同语言结构差异)
- 四、未知语言不可预测性
- [五、 语言表达的复杂性](#五、 语言表达的复杂性)
- [六、 潜台词](#六、 潜台词)
- [七、 背景与常识](#七、 背景与常识)
一、 NLP的困难与挑战
二、 语言歧义
1. 同音词
有一次，纪晓岚与和珅一同在朝为官，纪晓岚任侍郎，和珅任尚书。两人在一起喝酒时，和珅指着一只狗问纪晓岚:
和珅（尚书）：纪侍郎，纪大人，这是何物？是狼是狗？（侍郎是狗）
纪晓岚（侍郎）：和尚书，和大人，这好办。看尾巴呀，下垂是狼，上竖是狗，记住了。（尚书是狗）
2. 词性歧义
动物保护警察（"保护"可理解成动词、名词，语义不一样）
3. 分词导致的歧义
例1：自动化研究所取得的成就
- 理解一：自动化 / 研究 / 所 / 取得 / 的 / 成就
- 理解二：自动化 / 研究所 / 取得 / 的 / 成就
例2：武汉市长江大桥
- 分词1：武汉市/长江大桥
- 分词2：武汉/市长/江大桥
4. 语法结构歧义
- 喜欢乡下的孩子
- 关于鲁迅的文章
5. 语境歧义
- 你太棒了，你简直是个天才！（真心恭喜）
- 你太棒了，你简直是个天才！（阴阳师）
三、 不同语言结构差异
四、未知语言不可预测性
语言在不断演化，每年都有为数不少的新词语、新语料出现，给一些NLP处理任务造成困难。以下列举了几个2024年网络上出现的新词语：
- city不city：用来形容"洋气不洋气"，源于"citywalk"的流行，意味着没有攻略、随机走路的时尚态度。
- 钝感艺术：一种自嘲的说法，用来形容人"缺心眼"，但并非贬义，而是指在某些情况下不敏感、不计较的态度。
- 边界感：用来描述对"隐私"的尊重和保护意识。
- 泰裤辣：音译自英文"too cool啦"，表示"太酷了"的意思。
- PPT你：指"画饼"，即给你描绘一个美好的未来，但实际行动上却没有任何实质性的进展。
- 嘴替：网友帮忙说出自己心里话的人或言论。
- 配享太庙：网络用语中用来夸赞某专家或权威人士说的很对，有很高的赞誉和尊敬之意。
五、 语言表达的复杂性
甲：你这是什么意思？
乙：没什么意思，意思意思。
甲：你这就不够意思了。
乙：小意思，小意思。
甲：你这人真有意思。
乙：其实也没有别的意思。
甲：那我就不好意思了。
六、 潜台词
-
原话 ：这件事要走流程，我这样也很难办
潜台词：一点好处都没有，就想空手套白狼 -
原话 ：这个事情怎么样了，你抽空落实一下
潜台词：别墨迹了，抓紧去办，办好给我回复 -
原话 ：你最近身体怎么样？是不是家里有困难？
潜台词：你最近工作状态不好，工作质量也不高 -
原话 ：小伙子很有性格
潜台词：你有点锋芒太盛了，不听话迟早把你换掉 -
原话 ：这件事你看着办
潜台词：这么简单的事你都办不好，如果你办不好，我就把你办了
七、 背景与常识
-
中国国家队比赛最没悬念的是乒乓球和足球，他们一个谁也打不过，另一个谁也打不过。
-
请计算：大锤减小锤加宫廷玉液酒等于多少？
-
穿越者表明身份：奇变偶不变：天王盖地虎：你的益达：今年过节不收礼：