规则和传统NLP之困难和挑战

系列文章目录

第一章 规则和传统NLP之NLP概述
第二章 规则和传统NLP之NLP任务范式


规则和传统NLP之困难和挑战

  • 系列文章目录
  • [一、 NLP的困难与挑战](#一、 NLP的困难与挑战)
  • [二、 语言歧义](#二、 语言歧义)
    • [1. 同音词](#1. 同音词)
    • [2. 词性歧义](#2. 词性歧义)
    • [3. 分词导致的歧义](#3. 分词导致的歧义)
    • [4. 语法结构歧义](#4. 语法结构歧义)
    • [5. 语境歧义](#5. 语境歧义)
  • [三、 不同语言结构差异](#三、 不同语言结构差异)
  • 四、未知语言不可预测性
  • [五、 语言表达的复杂性](#五、 语言表达的复杂性)
  • [六、 潜台词](#六、 潜台词)
  • [七、 背景与常识](#七、 背景与常识)

一、 NLP的困难与挑战

二、 语言歧义

1. 同音词

有一次,纪晓岚与和珅一同在朝为官,纪晓岚任侍郎,和珅任尚书。两人在一起喝酒时,和珅指着一只狗问纪晓岚:

和珅(尚书):纪侍郎,纪大人,这是何物?是狼是狗?(侍郎是狗)

纪晓岚(侍郎):和尚书,和大人,这好办。看尾巴呀,下垂是狼,上竖是狗,记住了。(尚书是狗)

2. 词性歧义

动物保护警察("保护"可理解成动词、名词,语义不一样)

3. 分词导致的歧义

例1:自动化研究所取得的成就

  • 理解一:自动化 / 研究 / 所 / 取得 / 的 / 成就
  • 理解二:自动化 / 研究所 / 取得 / 的 / 成就

例2:武汉市长江大桥

  • 分词1:武汉市/长江大桥
  • 分词2:武汉/市长/江大桥

4. 语法结构歧义

  • 喜欢乡下的孩子
  • 关于鲁迅的文章

5. 语境歧义

  1. 你太棒了,你简直是个天才!(真心恭喜)
  2. 你太棒了,你简直是个天才!(阴阳师)

三、 不同语言结构差异

四、未知语言不可预测性

语言在不断演化,每年都有为数不少的新词语、新语料出现,给一些NLP处理任务造成困难。以下列举了几个2024年网络上出现的新词语:

  • city不city:用来形容"洋气不洋气",源于"citywalk"的流行,意味着没有攻略、随机走路的时尚态度。
  • 钝感艺术:一种自嘲的说法,用来形容人"缺心眼",但并非贬义,而是指在某些情况下不敏感、不计较的态度。
  • 边界感:用来描述对"隐私"的尊重和保护意识。
  • 泰裤辣:音译自英文"too cool啦",表示"太酷了"的意思。
  • PPT你:指"画饼",即给你描绘一个美好的未来,但实际行动上却没有任何实质性的进展。
  • 嘴替:网友帮忙说出自己心里话的人或言论。
  • 配享太庙:网络用语中用来夸赞某专家或权威人士说的很对,有很高的赞誉和尊敬之意。

五、 语言表达的复杂性

甲:你这是什么意思?

乙:没什么意思,意思意思。

甲:你这就不够意思了。

乙:小意思,小意思。

甲:你这人真有意思。

乙:其实也没有别的意思。

甲:那我就不好意思了。

六、 潜台词

  1. 原话 :这件事要走流程,我这样也很难办
    潜台词:一点好处都没有,就想空手套白狼

  2. 原话 :这个事情怎么样了,你抽空落实一下
    潜台词:别墨迹了,抓紧去办,办好给我回复

  3. 原话 :你最近身体怎么样?是不是家里有困难?
    潜台词:你最近工作状态不好,工作质量也不高

  4. 原话 :小伙子很有性格
    潜台词:你有点锋芒太盛了,不听话迟早把你换掉

  5. 原话 :这件事你看着办
    潜台词:这么简单的事你都办不好,如果你办不好,我就把你办了

七、 背景与常识

  1. 中国国家队比赛最没悬念的是乒乓球和足球,他们一个谁也打不过,另一个谁也打不过。

  2. 请计算:大锤减小锤加宫廷玉液酒等于多少?

  3. 穿越者表明身份:奇变偶不变:天王盖地虎:你的益达:今年过节不收礼:

相关推荐
VIP_CQCRE6 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷7 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我7 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁017 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
β添砖java8 小时前
NLP自然语言处理4:迁移学习:fasttext工具,训练词向量、词向量迁移、迁移学习概念、NLP中常用预训练模型、transformer库使用、迁移学习实践
自然语言处理·transformer·迁移学习
Csvn8 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄9 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下9 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码10 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下10 小时前
langgraph 全栈项目(二)
前端·人工智能·后端