AI 按数据模态分类：计算机视觉、NLP、语音处理，一篇理清

模态	数据形态	对应领域	一句话目标
视觉	图像 / 视频	计算机视觉（CV）	让机器"看懂"世界
文本	自然语言（离散符号）	自然语言处理（NLP）	让机器"读懂+写出"语言
语音	音频波形	语音处理	让机器"听懂+说出"人话

本文按这个框架逐个拆解每个领域的定义、常见任务和典型应用，最后用对比表、误区清单和面试题收尾，帮你快速建立完整认知。

一、计算机视觉（Computer Vision, CV）

定义：计算机视觉是人工智能的核心领域之一，目标是让机器"看懂"世界------从图像或视频中提取信息、理解内容，并做出决策。它涉及计算机科学、数学、神经科学等多个交叉学科。

核心难点：图像对机器而言只是一个巨大的像素数字矩阵，CV 要解决的就是"从像素到语义"的跨越。

常见任务（7 个）

1. 图像分类（Image Classification）

CV 中最基础也最核心的任务：给定一张输入图像，从预定义的类别集合中指定一个最能描述该图像内容的标签。直白点说就是识别图中**"是什么"**。

例：输入一张动物照片 → 输出"猫"
特点：整张图只输出一个标签，不关心物体位置

2. 目标检测（Object Detection）

需要同时回答两个问题的任务：

识别（What）：确定图像中物体的类别（人、车、猫）
定位（Where）：用边界框（Bounding Box）精确框出每个物体的位置
例：街景图中框出所有行人和车辆
与图像分类的区别：分类管"是什么"，检测还要管"在哪里"

3. 语义分割（Semantic Segmentation）

比目标检测更进一步。目标检测关心"在哪里有什么（画框）"，语义分割关心**"每个像素是什么"**------将图像中的每一个像素点都划分到对应的类别中（人、车、天空、道路......）。

例：自动驾驶中，把画面逐像素标注为道路/车辆/行人/天空
输出是一张与原图同尺寸的"上色掩码图"

4. 实例分割（Instance Segmentation）

在图像或视频中，将每个感兴趣物体的轮廓精确描绘出来，并且区分开同一类别的不同个体。

例：画面中有 5 个人，语义分割只标出"这些都是人"；实例分割能区分出"这是第 1 个人、第 2 个人......"
可以理解为"语义分割 + 个体区分"，是分割类任务中精度要求最高的

5. 目标跟踪（Object Tracking）

目标检测关注单张图片 ，目标跟踪关注视频流：在视频第一帧给定一个目标（或自动检测出目标），在后续帧中持续定位它的位置。

核心难点：建立时序关联------知道"这一帧的物体就是上一帧的那个物体"，即使它被短暂遮挡
例：监控系统中持续追踪一个特定人员

6. 关键点检测（Keypoint Detection）

不关心物体的完整轮廓，只寻找那些能定义形状的特定坐标点 (x, y)。

例：人体姿态估计------检测出鼻子、肩膀、手肘、膝盖等十几个关键点，连线后就是一副"火柴人"骨架
应用：动作识别、手势交互、体育动作分析

7. 文字与符号识别（OCR）

光学字符识别（Optical Character Recognition），是 CV 中专门处理图像中文字和符号的任务：让计算机从图片、视频帧或扫描文档中"读"出文本内容，并转化为可编辑、可搜索的字符信息。

例：扫描身份证自动提取姓名和号码、车牌识别、纸质文档数字化
补充理解：OCR 通常是"文字检测（找到文字在哪）+ 文字识别（读出是什么）"两步串联

CV 七大任务速查表

任务	核心问题	输出形式	一句话记忆
图像分类	是什么	1 个标签	全图一个答案
目标检测	是什么 + 在哪里	类别 + 边界框	画框
语义分割	每个像素是什么	像素级类别图	逐像素涂色
实例分割	每个像素属于哪个个体	像素级 + 实例编号	涂色还分个体
目标跟踪	目标在视频里去哪了	逐帧位置	跨帧锁定
关键点检测	形状的关键点在哪	一组 (x,y) 坐标	画火柴人
OCR	图里的文字是什么	文本字符串	看图识字

二、自然语言处理（Natural Language Processing, NLP）

定义：NLP 是以自然语言文本（离散符号）为核心处理对象的学科，研究如何建立人类语言形式与机器可计算语义之间的映射关系，让计算机具备对语言符号进行形态分析、语义理解、逻辑推理及连贯生成的能力。

要解决的鸿沟：人类语言天然模糊、有歧义；机器只能执行严格指令。NLP 就是架在两者之间的桥。

两大研究方向

NLP 的一切任务都可以归入两个方向：

方向	全称	目标	重点
NLU	自然语言理解	让机器理解人类想表达的意思	语义和意图
NLG	自然语言生成	让机器根据数据或意图生成人类可读的文本	流畅度和准确性

NLU 例：判断"我想吃苹果"指的是水果还是手机（结合上下文消歧）
NLG 例：写新闻稿、写邮件回复、生成诗歌

NLU 常见任务（4 个）

1. 文本分类

将一段不定长的文本，自动打上一个或多个预先设定好的类别标签。NLP 最基础、最成熟的任务，技术本质是多分类或多标签问题。

主题分类："中国乒乓球拿下奥运会大满贯" → $体育$
意图分类（智能客服）："我想改一下收货地址" → $修改订单$
新闻打标（多标签）："央行宣布降低存款准备金率" → $财经$ $政策$

2. 情感分析

文本分类的一个特殊子集，专门判断文本背后的主观情绪、观点或态度（极性或强度）。

电商评价："这手机电池太不耐用了" → 负向
社交媒体舆情："XXX 明星官宣结婚，祝福！" → 正向 + 情绪 $喜悦$
细粒度情感："酒店位置绝佳，但房间隔音差到离谱" → 位置 $正向$ 、隔音 $负向$ （同一句话对不同方面给出不同判断，这是情感分析的进阶形态）

3. 命名实体识别（NER）

从非结构化文本中，识别出具有特定意义的实体指代，并归入预定义类别（人名、地名、组织名、日期、专有名词等）。它是信息抽取的基石。

输入：马云在杭州创办了阿里巴巴，时间是 1999 年
识别：马云(人名) / 杭州(地名) / 阿里巴巴(组织机构) / 1999年(时间)

4. 语义相似度

计算两段文本在含义层面的相近程度（而不是字面重复程度），是搜索、问答和智能推荐的核心算法。

A："如何给手机快速充电？" vs B："手机快充有哪些技巧？" → 相似度 0.95（语义一致）
A vs C："今天手机电量消耗很快。" → 相似度 0.15（话题不同）
难点：B 与 A 字面重叠少但语义相同；C 与 A 字面有重叠（"充电/电量"）但语义不同------模型必须越过字面抓含义

NLG 常见任务（3 个）

1. 机器翻译

将一种语言的文本自动翻译成另一种语言。

输入（中文）："今天天气很好" → 输出（英文）："The weather is very nice today."

2. 对话生成

构建能与人类进行多轮交互的聊天机器人。注意多轮对话需要记住上下文：

用户："帮我查一下明天的天气。"
系统："您所在的城市是哪里？"（发现缺少关键信息，主动追问）
用户："上海。"
系统："明天上海晴转多云，22℃〜28℃。"

3. 文章摘要

将长文本压缩成包含关键信息的短文本，分两种技术路线：

抽取式：直接从原文中摘取重要句子拼接（不改写原文）
生成式：理解原文后重新组织语言生成新句子（更灵活，难度更高）

一个重要趋势：从"任务分类"到"大模型统一"

过去，上述每个 NLP 任务都需要单独训练一个小模型（分类一个模型、翻译一个模型、NER 又一个模型）。现在，大语言模型（GPT 系列、文心一言等）通过"预训练 + 微调/提示词"的方式，几乎能用同一个模型完成以上所有任务------这是 NLP 领域近几年最大的范式变革。

三、语音处理

定义：语音处理是一门涉及信号处理、计算机科学、语言学和人工智能的交叉学科，核心目标是让机器能够分析、理解、合成和处理人类的语音信号。

与 CV（处理图像）、NLP（处理文本）不同，语音处理的原料是连续的音频波形信号，它一头连着信号处理，一头连着语言理解。

常见任务（2 个）

1. 语音识别（ASR, Automatic Speech Recognition）

即语音转文字：将人类语音中的词汇内容转换为计算机可读的文本或指令的过程。目前系统通常基于 Whisper、Paraformer 等先进架构。

典型应用：

智能音箱（小爱同学、Alexa）
会议纪要自动生成
语音输入法
无障碍辅助（为听障人士提供实时字幕）
车载语音控制

我们日常使用的**微信"语音转文字"**就是典型的 ASR 应用。

2. 语音合成（TTS, Text-to-Speech）

即文字转语音：让计算机将文本转换为自然、流畅且富有表现力的语音。

能力演进：早期 TTS 是机械的"机器人念稿"；目前的 TTS 模型（VITS、NaturalSpeech、ChatTTS）已能生成高度拟人、带有情感和韵律 的语音，甚至支持少样本克隆------仅需几秒样本即可模仿特定人声。

典型应用：导航语音播报、有声书朗读、AI 客服应答、虚拟主播。

串起来看：一次语音对话的完整链路

智能音箱这类产品，实际是三大模态协同的结果：

复制代码

用户说话 → [ASR 语音转文字] → [NLP 理解意图 + 生成回复文本] → [TTS 文字转语音] → 机器回答
   语音处理                自然语言处理                      语音处理

这也解释了为什么语音助手答非所问时，问题可能出在任何一环：听错（ASR）、理解错（NLP）或说错（TTS）。

四、三大模态对比总表

维度	计算机视觉（CV）	自然语言处理（NLP）	语音处理
处理对象	图像 / 视频	自然语言文本	语音波形信号
数据特点	连续像素矩阵，空间相关	离散符号，有歧义	连续时序信号，易受噪声干扰
核心目标	看懂世界	理解 + 生成语言	听懂 + 说出语音
代表任务	分类、检测、分割、OCR	分类、NER、翻译、对话、摘要	ASR、TTS
典型应用	人脸识别、自动驾驶	智能客服、机器翻译	智能音箱、会议纪要
交叉学科	数学、神经科学	语言学、逻辑学	信号处理、语言学

五、易混点与常见误区

易混点辨析

1. 目标检测 vs 语义分割 vs 实例分割（CV 最高频混淆点）

	目标检测	语义分割	实例分割
输出	边界框	像素级类别	像素级 + 个体编号
区分同类个体	否	否	是
精度级别	框级（粗）	像素级（细）	像素级 + 实例级（最细）

一句话区分：检测画框，分割涂色；语义涂色不分你我，实例涂色分清你我。

2. NLU vs NLG

NLU 是"输入文本、输出理解结果"（分类标签、实体、相似度分值），属于判别式任务
NLG 是"输入意图、输出文本"（翻译、摘要、对话回复），属于生成式任务
判断一个任务属于哪边，看输出是不是自然语言文本即可

3. ASR vs TTS

方向恰好相反：ASR 是语音→文字（输入音频），TTS 是文字→语音（输出音频）。记忆法：R=Recognition=识别=听懂，S=Synthesis=合成=说出。

4. 目标检测 vs 目标跟踪

检测处理单张静态图片 ；跟踪处理视频流，核心难点是跨帧的时序关联（"这帧的人还是上帧那个人"）。

常见误区

"CV 就是人脸识别" ------ 错。人脸识别只是 CV 的一个落地场景（检测+关键点+相似度的组合），CV 还包括分类、分割、OCR 等七大类任务。
"OCR 属于 NLP" ------ 不准确。OCR 的输入是图像，本质属于 CV；识别出的文字再做理解才进入 NLP 环节。
"NLP 就是聊天机器人" ------ 错。对话只是 NLP 的任务之一，分类、NER、翻译、摘要都在 NLP 范畴内。
"情感分析就是判断好评差评" ------ 不完整。细粒度情感分析可以对同一句话的不同方面分别判断（"位置好但隔音差"）。
"语义相似度就是看字面重合度" ------ 错。恰恰是字面不重合但语义相同（"快充"vs"快速充电"）才体现该任务的价值。
"语音处理就是 NLP 的一部分" ------ 错。语音处理的原料是音频信号而非文本，属于独立模态；语音对话系统是 ASR + NLP + TTS 的串联。
"每个 NLP 任务都要单独训练模型" ------ 这是过去的范式。现在大语言模型通过"预训练+提示词"可以统一完成绝大多数 NLP 任务。
"TTS 就是把文字念出来，没什么技术含量" ------ 错。现代 TTS 要处理韵律、情感、停顿，甚至做到几秒样本克隆人声，技术门槛很高。

六、面试常考题（附答案）

Q1：目标检测和语义分割有什么区别？实例分割又多了什么？ A：目标检测输出"类别+边界框"，回答"是什么、在哪里"；语义分割输出像素级类别，回答"每个像素是什么"；实例分割在语义分割基础上进一步区分同一类别的不同个体（5 个人分成 5 个实例）。精度逐级提升，计算量也逐级增大。

Q2：NLP 的两大研究方向是什么？各举两个任务。 A：NLU（自然语言理解）：让机器理解语义和意图，如文本分类、命名实体识别；NLG（自然语言生成）：让机器生成人类可读文本，如机器翻译、文章摘要。判断标准：输出是不是自然语言文本。

Q3：一个智能音箱从听到用户说话到给出回答，完整经过哪些技术环节？ A：三段链路：ASR 把语音转成文本 → NLP（NLU 理解意图 + NLG 生成回复文本）→ TTS 把回复文本转成语音播出。任一环节出错都会导致最终体验失败。

Q4：情感分析和文本分类是什么关系？ A：情感分析是文本分类的特殊子集，专门判断主观情绪和态度。其进阶形态是细粒度情感分析------对同一文本的不同方面分别给出情感极性（如"位置好、隔音差"）。

Q5：为什么说语义相似度不能只看字面重合？ A：字面重合不等于语义相同。"如何快速充电"与"快充技巧"字面重合少但语义一致；与"电量消耗很快"字面上有"充电/电量"重叠但话题完全不同。该任务的难点正是越过字面、在含义层面计算相近程度。

Q6：目标跟踪和目标检测的关键差异是什么？ A：检测针对单张图片，跟踪针对视频流。跟踪的核心是建立时序关联------在后续帧中持续定位同一目标，即使目标被短暂遮挡也要维持身份一致性。

Q7：NER 是什么？为什么说它是信息抽取的基石？ A：命名实体识别，从非结构化文本中找出人名、地名、组织名、日期等实体并归类。因为后续的知识图谱构建、关系抽取、问答系统都依赖先识别出这些实体，所以它是信息抽取的第一步。

Q8：大语言模型对传统 NLP 任务格局产生了什么影响？ A：过去每个 NLP 任务（分类、翻译、NER、摘要）都要单独训练专用小模型；现在大模型通过"预训练 + 微调/提示词"，用一个模型就能完成几乎所有 NLP 任务，实现了从"任务定制"到"统一建模"的范式转变。

总结

CV 处理图像/视频，七大任务按输出精度递进：分类 → 检测 → 分割（语义/实例），外加跟踪、关键点、OCR
NLP 处理文本，分 NLU（理解）和 NLG（生成）两大方向，且正被大模型统一
语音处理 处理音频，双向任务 ASR（听懂）与 TTS（说出），与 NLP 串联构成完整的语音对话链路

理清三大模态，再看任何 AI 应用都能快速对号入座：它处理什么数据、属于哪个领域、做的是哪类任务。