1.1 概论:(一)自然语言处理概要
知识点
- 自然语言的定义:人类交流使用的,包括口语和书面语的信息交流方式。
- AI的终极目标:使计算机具备理解(听、读)和生成(说、写)自然语言的能力,通过如图灵测试等方式验证。
- 自然语言处理的主要问题:自然语言理解和自然语言生成。
- NLP与人工智能的关系:NLP是人工智能的一个分支,涉及多个交叉学科如计算机科学、语言学、心理学等。
1. 自然语言的定义
-
语言 :语言就广义而言,是采用一套具有共同处理规则来进行表达的沟通指令,指令会以视觉、声音或者触觉等方式来传递。可以分为:自然语言、动物语言、计算机语言。。。
-
自然语言 :人类在发展过程中形成的一种信息交流方式,包括口语和书面语,反映人类的思想。它自然地随文化演化,是人类用来沟通的指令,可以通过视觉、声音或触觉等方式传递。
2. AI的终极目标
- 图灵测试:由艾伦·图灵提出,用来评估机器是否具有人类水平的智能。在测试中,测试者与被测试者(一人和一台机器)通过键盘等装置进行交流。如果在多次测试后,机器能让平均每个参与者做出超过30%的误判,那么这台机器就被认为具有人类智能。
- 终极目标 :需要计算机具有人类语言能力,即要求计算机具备理解语言(听、读)和生成语言(说、写)的能力,从而实现人与机器的自然语言沟通。
图源:2019_knowledge_guided_nlp_cn (tsinghua.edu.cn)
3. 自然语言处理的主要问题
自然语言处理大体包括了自然语言理解和自然语言生成两个部分。历史上对自然语言理解研究得较多,而对自然语言生成研究得较少,但这种状况已有所改变。
a. 什么是自然语言处理(NLP)
- 定义 :自然语言处理是计算机科学和人工智能的一个分支,它旨在开发能够理解和生成人类语言的技术。
- 通过建立形式化计算模型来分析、理解和生成自然语言的学科。