NLP(（Natural Language Processing)简介

自然语言处理：打破人类语言与机器代码之间的隔阂， 让计算机真正理解我们在说什么

是什么

• 它赋予计算机理解、解释、生成人类语言的能力，基于这些能力对文本数据进行决策

• 弥合人类交流的模糊性、情境性和复杂性与计算机精确、形式化的指令系统 之间的鸿沟

• 概括为自然语言理解（Natural Language Understanding ， NLU）从非结构化的文本中提取意义；

  自然语言生成（Natural Language Generation ，NLG）将计算机内部的数据与决策转化为人类可读的文本

NLP的技术层次

处理过程

• 词法分析：处理文本的基础单元---词，分词、词性标注
• 句法分析：分析句子语法结构，形成"语法树"，理解词语如何组合成句
• 语义分析：理解句子和词语的真实含义，解决歧义问题：词义消歧、关系抽取
• 语用分析：特定语境下理解语言的意图， 最具挑战性

发展历程：从规则到智能

从符号主义到连接主义、从依赖专家规则到拥抱海量数据

• 萌芽期（1950s）：图灵测试与早期探索
• 规则时代（ 1960s-1980s ）：符号主义的探索
• 统计时代（1990s-2000s）：数据的力量：将语言现象的合理性转化为基于真实文本概率的数学计算
• 深度学习时代（ 2010s- 至今）：智能的飞跃

NLP的主要任务

• 文本分类 (Text **Classification)**给文本分配预定义标签：信息组织与过滤
  • 命名实体识别 **(NER)**文本中分类关键实体，转结构化信息，信息抽取
    关系抽取 (Relation **Extraction)**判断实体语义关系、构建图谱、深化文本理解
    机器翻译 (Machine **Translation)**自动语言翻译，消除隔阂、促进交流
    文本摘要 (Text **Summarization)**压缩摘要、保留核心，节省时间
    问答系统(Question **Answering)**针对问题给出答案
    文本生成：据输入自动生成文本
    对话系统：模拟对话，理解上下文给出回应

NLP面临的主要挑战

• 语言、知识与推理的挑战：语言充满了多义性，根据上下文进行精准推断，对语境与文化的理解欠缺
• 技术、数据与伦理的挑战：模型幻觉、编造
  • 数据质量与稀缺性
  • 的性别歧视、种族偏见等数据偏差
  • 计算成本也水涨船高

环境准备

安装 Anaconda

• 面向数据科学和机器学习场景的 Python 发行版
• 为不同项目创建彼此隔离的虚拟环境
• https://www.anaconda.com/download/success
• 配置 Conda国内镜像

创建 base-llm专用虚拟环境

​​​​​​​