NLP入门

NLP入门+文本预处理

什么是自然语言处理?

让计算机去理解人类语言

认识文本预处理

文本预处理及作用

前提:之前用pandas等进行数据分析,也属于文本预处理的范围

文本预处理作用:将文本转换成模型能够识别的形式,进而实现模型的训练

文本预处理的基本方法:

分词:

分词的意义:

一般实现模型训练的时候,模型接受的文本基本最小单位是词语,因此我们需要对文本进行分词

词语是语意理解的基本单元

英文具有天然的空格分隔符,而中文分词的目的:寻找一个合适的分词边界,进行准确分词

常用分词工具:

jieba分词工具

精确模式:就是按照人类擅长的表达词汇的习惯来分词

全模式分词:将尽可能成词的词汇分割出来

搜索引擎模式:

在精确模式分词的基础上,将长粒度的词再次切分

支持中文繁体分词

支持用户自定义词典

词典的意义:

可以根据自定义词典,修改jieba分词方式,优先考虑词典里面的词来切分

格式:词语 词频(可省略) 词性(可省略)

命名实体识别(NER)

定义:

命名实体:通常指: 人名,地名,机构名等专有名词

NER:从一段文本中识别出上述描述的命名实体

实现方式:

模型训练(后续项目)

词性标注

定义:

对每个词语进行词性的标注: 动词,名词,形容词等

文本张量的表示方式

文本张量表示

意义:将文本转换为向量(数字)的形式,使得模型能够识别进而实现训练,一般是进行词向量的表示实现的方式:

one-hot

word2Vec

wordEmbedding

One-Hot 词向量表示

定义:针对每一个词汇,都会用一个向量表示,向量的长度是n,n代表去重 之后的词汇总量,而且向量只有0,和1两种数字

俗称:独热编码,01编码

ONe-Hot编码的缺点

割裂了词与词之间的联系

如果n过大,会导致占用大量的内存(维度爆炸)

Word2Vec模型

Word2Vec是一种无监督训练方法,本质是训练一个模型,将模型的参数矩阵当作所有词汇的词向量表示

两种训练方式: cbow,skipgram

CBOW介绍

给一段文本,选择一定的窗口,然后利用上下文预测中间目标值

相关推荐
丁学文武5 小时前
大模型原理与实践:第一章-NLP基础概念完整指南_第2部分-各种任务(实体识别、关系抽取、文本摘要、机器翻译、自动问答)
自然语言处理·nlp·机器翻译·文本摘要·实体识别·大模型应用·自动问答
东方芷兰3 天前
LLM 笔记 —— 03 大语言模型安全性评定
人工智能·笔记·python·语言模型·自然语言处理·nlp·gpt-3
丁学文武3 天前
大模型原理与实践:第三章-预训练语言模型详解_第1部分-Encoder-only(BERT、RoBERTa、ALBERT)
人工智能·语言模型·nlp·bert·roberta·大模型应用·encoder-only
技术小黑4 天前
NLP学习系列 | 构建词典
人工智能·nlp
l12345sy6 天前
Day31_【 NLP _1.文本预处理 _(1)文本处理的基本方法】
人工智能·自然语言处理·nlp·文本基本处理·jieba词性标注对照表
冰糖猕猴桃10 天前
【AI】详解BERT的输出张量pooler_output
人工智能·自然语言处理·nlp·bert·pooler_output
jerryinwuhan14 天前
公共安全事件分析-3
人工智能·语言模型·自然语言处理·nlp·知识图谱
中科逸视OCR22 天前
当OCR遇见NLP:解析深度学习发票识别中的语义理解与关系抽取模块
nlp·ocr·发票识别
fanstuck23 天前
Prompt提示工程上手指南(六):AI避免“幻觉”(Hallucination)策略下的Prompt
人工智能·语言模型·自然语言处理·nlp·prompt
kida_yuan23 天前
【从零开始】14. 数据评分与筛选
python·数据分析·nlp