NLP 之词的表示与语言模型

表示的基本原理:

机器无法理解文字,却能进行复杂的数学运算------神经网络只要够深、够复杂,就能拟合足够复杂的数学模式。把文字嵌入(embed)到一个向量空间中去。

词表示(Word Representation)分为4代

1.独热(One hot)编码

基本原理:

假设中文字典有n个词元,那么第i(i=1,2,3,...,n)个词元的编码为一个长度为n的向量,它的第i位为1,其他为0。独热编码实现了对文本的向量化嵌入。

问题:

第一,向量的维度太长了,文本的表示过于稀疏;

第二,词向量与词向量之间完全正交,不具有相关性。

2.词频-逆文档词频(Term Frequency-Inverse Term Frequency, TF-IDF)

根据Zipf's Law,在给定的自然语言语料库中,任何一个词的频率与它在频率表中的排名成反比。

3.语境无关(Context-free/Non-contextual)的词表示:Word2vec

它对每一个词生成一个相同的词表示,不考虑同一个词在不同语境下含义的差别。

连续词袋法:

用一个浅层神经网络,依次遮住句子中的每一个词,然后用它的上下文来预测它

跳元法:

我们用一个k元词组来预测它的上下文

自监督预训练:

通过"破坏"句子的一部分,让模型预测它,从而实现对词的更精确的表示.

4.语境相关(Context-dependent/Contextual)的词表示:BERT

语言的多义性是人类自然语言的重要特点。

BERT考虑了三层嵌入:词嵌入、位置嵌入(词在句子中的位置)和句子嵌入,并把它们加起来作为最后的嵌入表示。

BERT使用WordPiece分词器(tokenizer),借鉴了自监督训练的思想,在两个任务上进行预训练:下句预测(Next Sentence Prediction)和掩码语言建模(Masked Language Modeling)。

下句预测是一个二分类任务:给定一个句子,判定另一个句子是否是它的下一句;

掩码语言建模任务随机掩盖其中15%的单词,并训练模型来预测被掩盖的单词,为了预测被掩盖的单词,模型从两个方向阅读该句并进行预测。

相关推荐
泯泷25 分钟前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
电科_银尘27 分钟前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
阿里云大数据AI技术34 分钟前
云栖实录|倍思科技 × 阿里云:让VOC洞察从“生成报告”走向“业务可用”
人工智能·elasticsearch·agent
AllData公司负责人1 小时前
第九篇:AI大模型数据开发底座系列说明书:AllData集成BISHENG开源项目建设大模型应用开发底座,涵盖可视化编排/智能助手/一键API/模型接入!
人工智能·云原生·数据分析·视觉检测·知识图谱·大模型应用·bisheng
数字新视界1 小时前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
阿里云大数据AI技术1 小时前
阿里云 EMR Serverless StarRocks(Stella)× Paimon:让多模态数据湖从“存得下”走向“找得到、用得上”
人工智能
class心平气和2 小时前
AI 赋能测试流程:从基础概念到测试全流程实战
人工智能
猿人谷2 小时前
遗传编程的未来:从进化搜索到自主发现求解方法
人工智能·深度学习·神经网络·ai-native
字节跳动开源2 小时前
OpenViking 3D理解模型上线轴测八视图及PMI解析
人工智能·开源·aigc
阿里云大数据AI技术2 小时前
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景
大数据·人工智能·agent