文本表示方法

词向量

独热编码模型和分布式表征模型

独热编码 分布式表征
固定长度的稠密词向量
优点 一个单词一个维度,彼此之间构成标准正交向量组 数字化后的数值可以表示语义上的关系
缺点 稀疏, 词向量维度大导致计算效率低

独热编码会根据语料库中的单词个数,来确定词向量的维度

分布式表征,预先确定词向量的维度,生成的词向量

文本表示方法

基于统计的词向量

词袋模型 Bag of words, BOW

忽略文本中词语的顺序和语法结构 ,将文本视为词的集合,通过词汇表中每个单词在文本中出现的次数来表示文本。

TF-IDF

单词在特定文本中的重要性得分表示为:单词在文本出现的频率和出现改单词的文本数量在语料库中的频率。

基于神经网络的词向量

Word2Vec

Word2Vec 有两种架构:CBOW(Continuous Bag of Words) 和 Skip-Gram。其中,CBOW 是根据上下文来预测中心词,而 Skip-Gram 是根据中心词来预测上下文。

例如:you say goodbye and i say hello.

如果上下文窗口为 1,对于 CBOW 来说,you say goodbye 中的目标预测词为 say,上下文为 you goodbye。

CBOW
训练过程

构建训练集和测试集。

you say goodbye and i say hello.设定上下文窗口为 1.

上下文 目标词
you goodbye say
say and goodbye
goodbye i and
and say i
i hello say
  1. 文本预处理。假设词汇表大小为 V,词向量为 d

word2vec连续词袋模型CBOW详解,使用Pytorch实现 - 知乎

Glove

基于单词的共现矩阵来学习词向量。其中,共现矩阵记录两个单词在语料库中共现的次数。


Transformer 相较于 RNN 的改进

  1. 并行计算
  2. 因为 attention 机制能一次获取全局信息,所以最长计算路径短
  3. 可以捕捉长距离依赖关系
相关推荐
xidianjiapei0012 天前
LLM架构解析:词嵌入模型 Word Embeddings(第二部分)—— 从基础原理到实践应用的深度探索
llm·bert·word2vec·elmo·cbow·llm架构·词嵌入模型
闭月之泪舞5 天前
TF-IDF——自然语言处理——红楼梦案例
tf-idf
梦丶晓羽22 天前
自然语言处理:无监督朴素贝叶斯模型
人工智能·python·自然语言处理·tf-idf·贝叶斯定理·词袋模型·无监督朴素贝叶斯模型
梦丶晓羽1 个月前
自然语言处理:文本表示
人工智能·python·自然语言处理·tf-idf·word2vec·glove
htuhxf2 个月前
TfidfVectorizer
python·自然语言处理·nlp·tf-idf·文本特征
&永恒的星河&2 个月前
深度剖析:NLP 领域基于 TF-IDF 和 Text-Rank 的关键字提取原理
人工智能·ai·自然语言处理·nlp·tf-idf·pagerank·textrank
是十一月末3 个月前
自然语言处理之jieba分词和TF-IDF分析
开发语言·python·自然语言处理·tf-idf·jieba
橙子小哥的代码世界4 个月前
NLP任务四大范式的进阶历程:从传统TF-IDF到Prompt-Tuning(提示词微调)
人工智能·深度学习·神经网络·自然语言处理·prompt·tf-idf
人工智障调包侠5 个月前
Pytorch从0复现worc2vec skipgram模型及fasttext训练维基百科语料词向量演示
人工智能·pytorch·自然语言处理·nlp·word2vec·词向量·skipgram