技术栈
文本表示
2401_84149564
22 天前
人工智能
·
自然语言处理
·
词向量
·
文本表示
·
独热编码
·
词-词共现矩阵
·
静态词嵌入
【自然语言处理】文本表示知识点梳理与习题总结
目录一、词向量表示方法1. 独热编码（One-Hot Encoding）2. 词 - 词共现矩阵（Word-Word Co-occurrence Matrix）
yvestine
5 个月前
人工智能
·
python
·
算法
·
自然语言处理
·
文本表示
自然语言处理——文本表示
词语通常表示为词向量，称为look_up_table,我们可以对𝐿右乘一个词的one-hot表示𝑒得到该词的低维、稠密的实数向量表达：𝑥=𝐿e 词表规模𝑉和词向量维度𝐷如何确定？
CM莫问
10 个月前
人工智能
·
python
·
深度学习
·
语言模型
·
大模型
·
tokenizer
·
文本表示
tokenizer、tokenizer.encode、tokenizer.encode_plus比较
在我们使用Transformers库进行自然语言处理任务建模的过程中，基本离不开Tokenizer类。我们需要这些Tokenizer类来帮助我们加载预训练模型的分词模块，并将文本转化为预训练模型可接受的输入格式。
我是有底线的