技术栈

文本表示

2401_84149564
4 小时前
人工智能·自然语言处理·词向量·文本表示·独热编码·词-词共现矩阵·静态词嵌入
【自然语言处理】文本表示知识点梳理与习题总结目录一、词向量表示方法1. 独热编码(One-Hot Encoding)2. 词 - 词共现矩阵(Word-Word Co-occurrence Matrix)
yvestine
4 个月前
人工智能·python·算法·自然语言处理·文本表示
自然语言处理——文本表示词语通常表示为词向量,称为look_up_table,我们可以对𝐿右乘一个词的one-hot表示𝑒得到该词的低维、稠密的实数向量表达:𝑥=𝐿e 词表规模𝑉和词向量维度𝐷如何确定?
CM莫问
9 个月前
人工智能·python·深度学习·语言模型·大模型·tokenizer·文本表示
tokenizer、tokenizer.encode、tokenizer.encode_plus比较在我们使用Transformers库进行自然语言处理任务建模的过程中,基本离不开Tokenizer类。我们需要这些Tokenizer类来帮助我们加载预训练模型的分词模块,并将文本转化为预训练模型可接受的输入格式。
我是有底线的