LLM - 词表示和语言模型

一. 词的相似度表示

(1): 用一系列与该词相关的词来表示

(2): 把每个词表示一个独立的符号(one hot)

(3): 利用该词上下文的词来表示该词

(3): 建立一个低维度的向量空间,用深度学习方法将该词映射到这个空间里(Word Embedding)

二:语言模型

(1): 根据前面的词序列,预测下一个词出现的概率

(2): 根据一个已经生成的词的序列,判断是合法句子的概率

(3): 联合概率和条件概率的关系

(4): 语言模型,一个句子联合的概率等于它里面的每个词基于它前面出现词的条件概率乘积

(5): N-gram Model

(6):Neural Language Model , 比如要预测下一个词出现的概率,就要对前文出现的词表示成向量, 把向量拼成一起形成一个上下文向量,然后经过一个非线性转换,然后就可以用这个向量预测下一个词到底是什么。

相关推荐
fundroid12 小时前
AI 创业的机遇、趋势与实践指南 - 吴恩达在 YC AI Startup School 演讲深度解读
人工智能
bst@微胖子13 小时前
WGAI项目图像视频语音识别功能
人工智能·语音识别·xcode
胖达不服输13 小时前
「日拱一码」081 机器学习——梯度增强特征选择GBFS
人工智能·python·算法·机器学习·梯度增强特征选择·gbfs
大千AI助手13 小时前
VeRL:强化学习与大模型训练的高效融合框架
人工智能·深度学习·神经网络·llm·强化学习·verl·字节跳动seed
灵犀物润13 小时前
2025年AI PPT必修课-汇报中AI相关内容的“陷阱”与“亮点”
人工智能·powerpoint
TMT星球13 小时前
发布工业智能体,云从科技打造制造业AI“运营大脑”
大数据·人工智能·科技
星空的资源小屋13 小时前
PPTist,一个完全免费的 AI 生成 PPT 在线网站
人工智能·python·电脑·excel
全年无休的IT老兵13 小时前
使用AI工具一句话生成PPT
人工智能·powerpoint
初级炼丹师(爱说实话版)13 小时前
2025算法八股——深度学习——优化器小结
人工智能·深度学习·算法
开开心心_Every13 小时前
免费语音合成工具:66种音色随心选
人工智能·面试·java-ee·计算机外设·电脑·maven·excel