LLM - 词表示和语言模型

一. 词的相似度表示

(1): 用一系列与该词相关的词来表示

(2): 把每个词表示一个独立的符号(one hot)

(3): 利用该词上下文的词来表示该词

(3): 建立一个低维度的向量空间,用深度学习方法将该词映射到这个空间里(Word Embedding)

二:语言模型

(1): 根据前面的词序列,预测下一个词出现的概率

(2): 根据一个已经生成的词的序列,判断是合法句子的概率

(3): 联合概率和条件概率的关系

(4): 语言模型,一个句子联合的概率等于它里面的每个词基于它前面出现词的条件概率乘积

(5): N-gram Model

(6):Neural Language Model , 比如要预测下一个词出现的概率,就要对前文出现的词表示成向量, 把向量拼成一起形成一个上下文向量,然后经过一个非线性转换,然后就可以用这个向量预测下一个词到底是什么。

相关推荐
每日摸鱼大王几秒前
互联网摸鱼日报(2025-07-01)
人工智能
GIS小天10 分钟前
AI+预测3D新模型百十个定位预测+胆码预测+去和尾2025年7月4日第128弹
人工智能·算法·机器学习·彩票
我是小哪吒2.021 分钟前
书籍推荐-《对抗机器学习:攻击面、防御机制与人工智能中的学习理论》
人工智能·深度学习·学习·机器学习·ai·语言模型·大模型
慕婉030725 分钟前
深度学习前置知识全面解析:从机器学习到深度学习的进阶之路
人工智能·深度学习·机器学习
荔枝吻1 小时前
【AI总结】Git vs GitHub vs GitLab:深度解析三者联系与核心区别
人工智能·git·github
Jamie201901061 小时前
高档宠物食品对宠物的健康益处有哪些?
大数据·人工智能
云卓SKYDROID2 小时前
无人机载重模块技术要点分析
人工智能·无人机·科普·高科技·云卓科技
云卓SKYDROID2 小时前
无人机RTK技术要点与难点分析
人工智能·无人机·科普·高科技·云卓科技
麻雀无能为力3 小时前
CAU数据挖掘 支持向量机
人工智能·支持向量机·数据挖掘·中国农业大学计算机
智能汽车人3 小时前
Robot---能打羽毛球的机器人
人工智能·机器人·强化学习