LLM - 词表示和语言模型

一. 词的相似度表示

(1): 用一系列与该词相关的词来表示

(2): 把每个词表示一个独立的符号(one hot)

(3): 利用该词上下文的词来表示该词

(3): 建立一个低维度的向量空间,用深度学习方法将该词映射到这个空间里(Word Embedding)

二:语言模型

(1): 根据前面的词序列,预测下一个词出现的概率

(2): 根据一个已经生成的词的序列,判断是合法句子的概率

(3): 联合概率和条件概率的关系

(4): 语言模型,一个句子联合的概率等于它里面的每个词基于它前面出现词的条件概率乘积

(5): N-gram Model

(6):Neural Language Model , 比如要预测下一个词出现的概率,就要对前文出现的词表示成向量, 把向量拼成一起形成一个上下文向量,然后经过一个非线性转换,然后就可以用这个向量预测下一个词到底是什么。

相关推荐
XIAO·宝28 分钟前
深度学习------专题《图像处理项目》终!
人工智能·深度学习
Nautiluss1 小时前
WIN7下安装RTX3050 6GB显卡驱动
人工智能·驱动开发·opencv
wwww.bo2 小时前
深度学习(5)完整版
人工智能·深度学习
yourkin6663 小时前
什么是神经网络?
人工智能·深度学习·神经网络
嘀咕博客3 小时前
Frames:Runway推出的AI图像生成模型,提供前所未有的风格控制和视觉一致性
人工智能·ai工具
isNotNullX4 小时前
ETL详解:从核心流程到典型应用场景
大数据·数据仓库·人工智能·架构·etl
科技峰行者4 小时前
通义万相2.5系列模型发布,可生成音画同步视频
人工智能·阿里云·ai·大模型·agi
Vizio<4 小时前
《面向物理交互任务的触觉传感阵列仿真》2020AIM论文解读
论文阅读·人工智能·机器人·机器人触觉
尤超宇4 小时前
基于卷积神经网络的 CIFAR-10 图像分类实验报告
人工智能·分类·cnn
alex1005 小时前
BeaverTails数据集:大模型安全对齐的关键资源与实战应用
人工智能·算法·安全