LLM - 词表示和语言模型

一. 词的相似度表示

(1): 用一系列与该词相关的词来表示

(2): 把每个词表示一个独立的符号(one hot)

(3): 利用该词上下文的词来表示该词

(3): 建立一个低维度的向量空间,用深度学习方法将该词映射到这个空间里(Word Embedding)

二:语言模型

(1): 根据前面的词序列,预测下一个词出现的概率

(2): 根据一个已经生成的词的序列,判断是合法句子的概率

(3): 联合概率和条件概率的关系

(4): 语言模型,一个句子联合的概率等于它里面的每个词基于它前面出现词的条件概率乘积

(5): N-gram Model

(6):Neural Language Model , 比如要预测下一个词出现的概率,就要对前文出现的词表示成向量, 把向量拼成一起形成一个上下文向量,然后经过一个非线性转换,然后就可以用这个向量预测下一个词到底是什么。

相关推荐
白-胖-子1 小时前
深入剖析大模型在文本生成式 AI 产品架构中的核心地位
人工智能·架构
想要成为计算机高手2 小时前
11. isaacsim4.2教程-Transform 树与Odometry
人工智能·机器人·自动驾驶·ros·rviz·isaac sim·仿真环境
静心问道3 小时前
InstructBLIP:通过指令微调迈向通用视觉-语言模型
人工智能·多模态·ai技术应用
宇称不守恒4.03 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
小楓12013 小时前
醫護行業在未來會被AI淘汰嗎?
人工智能·醫療·護理·職業
数据与人工智能律师4 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
chenchihwen4 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
说私域4 小时前
公域流量向私域流量转化策略研究——基于开源AI智能客服、AI智能名片与S2B2C商城小程序的融合应用
人工智能·小程序
Java樱木4 小时前
AI 编程工具 Trae 重要的升级。。。
人工智能
凪卄12134 小时前
图像预处理 二
人工智能·python·深度学习·计算机视觉·pycharm