NNLM神经网络语言模型总结

一开始还以为很复杂,总结一下就是:

NNLM 将某个单词前 n−1 个词各自转为 embedding,拼接成一个 (n−1)⋅d 维的向量,再通过隐藏层 + 输出层 + softmax,预测下一个词的概率分布

可以发现,这个2003年提出的模型在架构上和GPT大体是没区别的,都是用之前的文字预测下一个文字;都是用之前文字的embedding经过一个特殊层(前者是FFN,后者是transformer decoder)来得到一个词表向量,根据向量的分量大小选择某个单词。

后话

当然,前者的效果差多啦,也存在不能辨别n-1个token顺序等问题。但是,还是感觉挺神奇的。

相关推荐
nju_spy8 分钟前
2023 美赛C Predicting Wordle Results(上)
人工智能·机器学习·数学建模·数据挖掘·arima·时间序列预测·相关性分析
用户51914958484524 分钟前
网络安全工具与社区讨论月报
人工智能·aigc
用户5191495848451 小时前
AWS Direct Connect在菲律宾马卡蒂市推出100G扩展服务
人工智能·aigc
zzywxc7872 小时前
AI工具应用全解析:智能编码、数据标注与模型训练的协同实践
人工智能·算法·信息可视化·自动化·ai编程
CareyWYR2 小时前
每周AI论文速递(250929-251003)
人工智能
da_vinci_x2 小时前
设计稿秒出“热力图”:AI预测式可用性测试工作流,上线前洞察用户行为
前端·人工智能·ui·设计模式·可用性测试·ux·设计师
zezexihaha2 小时前
2025 AI 落地全景:从技术热潮到产业重构
人工智能·重构
zhangfeng11332 小时前
geo Counts 数据 ,机器学习 模型的外部验证 ROC外部验证数据处理流程
人工智能·机器学习·r语言·生物信息
yueyuebaobaoxinx2 小时前
从 “手工作坊” 到 “智能工厂”:2025 年 AI 原生应用重构内容创作产业
人工智能·重构
Light602 小时前
领码方案 | 掌控研发管理成熟度:从理论透视到AI驱动的实战进阶
人工智能·数字孪生·流程挖掘·动态优化·研发成熟度评估·ai预测