【程序员 NLP 入门】词嵌入 - 上下文中的窗口大小是什么意思? (★小白必会版★)

🌟 嗨,你好,我是 青松 !

🌈 希望用我的经验,让"程序猿"的AI学习之路走的更容易些,若我的经验能为你前行的道路增添一丝轻松,我将倍感荣幸!共勉~


【程序员 NLP 入门】词嵌入 - 上下文中的窗口大小是什么意思? (★小白必会版★)


词嵌入核心问题:

一、动因篇

  • 💯 什么是词向量化技术?
  • 💯 如何让向量具有语义信息?

二、基于统计的方法

  • 💯 如何基于计数的方法表示文本?
  • 💯 上下文中的窗口大小是什么意思?
  • 💯 如何统计语料的共现矩阵?
  • 💯 基于计数的表示方法存在哪些问题?

三、基于推理的方法

  • 💯 Word2Vec的两种模型分别是什么?
  • 💯 Word2Vec 中 CBOW 指什么?
  • 💯 Word2Vec 中 Skip-gram 指什么?
  • 💯 CBOW 和 Skip-gram 哪个模型的词嵌入更好?

四、问题优化篇

  • 💯 Word2Vec训练中存在什么问题?
  • 💯 Word2Vec如何优化从中间层到输出层的计算?
    • 用负采样优化中间层到输出层的计算
    • 负采样方法的关键思想
    • 负采样的采样方法
  • 💯 为什么说Word2vec的词向量是静态的?
  • 💯 Word2vec的词向量存在哪些问题?

💯 上下文中的窗口大小是什么意思?

上下文是指某个居中单词的周围词汇。这里,我们将上下文的大小(即周围的单词有多少个)称为窗口大小(window size)。窗口大小为1,上下文包含左右各1个单词;窗口大小为2,上下文包含左右各2个单词。

窗口大小为2的上下文例子。在关注goodbye时,将其左右各2个单词用作上下文

相关推荐
牧子川15 小时前
001-Zero-shot-Prompting
人工智能·大模型·零样本
生成论实验室15 小时前
《事件关系阴阳博弈动力学:识势应势之道》第八篇:认知与反思关系——探索、定位与延续
人工智能·算法·架构·知识图谱·创业创新
大树8815 小时前
液冷从“电老虎“变“热银行“:算力废热如何变成真金白银?
人工智能
E等于MC平方15 小时前
用 Next.js + Prisma + Gemini 打造 AI 替代风险追踪平台
人工智能·ai·职业·岗位·失业·替代
段一凡-华北理工大学15 小时前
【高炉炼铁领域炉温监测、预警、调控智能体设计与应用】~系列文章10:实时预警机制:跑在问题前面!
网络·人工智能·python·知识图谱·高炉炼铁·工业智能体
β添砖java15 小时前
深度学习(20)深度卷积神经网络AlexNet
人工智能·深度学习·cnn
weixin_4080996716 小时前
身份证OCR识别如何做到99.9%准确率?揭秘石榴智能六大核心技术(矫正/完整度/翻拍检测/头像提取)
图像处理·人工智能·ocr·api接口·身份证识别·石榴智能
林小卫很行16 小时前
Obsidian 入门39:怎么创建自己的 Skill?我把五步拆给你看
人工智能
Baihai_IDP16 小时前
为什么 AI Agent 重新爱上了文件系统(Filesystems)
人工智能·llm·agent