【程序员 NLP 入门】词嵌入 - 上下文中的窗口大小是什么意思? (★小白必会版★)

🌟 嗨,你好,我是 青松 !

🌈 希望用我的经验,让"程序猿"的AI学习之路走的更容易些,若我的经验能为你前行的道路增添一丝轻松,我将倍感荣幸!共勉~


【程序员 NLP 入门】词嵌入 - 上下文中的窗口大小是什么意思? (★小白必会版★)


词嵌入核心问题:

一、动因篇

  • 💯 什么是词向量化技术?
  • 💯 如何让向量具有语义信息?

二、基于统计的方法

  • 💯 如何基于计数的方法表示文本?
  • 💯 上下文中的窗口大小是什么意思?
  • 💯 如何统计语料的共现矩阵?
  • 💯 基于计数的表示方法存在哪些问题?

三、基于推理的方法

  • 💯 Word2Vec的两种模型分别是什么?
  • 💯 Word2Vec 中 CBOW 指什么?
  • 💯 Word2Vec 中 Skip-gram 指什么?
  • 💯 CBOW 和 Skip-gram 哪个模型的词嵌入更好?

四、问题优化篇

  • 💯 Word2Vec训练中存在什么问题?
  • 💯 Word2Vec如何优化从中间层到输出层的计算?
    • 用负采样优化中间层到输出层的计算
    • 负采样方法的关键思想
    • 负采样的采样方法
  • 💯 为什么说Word2vec的词向量是静态的?
  • 💯 Word2vec的词向量存在哪些问题?

💯 上下文中的窗口大小是什么意思?

上下文是指某个居中单词的周围词汇。这里,我们将上下文的大小(即周围的单词有多少个)称为窗口大小(window size)。窗口大小为1,上下文包含左右各1个单词;窗口大小为2,上下文包含左右各2个单词。

窗口大小为2的上下文例子。在关注goodbye时,将其左右各2个单词用作上下文

相关推荐
兴趣使然黄小黄3 小时前
【AI-agent】LangChain开发智能体工具流程
人工智能·microsoft·langchain
出门吃三碗饭3 小时前
Transformer前世今生——使用pytorch实现多头注意力(八)
人工智能·深度学习·transformer
l1t3 小时前
利用DeepSeek改写SQLite版本的二进制位数独求解SQL
数据库·人工智能·sql·sqlite
说私域3 小时前
开源AI智能名片链动2+1模式S2B2C商城小程序FAQ设计及其意义探究
人工智能·小程序
开利网络4 小时前
合规底线:健康产品营销的红线与避坑指南
大数据·前端·人工智能·云计算·1024程序员节
非著名架构师4 小时前
量化“天气风险”:金融与保险机构如何利用气候大数据实现精准定价与投资决策
大数据·人工智能·新能源风光提高精度·疾风气象大模型4.0
熙梦数字化5 小时前
2025汽车零部件行业数字化转型落地方案
大数据·人工智能·汽车
刘海东刘海东5 小时前
逻辑方程结构图语言的机器实现(草稿)
人工智能
亮剑20185 小时前
第2节:程序逻辑与控制流——让程序“思考”
开发语言·c++·人工智能
hixiong1235 小时前
C# OpenCVSharp使用 读光-票证检测矫正模型
人工智能·opencv·c#