【程序员 NLP 入门】词嵌入 - 上下文中的窗口大小是什么意思? (★小白必会版★)

🌟 嗨,你好,我是 青松 !

🌈 希望用我的经验,让"程序猿"的AI学习之路走的更容易些,若我的经验能为你前行的道路增添一丝轻松,我将倍感荣幸!共勉~


【程序员 NLP 入门】词嵌入 - 上下文中的窗口大小是什么意思? (★小白必会版★)


词嵌入核心问题:

一、动因篇

  • 💯 什么是词向量化技术?
  • 💯 如何让向量具有语义信息?

二、基于统计的方法

  • 💯 如何基于计数的方法表示文本?
  • 💯 上下文中的窗口大小是什么意思?
  • 💯 如何统计语料的共现矩阵?
  • 💯 基于计数的表示方法存在哪些问题?

三、基于推理的方法

  • 💯 Word2Vec的两种模型分别是什么?
  • 💯 Word2Vec 中 CBOW 指什么?
  • 💯 Word2Vec 中 Skip-gram 指什么?
  • 💯 CBOW 和 Skip-gram 哪个模型的词嵌入更好?

四、问题优化篇

  • 💯 Word2Vec训练中存在什么问题?
  • 💯 Word2Vec如何优化从中间层到输出层的计算?
    • 用负采样优化中间层到输出层的计算
    • 负采样方法的关键思想
    • 负采样的采样方法
  • 💯 为什么说Word2vec的词向量是静态的?
  • 💯 Word2vec的词向量存在哪些问题?

💯 上下文中的窗口大小是什么意思?

上下文是指某个居中单词的周围词汇。这里,我们将上下文的大小(即周围的单词有多少个)称为窗口大小(window size)。窗口大小为1,上下文包含左右各1个单词;窗口大小为2,上下文包含左右各2个单词。

窗口大小为2的上下文例子。在关注goodbye时,将其左右各2个单词用作上下文

相关推荐
网络研究院7 小时前
Cloudflare 推出 Precursor 行为监测系统,全会话追踪技术引爆 AI 机器人防御战与隐私新争议
网络·人工智能·机器人·系统·cloudflare·反爬虫
老白说数智化升级7 小时前
从一次改善到持续进化,AI如何沉淀制造现场的运营知识?
大数据·人工智能·制造
Python私教7 小时前
Django 接入 AI 大模型实战:从零做一个流式聊天网站
人工智能·python·django
Python私教8 小时前
Django 接入 MCP 实战:让 AI 安全调用数据库和业务接口
人工智能·python·django
Python私教8 小时前
Django 搭建 AI 本地知识库:文档上传、向量检索与智能问答
人工智能·python·django
会周易的程序员8 小时前
业力、死亡与共业:多智能体AI的终极形态不会是乌托邦
人工智能
犀利豆8 小时前
Claude Code Tools 研究系列(三)ExitPlanMode
人工智能·后端
星栈8 小时前
oh-my-pi工程级AI编码工使用体验
人工智能·后端·agent
建筑工程企业管理系统8 小时前
erp工程项目管理系统落地价值:实现工程多项目成本精细化核算与管控
大数据·数据库·人工智能
万岳科技系统开发9 小时前
校园跑腿外卖搭建助力高校周边商家拓展线上业务
大数据·人工智能·小程序