大模型|基础_word2vec

文章目录

Word2Vec

将词转化为向量后,会发现king和queen的差别与man和woman的差别是类似的,而在几何空间上,这样的差别将会以平行的关系进行表达。

会使用滑动窗口的机制。

滑动窗口内会有一个target目标词(上图蓝色部分),滑动窗口其他部分就是context word上下文,可见,这个上下文大小受限于滑动窗口的大小。

词袋模型CBOW Continuous Bag-of-Words

通过上下文context预测目标词target。

比如通过Never和late去预测出too来,先通过one-hot编码来对Never和late进行编码,并且借编码结果分别找到对应的词向量,然后将never和late的词向量去取平均,在和词库里面的每个词的词向量去做点积(点积能够反映向量的相似性)处理,然后将各个点积的结果,然后用softmax将其转化成概率,概率最大者,即为推理出来的结果。

(不是很懂,为什么还要对已知的词进行预测,可能是为了训练模型,来提高下一次,窗口框住相同的词,能够迸出target)

Continuous Skip-Gram

使用目标词target来反向预测上下文context。

需要注意的是,上下文单词有可能是有多的,而target只有一个,用target去预测一组上下文单词是比较困难的(可能把组当成是一个元素,存储空间太大了),于是预测的目标还是将一组单词进行拆分。

存在的问题

内容过多导致反向传播和梯度下降的执行过程所耗费的时间相对大。

解决方案

使用分层softmax和负采样。

负采样前

负采样后

由此观察,dim从V降成了5

其他技巧

f代表频次,f(w)即w这个词出现的次数。

而按次数去区分词,可以将词分为高频词和罕见词。

罕见词相比高频词能够蕴含更多的含义。

比如说"的","了"等助词只能在结构上起到完善的作用。

而罕见词往往能够带来更多的意义和区分度,更具有信息价值,所以可以通过上述这个可通过t来调节的式子来提前删去高频词。

相关推荐
玄魂13 分钟前
小红书/抖音图文排版利器——一个杂志风skill
人工智能·agent·视觉设计
写标小何43 分钟前
AI 标书工具技术架构解析:从文件解析到排版导出的工程实践
人工智能
敖老师1 小时前
DeepSeek Harness Web 版从装到用:dsh web 启动、接入本地 Ollama 全流程
人工智能
阿里云大数据AI技术1 小时前
DataWorks AI 数据生成:一条配置,量产多行业的仿真级业务数据
人工智能
QA老兵的AI实战手记1 小时前
别再用人工盯 AI 幻觉了:我手搓了一套带“代码审查拦截”的 AI 效能大屏(附源码)
人工智能
火山引擎开发者社区1 小时前
APMPlus・看得见的 Agent(三) | Agent 说完成,结果却不对?APMPlus Agent 轨迹帮你查清执行过程
人工智能
羲云网络1 小时前
Claude Fable 5.2 创意编程分析:程序化生成、多智能体协作与工程验收
人工智能·大语言模型·blender·游戏开发
Linye1 小时前
HTML 流程图连线交叉看不清?聊聊画布避障折线与跳弧实现
前端·人工智能
weixin_469163692 小时前
金融租赁项目管理:维普时代以混合模型+AI实现管控与效率兼得
人工智能·金融
框架那些事儿2 小时前
深入 Pi 源码:一个优秀的 Agent,是如何管理上下文的?
人工智能·ai编程·全栈