AI学习记录 - TextCNN文本分类和人脑的想象力的关系

会不断更新,觉得有用就点个赞

最初始版本之将词向量使用CNN的方式进行叠加,这里讲个有趣的东西

人脑在思考的时候,例如一个人在进行推测的时候,他会进行一定的画面想象,但是在现在的大语言模型当中,至少在transformer当中,并没有给词向量叠加上这样子的想象力机制,对transformer来说,它学会的只是依据前n个字符,然后预测下一个字符,但是它并不理解字符的视觉意义,听觉意义,味觉意义,但是他理解字符的归类意义,例如"苹果"和"梨子"这两个字符组合是相近的,但是词向量中没有苹果和雪梨的颜色以及形状的意义,导致词向量和模型结构还无法叠加上视觉意义。

下面简单讲一个东西词向量应用上CNN的东西,其实我还有更加复杂的想法,留着以后说

将one-hot编码转换成词向量

将词向量使用CNN的方式进行叠加

相关推荐
小姜前线技术7 分钟前
AI回答代码块高亮加一键复制
人工智能
洛阳泰山17 分钟前
从 0 到 1.6K Star:一个 Java 开源项目的增长复盘
人工智能·后端·开源
米小虾1 小时前
Agent Skill 设计模式完全指南
人工智能·agent
饼干哥哥2 小时前
保姆级教程:用Image2 + Seedance2.0 做长视频,以品牌广告为例
人工智能
米小虾2 小时前
Agent Skill 规范与 Skill-Creator 核心思想
人工智能·agent
ZhengEnCi2 小时前
09e-斯坦福CS336作业四:大规模语言模型训练数据收集与处理
人工智能
oil欧哟2 小时前
Codex 最佳实践(超级长文):先搞懂 AI,再用好 AI
前端·人工智能·后端
甲维斯3 小时前
日本发布比肩Fable5的模型?Fugu Ultra初探!
人工智能·ai编程
雪隐3 小时前
个人电脑玩AI-04让5060 Ti给你打工——本地FLUX.2 Klein 的 AI 图片生成
人工智能·后端
腾讯云开发者3 小时前
腾讯云TVP走进香港数码港,解码AI出海新范式
人工智能