AI学习记录 - TextCNN文本分类和人脑的想象力的关系

会不断更新,觉得有用就点个赞

最初始版本之将词向量使用CNN的方式进行叠加,这里讲个有趣的东西

人脑在思考的时候,例如一个人在进行推测的时候,他会进行一定的画面想象,但是在现在的大语言模型当中,至少在transformer当中,并没有给词向量叠加上这样子的想象力机制,对transformer来说,它学会的只是依据前n个字符,然后预测下一个字符,但是它并不理解字符的视觉意义,听觉意义,味觉意义,但是他理解字符的归类意义,例如"苹果"和"梨子"这两个字符组合是相近的,但是词向量中没有苹果和雪梨的颜色以及形状的意义,导致词向量和模型结构还无法叠加上视觉意义。

下面简单讲一个东西词向量应用上CNN的东西,其实我还有更加复杂的想法,留着以后说

将one-hot编码转换成词向量

将词向量使用CNN的方式进行叠加

相关推荐
沃恩智慧4 分钟前
超越CNN和Transformer!Mamba结合多模态统领图像任务!
人工智能·cnn·transformer
RanceGru7 分钟前
LLM学习笔记5——本地部署ComfyUI和Wan2.1-T2V-1.3B文生视频模型
笔记·学习·stable diffusion·transformer
molong93123 分钟前
Activity/Service/Broadcast/ContentProvider 生命周期交互
android·学习·交互
楼田莉子30 分钟前
python学习:爬虫+项目测试
后端·爬虫·python·学习
MYZR135 分钟前
手持终端的技术演进:从移动计算到智能物联
人工智能·智能家居·核心板·ssd2351
桂花饼36 分钟前
Sora 2:当AI视频“以假乱真”,内容创作进入新纪元,体验AI创作能力
人工智能·aigc·多模态学习·ai视频生成·sora 2·视频生成api
x_lrong40 分钟前
个人AI环境快速搭建
人工智能·笔记
嘉年华-cocos1 小时前
高中3500个单词, 纯粹数据版, 助力背诵, 按相似度+从短到长 排序
学习·英语·背单词·音标·记单词
陆业聪1 小时前
AI智能体的未来:从语言泛化到交互革命
人工智能·交互
东风西巷1 小时前
draw.io(免费流程图制作工具) 中文绿色版
学习·电脑·流程图·软件需求·draw.io