AI学习记录 - TextCNN文本分类和人脑的想象力的关系

会不断更新,觉得有用就点个赞

最初始版本之将词向量使用CNN的方式进行叠加,这里讲个有趣的东西

人脑在思考的时候,例如一个人在进行推测的时候,他会进行一定的画面想象,但是在现在的大语言模型当中,至少在transformer当中,并没有给词向量叠加上这样子的想象力机制,对transformer来说,它学会的只是依据前n个字符,然后预测下一个字符,但是它并不理解字符的视觉意义,听觉意义,味觉意义,但是他理解字符的归类意义,例如"苹果"和"梨子"这两个字符组合是相近的,但是词向量中没有苹果和雪梨的颜色以及形状的意义,导致词向量和模型结构还无法叠加上视觉意义。

下面简单讲一个东西词向量应用上CNN的东西,其实我还有更加复杂的想法,留着以后说

将one-hot编码转换成词向量

将词向量使用CNN的方式进行叠加

相关推荐
GISDance几秒前
26考研 专业课 百度网盘夸克网盘
学习·考研
深兰科技3 分钟前
南昌市新建区委书记陈奕蒙会见深兰科技集团董事长陈海波一行
大数据·人工智能·ai应用·深兰科技·陈奕蒙
Xyz_Overlord5 分钟前
深度学习——简介
人工智能·深度学习·机器学习
TYUT ljk8 分钟前
Editing Language Model-based Knowledge Graph Embeddings
人工智能·知识图谱
智驱力人工智能15 分钟前
大型活动交通拥堵治理的视觉算法应用
人工智能·算法·智慧城市·边缘计算·智慧交通·车牌识别算法·堵车识别算法
HyperAI超神经31 分钟前
8k长序列建模,蛋白质语言模型Prot42仅利用目标蛋白序列即可生成高亲和力结合剂
人工智能·深度学习·机器学习·语言模型·自然语言处理·ai for science·蛋白质结构
张较瘦_40 分钟前
[论文阅读] 人工智能+软件工程 | 理解GitGoodBench:评估AI代理在Git中表现的新基准
论文阅读·人工智能·软件工程
UQI-LIUWJ42 分钟前
论文笔记:LANGUAGE MODELS REPRESENT SPACE AND TIME
人工智能·语言模型·自然语言处理
热热虎44 分钟前
医学图像分割最新进展
图像处理·人工智能·深度学习·计算机视觉
PassLink_1 小时前
Yolov5.6增加注意力机制+ByterTrack:目标检测与跟踪
人工智能·yolo·目标检测·计算机视觉·bytetrack·目标追踪