AI学习记录 - TextCNN文本分类和人脑的想象力的关系

会不断更新,觉得有用就点个赞

最初始版本之将词向量使用CNN的方式进行叠加,这里讲个有趣的东西

人脑在思考的时候,例如一个人在进行推测的时候,他会进行一定的画面想象,但是在现在的大语言模型当中,至少在transformer当中,并没有给词向量叠加上这样子的想象力机制,对transformer来说,它学会的只是依据前n个字符,然后预测下一个字符,但是它并不理解字符的视觉意义,听觉意义,味觉意义,但是他理解字符的归类意义,例如"苹果"和"梨子"这两个字符组合是相近的,但是词向量中没有苹果和雪梨的颜色以及形状的意义,导致词向量和模型结构还无法叠加上视觉意义。

下面简单讲一个东西词向量应用上CNN的东西,其实我还有更加复杂的想法,留着以后说

将one-hot编码转换成词向量

将词向量使用CNN的方式进行叠加

相关推荐
RFID舜识物联网8 分钟前
RFID测温技术:电力设备安全监测的新利器
网络·人工智能·嵌入式硬件·物联网·安全
豪越大豪8 分钟前
豪越消防一体化安全管控平台新亮点: AI功能、智能运维以及消防处置知识库
大数据·人工智能·运维开发
9命怪猫19 分钟前
AI大模型-提示工程学习笔记13—自动提示工程师 (Automatic Prompt Engineer)
人工智能·ai·大模型·prompt
Daitu_Adam1 小时前
Windows11安装GPU版本Pytorch2.6教程
人工智能·pytorch·python·深度学习
阿正的梦工坊1 小时前
Grouped-Query Attention(GQA)详解: Pytorch实现
人工智能·pytorch·python
Aphelios3801 小时前
Linux 下 VIM 编辑器学习记录:从基础到进阶(下)
java·linux·学习·编辑器·vim
Best_Me071 小时前
【CVPR2024-工业异常检测】PromptAD:与只有正常样本的少样本异常检测的学习提示
人工智能·学习·算法·计算机视觉
山海青风1 小时前
从零开始玩转TensorFlow:小明的机器学习故事 4
人工智能·机器学习·tensorflow
YoseZang2 小时前
【机器学习】信息熵 交叉熵和相对熵
人工智能·深度学习·机器学习
日记成书2 小时前
详细介绍STM32(32位单片机)外设应用
stm32·学习