神经网络AI原理回顾

长期记忆存储在大模型的参数权重中,不经过推理和编码无法读取,且必须依赖输入的提示,因为大模型不会无缘无故的自言自语,毕竟输入层是它唯一

与外界交互的窗口。

目前个性化大模型的局限就是训练成本过高,除非使用RAG,否则无法分类和巩固长期记忆形成自我进化的AI。


一、大脑记忆存储机制的核心发现

  1. 海马体的短期记忆功能

    • 海马体是大脑的短期记忆中枢,负责将新接收的信息暂存并初步加工。若海马体受损,会导致短期记忆无法形成(如无法记住新电话号码)。
    • 短期记忆的存储时间约为数小时至数天,类似于计算机的RAM内存,容量有限且需要重复强化才能转化为长期记忆。
  2. 大脑皮层的长期记忆存储

    • 长期记忆通过海马体与大脑皮层之间的神经重播(Replay)机制逐步固化。研究表明,海马体在睡眠期间会将标记为重要的记忆片段传递给皮层,形成稳定的神经网络连接。
    • 皮层中的记忆表现为神经元之间突触连接的改变,形成新的神经环路。
  3. 记忆转化的动态过程

    • MIT实验显示,海马体和新皮层在记忆形成初期同时激活,但长期记忆的巩固需要数周至数月。
    • 海马体通过"尖波涟漪"事件筛选关键记忆,而皮层通过突触修剪保留高频使用的连接。

二、深度学习AI的记忆机制对比

  1. Transformer模型与海马体的相似性

    • 自注意力机制:Transformer通过全局关联计算(类似海马体的信息整合)筛选关键信息,与海马体NMDA受体调控的突触可塑性高度相似。
    • 参数调控:AI模型中类似镁离子的参数调整可控制记忆强度,模仿海马体对记忆的筛选过程。
  2. 短期记忆与长期记忆的模拟

    • AI的RAM与ROM:AI的短期记忆对应GPU显存中的临时数据,长期记忆则通过参数固化到模型权重中。
    • 记忆巩固流程:与大脑类似,AI模型通过梯度下降和反向传播将重要特征写入权重,实现记忆保存。
  3. 核心差异

    • 能耗效率:人脑功耗约20W,而训练大模型需兆瓦级电力,突显生物系统的高效性。
    • 机制复杂性:大脑记忆涉及胶质细胞、神经递质等多层级调控,而AI依赖数学建模,无法完全模拟生物细节。

三、总结:相似性与差异性

维度 大脑记忆机制 深度学习AI机制
短期存储 海马体暂存,依赖神经电活动 GPU显存临时存储,依赖矩阵运算
长期固化 皮层突触重塑,需睡眠巩固 模型权重更新,需反向传播训练
信息筛选 NMDA受体镁离子门控 自注意力权重分配
能耗效率 极低(20W) 极高(训练需兆瓦级)

四、延伸思考

  • 类脑AI的发展方向:通过模拟海马体NMDA受体机制,可设计更高效的记忆模块,如动态调整模型参数以增强重要记忆。
  • 神经科学的启示:AI模型的结构验证了大脑信息处理的部分合理性,例如Transformer与海马体功能的高度契合。
相关推荐
音视频牛哥15 小时前
具身智能的工程落地:视频-控制闭环的实践路径
人工智能·音视频·人工智能+·具身智能rtsp方案·具身智能rtmp方案·智能机器人rtsp方案·智能机器人rtmp低延迟
GEO_JYB15 小时前
从 MMLU 到 HumanEval:为什么评估大型语言模型(LLM)的基准至关重要?
人工智能·算法
FutureUniant15 小时前
GitHub每日最火火火项目(9.5)
人工智能·microsoft·计算机视觉·ai·github
视觉语言导航16 小时前
ICCV-2025 | 清华动以知景导航框架!MTU3D:连接视觉定位与探索,实现高效多样的具身导航
人工智能·具身智能
恒点虚拟仿真16 小时前
XR数字融合工作站打造智能制造专业学习新范式
人工智能·智能制造·虚拟仿真·虚拟仿真实验·xr数字融合工作站·虚拟仿真实训
豆浩宇16 小时前
学习PaddlePaddle--环境配置-Windows 11 + RTX 4060
人工智能·windows·深度学习·学习·目标检测·计算机视觉·paddlepaddle
qq_3391911416 小时前
深度学习玩游戏, 模型玩游戏,大模型+游戏 llm+game, 机器学习玩游戏,人工智能游戏陪伴,模型陪玩游戏
人工智能·深度学习·玩游戏
zskj_qcxjqr16 小时前
七彩喜微高压氧舱:科技与体验的双重革新,重新定义家用氧疗新标杆
大数据·人工智能·科技·机器人
2501_9307992416 小时前
访答知识库#Pdf转word#人工智能#Al编辑器#访答PAG#企业知识库……
人工智能
说私域16 小时前
基于开源AI智能名片链动2+1模式S2B2C商城小程序的公益课引流策略研究
人工智能·小程序·开源