20-6 记忆整合(AGI基础理论)

《智能的理论》全书转至目录****

不同AGI的研究路线对比简化版:《AGI(具身智能)路线对比》,欢迎各位参与讨论、批评或建议。

一.联结记忆(刘泽军,王余娟和郭春彦,2019;吴丽娜,2022)

1.定义与分类

在日常生活中,一个人迎面而来,你可以很清楚地意识到这个人是你认识的,这种记忆称之为项目记忆;当你将这个人与名字联系起来,便形成联结记忆。具体而言,项目记忆是指对项目本身的记忆;而联结记忆是指项目与项目之间形成联结的记忆。

根据Mayes等人(2007)的划分,联结记忆分为项目内联结记忆、领域内项目间联结记忆和跨领域项目间联结记忆。其中,(a)项目内联结记忆是指对项目与其特征的记忆,如物体-颜色(物体与它的颜色的联结);(b)领域内项目间联结记忆是指对同一类型中的两个或多个项目的记忆,如词-词或者图片-图片等;(c)跨领域项目间联结记忆则是指不同领域中的两个或者多个项目的记忆,如面孔-名字或者物品-价格等。

2.研究范式

(1)联结再认范式

联结再认范式分为学习阶段和测试阶段。在学习阶段,要求被试记住刺激项目对(如项目-项目,项目-背景,以及它们之间的关系)。在测验阶段,被试需要对呈现的项目对做出三种类型的判断,相同关系、重组关系和新关系。相同关系是指该项目对(两个项目及其配对关系)在学习阶段在出现过;重组关系是指该项目对的两个项目在学习阶段出现过,但是这两个项目在学习阶段没有配对过,它们之间的配对是在测试阶段中出现的;新关系是指测试阶段出现的项目都是新的,在学习阶段没有出现过。(Humphreys,1976)

(b)R/K范式

在学习阶段,要求被试记住所呈现的刺激项目。测验阶段,第一步要求被试对测试刺激项目进行新旧判断,"新"是指该项目在学习阶段中未出现过,"旧"是指该项目在学习阶段出现过。第二步则要求被试对判断为旧的项目进行"记得"(R)和"知道"(K)判断,其中记得是指被试清楚地记得这些项目,能回忆起单词呈现时的细节;而知道是指仅仅知道项目是先前呈现过的,并不记得呈现时的细节,或者仅仅是凭熟悉感进行再认(Williams和Lindsay,2019)。

3.新旧效应

新旧效应是指正确再认旧项目要比正确拒绝新项目的ERPs波形更正(新旧判断范式中)。联结再认的新旧效应主要包含两个部分:早期新旧效应和晚期新旧效应(梁九清,2013)。

早期新旧效应又包括两部分:(a)"FN400新旧效应"主要分布在额中部位,又称为"额区新旧效应"。它是出现在刺激呈现后约300~500ms的负波,与熟悉性相关,"FN400新旧效应"越大代表熟悉性越强(知道);(b)"LPC新旧效应"主要分布在左侧顶区,又称为"左侧顶区新旧效应"。它是出现在刺激呈现后约500~800ms的正波,与回想相关,"PC 新旧效应"越大代表被试回想到更多的细节性信息(记得)。

晚期新旧效应反映记忆提取后的加工,出现在刺激呈现后的大约700ms以后,包括两部分:(a)"PFC新旧效应",主要分布在右侧额区,又称为"晚期额区新旧效应"。它在刺激呈现后大约700~1500ms出现,反映的是从信息提取到做出判断之间的过程,即信息激活和检索后的加工,"PFC新旧效应"越大代表被试在策略提取和决策时需要花费更多的认知资源(Allan eta.,2001);(b)"LPN新旧效应",主要分布在顶-枕区,又称为"晚期后部新旧效应"。它在刺激呈现后大约800~1200ms出现,反映的是信息成功提取后的记忆评估过程,需要特别注意的是,"LPN新旧效应"是一种负向新旧效应,具体表现为旧项目引起的ERPs波形比新项目引起的ERPs波形更负,且"LPN新旧效应"越大代表被试需要更多的认知资源来应对评估。

4.双加工理论

双加工理论认为,再认是由两种相互独立、本质不同的加工过程所支持:熟悉性加工和回想加工(赵广平和郭秀艳,2014)。其中,熟悉性是速度较快的自动化加工,它代表个体对项目的熟悉程度,但这种加工不能提取学习过程中的相关细节,反映的是个体对项目的知道感;而回想是一种较慢的、需要更多意志努力才能完成的加工过程,不仅可以正确地再认出学习过的项目,而且还能提取出学习过程中的某些细节,反映的是个体对项目的记得感(Yonelinas,Aly,Wang和Koen,2010)。简单点说,记得反应体现回想加工过程,而知道反应体现熟悉性加工过程。这一观点得到实验研究的证实,如Koenig等人(Koenig,Wimmer和Trippas,2020)考察了项目重复和反应时间限制是如何影响儿童再认时的熟悉性加工和回想加工,结果发现了两种加工方式的分离。具体的说,(a)回想加工可以通过项目的重复呈现而被增强,(b)通过反应时间的限制使回想加工被减弱,(c)熟悉性加工不受反应时间限制的影响。

5.整合假说

Yonelinas(2002)提出的整合假说认为,如果两个或多个相分离的刺激材料之间存在某种联系,可以在编码阶段被整合成一个单一、整体的单元,该过程也被称为整合编码。对于经过整合编码的材料而言,个体能够在编码阶段对其形成整体表征,从而在记忆提取时,可以更好地利用项目间的先验关系,在看到其中一个项目时,能更快更准地回想起与之相关联的其它项目,从而提高联结记忆的效率(赵梦阳等,2019)。依据整合时信息流的方向,可以将整合分为自上而下的整合自下而上的整合

6.自上而下的整合和自下而上的整合

依据整合时信息流的方向,可以将整合分为自上而下的整合和自下而上的整合。

自上而下的整合依赖于加工时的指导语,常用的方法有交互表象法、项目表象法和概念定义法(Diana,Yonelinas和Ranganath,2008;Quamme,Yonelinas和Norman,2007;Rhodes和Donaldson,2008;Shao,Opitz,Yang和Weng,2016)。其中,交互表象法要求被试将给出的两个元素融合为一个整体表象,它是一种高整合水平的联结表征;项目表象法则是将两个元素相关联,相比前一种整合类型,它是低整合水平的项目表征。以大象-红色为例,在交互表象条件下,被试将大象和红色编码为一个单一的整体表象(一头红色的大象),并判断这个表象是否合理;在项目表象条件下,被试将大象和红色编码为两个相关的表象(一头大象站在红色信号灯旁边);而概念定义法则通过使用一个合理定义把两个不相关的词整合成一个新概念,形成高整合水平的联结表征,或通过一个句子框架将两个不相关的词分别填充进去,形成低整合水平的项目表征。例如"云彩-草地",在概念定义条件下,可表示为"一块凝望天空的草地";而在句子填充条件下,可表示为"云彩能够从草地上看到"。

自下而上的整合则依赖项目间的知觉特性或内在关系来整合,可以分为知觉整合和概念整合。其中,知觉整合是指项目对属于现在的时间关系的整合(同时呈现或继时呈现的项目更容易被编码为一个整体)或项目对属于同一感觉通道等的整合(同一感觉通道(视觉通道、听觉通道等)的项目更容易被编码为一个整体);而概念整合则依赖于项目之间已有的联结或语义关系,如整合程度由高到低的三类词,常见合成词(交通-堵塞),语义相关词(小提琴-吉他)和语义无关词(苹果-帽子)等。(刘泽军,王余娟和郭春彦,2019)

7.整合对联结记忆中项目的项目再认的影响

关于整合能促进联结再认的观点已被广泛接受,但关于整合是否能对联结记忆中的项目再认造成影响则存在较大分歧。主要有两种对立的观点,一种是"只有收益"观点,另一种是"收支平衡"观点。前者认为整合在促进联结再认时不影响项目再认,这是因为联结编码是在项目编码的基础上完成的;后者认为整合促进联结记忆是以损害项目记忆为代价的,因为被试将更多的注意资源投放到联结编码中,同时减少了对项目编码的资源导致项目编码受损。

(1)"只有收益"观点

Hockley和Cristi(1996)进行了一系列的研究探讨了整合对联结记忆中项目再认的影响。实验包括项目信息编码条件(使用项目表象法,或分别对两个项目形成两个独立句子)或联结信息编码条件(使用交互表象法,或形成一个句子来表征联结项目),两种条件有不同的整合水平。在实验中,学习阶段分别使用上述两种编码条件来记忆学习材料,测验阶段完成项目再认和联结再认。结果发现,在项目信息编码条件下,项目再认表现明显好于联结再认表现;而在联结信息编码条件下,项目再认表现与联结再认表现之间没有显著的差别;对于联结再认,联结信息编码条件的表现比项目信息编码条件的更好;对于项目再认,项目信息编码和联结信息编码两种条件下的表现没有显著差异。这一结果表明整合促进联结再认但不影响项目再认。

(2)"收支平衡"观点

Shao和Weng(2011)在其研究中,探讨了编码材料的性质(联结词和无关词)和编码任务类型(整合和非整合)对联结再认和项目再认的影响。结果发现,在联结再认上,整合编码比非整合编码,联结词编码比无关词编码有更高的准确率;而在项目再认上,结果正好相反,整合编码和联结词编码比非整合编码和无关词编码有更低的项目再认准确率。

Tibon等人(Tibon,Gronau和Levy,2017)认为由于认知资源有限,整合对联结再认和项目再认的作用是一个竞争认知资源的过程,这种竞争与实验材料和整合编码的方式有关。在自上而下的整合策略(概念定义法、交互表象法等)条件下,由于实验材料之间的无关性(如大象-红色),在进行整合编码时,更多的认知资源被投放到联结编码形成的整体表征上,而较少的认知资源被投放到项目编码上,因而导致联结再认成绩的提高和项目再认成绩的下降。而在自下而上的整合策略(合成词、联结词和无关词等)条件下,由于实验前材料之间已有联结(如交通-堵塞),联结在进行整合编码时占用较少的认知资源,而保留较多的认知资源应用于项目的编码,因而导致联结再认成绩和项目再认成绩的同时提高。

8.影响因素

(1)熟悉性加工和回想加工

双加工理论认为,项目记忆即可通过回想加工支持也可通过熟悉性加工支持,而联结记忆只能由回想加工所支持。相反,整合假说认为,联结记忆不但能通过回想加工支持,还能通过熟悉性加工支持。如果不同项目-项目、项目-背景之间存在某种联系,可以进行整合编码形成一个整体时,那么在联结记忆的过程中,熟悉性也可以起作用,即整合编码可以通过增强熟悉性的作用以促进联结记忆(Lu,Liu,Wang和Guo,2020;Xie,Liu和Guo,2022)。

(2)整合策略

研究发现,不论采用哪种整合编码策略,都能发现整合促进联结记忆。另外,较于低整合水平编码,高整合水平编码对联结记忆的促进效果更好,进而提高联结再认的表现。Parks和Yonelinas(2015)采用概念定义法来控制整合水平,结果发现相比句子填充编码,概念定义编码条件下"知道"和"记得"的联结再认的表现都变得更好(分别对应熟悉性加工和回想加工)。Diana,Yonelinas和Ranganath(2008)采用交互表象法和项目表象法来控制整合水平,结果也发现相较于项目表象条件,在交互表象条件下形成的整体表征促进了"知道"的联结再认,但对"记得"的联结再认没有影响。Zheng等(Zheng,Li,Xiao,Broster等人,2015)采用语义相关或无关的单词对来控制整合水平,结果发现,在语义相关条件下出现明了明显的早期新旧效应,而在语义无关词对条件下没有出现这一效应。这表明语义相关性促进了整合编码形成的一体表征,进而促进了"知道"的联结再认。

(3)材料

研究者们在针对不同材料类型的研究中发现,联结记忆存在图片优势效应(郭若宇等,2021),即对图片材料的联结记忆效率高于文字材料;在研究动作联结记忆时发现,联结记忆存在操作效应,即在记忆动作事件时,做出相应的动作操作的成绩要比单纯语言记忆的成绩更好(14-2:个体、任务与环境);针对跨领域项目间联结记忆,Headen等人(Headen,Venuto和James,2023)考察了姓氏的使用频率对"面孔-姓名"对联结再认的影响,发现学习频率低或者稀有的姓氏比学习频率高或者普通的姓氏更难。

二.记忆整合

1.定义

记忆是一个不断累积添加新知识的开放系统,这些新知识的一部分是通过直接观察或学习(直接经验)获得。另外,个体也可以有意识或无意识地将两个或多个独立但相关的信息结合起来生成新信息,这个生成新信息的过程就是记忆整合(Bauer和Souci,2010)。这种方式可以将知识扩展到直接经验之外,例如,当学习者在之前的一堂课上学习到"世界上最大的火山坐落在夏威夷",而在其他渠道获得"莫纳罗亚山是世界上最大的火山",由于两个分离的知识都含有"世界上最大的火山"这一相同的元素,通过公共元素将两个信息结合起来就可以生成"莫纳罗亚山坐落在夏威夷"。被整合的知识称为主干事实,而整合所得的新知识被称为整合事实。整合事实能被个体迅速纳入知识库,保持在长时记忆中(Bauer和Jackson,2015;Varga和Bauer,2013)。

Bauer和Larkina(2017)发现8岁的孩子比6岁的孩子在整合上有更好的表现,其整合生成成绩分别为 83%和 50%,很明显随着年龄的增长,儿童的记忆整合能力表现的越来越好。且随着年龄的增长,整合发生的自动化程度也有所变化,对于成年人来说,整合这一环节是自动发生的(Bauer,Esposito和Daly,2020)。而对于幼儿和小学低年级儿童而言,整合是在一些提示或要求才可能发生的(Bauer和Souci,2010;Shing,Finke,Hoffmann和Pajkert 等人,2019)。另外,已有研究(Bauer和Jackson,2015)表明,在学习完相关的知识信息,再呈现整合的新知识后,前400ms大学生被试的大脑对新知识的反应介于新知识和熟知事实之间。当第二次呈现整合的新知识时,被试已经将它视为熟知信息对待。

2.研究范式

关于记忆整合能力的研究方法,目前已有的较为成熟的包括故事段落范式(图文形式,(一般针对儿童)和句子分离范式等(纯文字形式,针对儿童和成人)。大致流程是,以图文或纯文字的形式先后呈现一些事件或事实,这些事件或事实中包含一些主干事实信息和无关信息,相关的主干事实信息通过时间或者其他无关信息分离。在学习完这些事件和事实后,对被试被进行开放式问题提问或多项选择题式提问,或向被试提供另外一些测试句子并同时测试脑电情况。(Bauer,Esposito和Daly,2020;Bauer和Jackson,2015)

以Bauer和Jackson(2015)的句子分离范式进行说明。在学习阶段,被试需要先后观察120个句子。其中,80个句子是无关事实信息,根据弗吉尼亚州的学术标准,这些无关事实分别应该在小学阶段("一年有365天")、中学阶段("六边形有六条边")、高中阶段("《九十五条论纲》是新教改革的催化剂")或大学阶段("地中海贫血是由血红蛋白缺陷引起的")所掌握(被试可能知道这些事实,也可能不知道);其余40个句子是20对不太可能为被试所知的相关事实("世界上最大的生物圈是北方森林"和"北方森林是泰加林"),这些相关句子对可作为主干事实。当将这些相关事实结合在一起时,可形成整合事实("世界上最大的生物圈是泰加林")。在学习的过程中,相关主干事实之间至少会隔着10个无关事实,以确保第一个主干事实是从长时记忆中提取的。在学习任务期间,为了确保被试注意到所呈现的每一条知识,在每个句子呈现之后,需要他们判断这些事实应该在哪个阶段掌握(小学、中学、高中和大学)。测试阶段呈现80个句子。测试句子中没有一个在学习阶段中出现过,其中20条由学习阶段中的相关主干事实整合而成(如"世界上最大的生物圈是泰加林")。另外,在测试阶段,会测试被试对于不同类型的测试句子的脑电情况。

3.内部机制(范彧然,2017)

Bauer和Varga(2017)提出的ERISS模型认为,整合分离但相关情节信息的过程包括以下五个环节:

(a)编码:学习一个新信息,对该信息进行编码存储。

(b)编码和重新激活:学习到另一个新信息,对该信息进行编码的同时,如果新知识与先前学习的知识拥有共同元素,那么这些拥有共同元素的先前相关知识将会得到激活。在这一过程中,海马在两个信息形成新的联结的过程中起到一定作用。先前相关信息的激活程度可以预测是否成功整合了新知识。这说明,当学习到第二个主干事实时,能否激活先前学习的与之相关的主干事实记忆对是否能够成功整合新知识可能是十分重要的。

(c)整合:将两个或几个相关的主干事实整合生成一个共同的记忆表征(还没形成整合事实,只是将两个知识按照某些关系(如公共元素)进行联结)。

(d)选择:在有问题出现或有相应需求时,选择对应的信息。

(e)自我扩展:将选择的信息生成整合事实,并将其存储到长时记忆中。

相关推荐
AI创界者1 小时前
人工智能 GPT-Image DMXAPI Python AI绘画
人工智能
播播资源1 小时前
GPT-5.5 模型功能深度解析:从模型介绍、核心特点到应用场景全景分析 如何快速接入使用
人工智能·gpt
谁似人间西林客1 小时前
工厂大脑是什么?从经验驱动到AI辅助的决策跃迁
人工智能
Bode_20022 小时前
构建工业龙虾的难点
人工智能·制造
lizhihai_992 小时前
股市学习心得—半导体12种核心材料
大数据·人工智能·学习
STLearner2 小时前
SIGIR 2026 | LLM × Graph论文总结(图增强LLM,GraphRAG,Agent,多模态,知识图谱,搜索,推
人工智能·python·深度学习·神经网络·机器学习·数据挖掘·知识图谱
研究点啥好呢2 小时前
快手产品经理面试题精选:10道高频考题+答案解析
人工智能·面试·产品经理
流年似水~2 小时前
脚本策划:拍之前先想清楚要剪什么
人工智能·程序人生·语言模型·ai编程
郑寿昌2 小时前
思维链三步法:让AI像人类一样推理
人工智能