9-25 眼动(AGI基础理论)

《智能的理论》全书转至目录****

不同AGI的研究路线对比简化版:《AGI(具身智能)路线对比》,欢迎各位参与讨论、批评或建议。

眼球运动有3种基本类型:注视、眼跳和眼动追随。注视是为了清楚地看到所要看到的内容,处于注视点(中央凹区域)的信息能获得更深的加工。眼跳的功能在于改变注视点,使下一步要注视的内容落在中央凹附近,以此获得新注视对象的清晰视觉。眼动追随是通过眼球的跟踪,使运动的物体保持在中央凹区域。

一.眼跳

1.眼跳概述

日常生活中,为进行环境探索,每秒钟大约会有3-5次眼跳运动(Hutton,2008),据统计,人们每天要进行约100000次眼跳(高尚秀,2011)。在日常生活中,绝大部分的眼跳运动是自动化执行的,因此这些眼跳很难被我们意识到。

整个眼动运动中,注视时间占到差不多总体的90%,而眼跳的时间大约只占总体的10%。一次眼跳的实际执行只有10-80ms,时间非常短。在眼跳过程中,视像模糊不清,几乎不能形成刺激的清晰像。实际视觉信息是在不同眼跳后的注视阶段获取的,如果是较大的视觉图像,则需要对不同注视信息进行整合。(闫国利和白学军,2012;杨雄里,1996)

眼跳潜伏期是指从目标刺激出现到眼球开始移向目标之间的时间。在灵长类动物的电生理研究中发现,从视网膜传递一个信号到上丘大约需要40ms,接着需要约20ms产生指向具体空间位置的眼跳,这段时间加起来就是潜伏期。而人类从接收视觉信号到反射性眼跳一般需要200ms的潜伏期。在潜伏期期间,眼跳行动计划(眼跳计划)被建构,该眼跳计划用于引导眼球的运动。(陈庆荣,谭顶良,邓铸和周临等人,2009)

2.眼跳分类(陈庆荣,谭顶良,邓铸和周临等人,2009)

根据不同的标准,眼跳有不同的分类:

(a)外源性和内源性

根据引起眼跳的因素,眼跳可以分为外源性眼跳和内源性眼跳。外源性眼跳是自下而上驱动的眼跳。朝向眼跳就是一种外源性眼跳,指当刺激信号出现后要求被试迅速准确地向目标处眼跳,这是不受或很少受意识控制的反射性眼跳;内源性眼跳指个体主动发起的眼跳,是自上而下驱动的眼跳。它包括预测性眼跳和记忆导向眼跳等。预测性眼跳指在眼跳之前对目标出现的位置有一定的预期,并利用预期引导眼跳。记忆导向眼跳则是刺激出现并随后消失,在一定时间间隔后,被试需要眼跳到记忆中刺激信号先前出现过的位置(目标刺激不出现)。

(b)正向与反向

根据眼跳与目标刺激的位置关系,眼跳可以分为正向眼跳和反向眼跳。正向眼跳是指需要被试眼跳至目标刺激的位置,上面所提及的朝向眼跳、预期性眼跳和记忆导向眼跳就是正向眼跳;反向眼跳是在刺激信号出现后,被试要迅速眼跳向刺激信号的反向"镜像"位置(比如,目标在左边出现,眼跳位置是右边),这是一种受自主控制的眼跳。

(c)单眼跳和系列眼跳

根据完成任务时所需的眼跳次数,可将眼跳分为单眼跳和系列眼跳。单眼跳指一次眼跳便可完成任务的眼跳;系列眼跳是指,提取和加工目标时的一系列眼跳。

3.朝向眼跳

朝向眼跳,指刺激突然出现而产生的反射性眼跳。朝向眼跳主要由外源性刺激引起,包括刺激物的基本特征和刺激特征差别量的大小等。很多研究发现,与背景相比,方向、大小、运动、空间频率、对比度、亮度、颜色的突显或突变都会明显触发朝向眼跳。朝向眼跳的研究方式是朝向眼跳任务范式。从已有研究结果看,朝向眼跳主要有3种效应:间隙/重叠效应、分心物效应和提示效应。(陈庆荣,谭顶良,邓铸和周临等人,2009)

(1)研究范式

在朝向眼跳任务中,屏幕中央呈现一个注视点,然后在注视点的左侧或者右侧突然呈现一个目标刺激,此时需要被试快速准确地看向目标刺激。在实验过程中,研究者会对眼跳潜伏期、空间准确性、眼跳幅度和眼跳落点进行测量。根据中央注视点刺激是否一直存在,朝向眼跳范式有三种变式:空白任务范式、重叠任务范式和基线任务范式,如图1所示。在空白任务中,中心注视点消失一段时间后,外周目标刺激才出现,即注视点消失与目标出现之间有一段空白间隙,间隙的持续时间通常是200ms;在重叠任务中,中心注视点在外周目标刺激呈现时仍保持在屏幕上;在基线任务中,中央注视点消失的同时外周目标刺激呈现,即间隙为0ms。(Chan,Armstrong和Pari,2005)

图1

(2)间隙效应

Pratt等人(Pratt,Lajonchere和Abrams,2006)的研究发现,与基线条件相比,在空白条件下朝向眼跳有较大的峰速度,潜伏期明显减少。这种现象被称为间隙效应。关于间隙效应的解释理论包括以下两种。

(a)注意分离理论

在眼跳的发生过程中,视觉注意包括三个不同的阶段:注意脱离阶段,从当前任务的注意状态中脱离出来,如从中央注视点离开;注意转移阶段,注意力转移到新目标上;新刺激注意阶段,即注意到新刺激。基线任务过程中包含了这三个阶段。相比之下,在空白条件中,中央注视点的消失,导致视觉注意提前脱离,因此空白条件只需要注意转移阶段以及新刺激注意阶段两个阶段。所以空白任务中被试的眼跳更快,眼跳潜伏期更短。(Fatemi,Aldinger,Ashwood和Bauman等人,2012)

(b)双因素理论

双因素理论认为导致间隙效应的原因包括信号警报效应和注视点消失效应。其中,信号警报效应认为,当前注视点消失可以作为一个信号警报,提示被试目标刺激即将出现,导致被试的眼跳潜伏期变短;注视点消失效应认为当前注视点消失减少了视网膜中央凹的视觉信息输入,降低了上丘中注视神经元的活动,释放了视觉注意力,因此允许被试的快速扫视系统对新的刺激作出更快反应。(Kingstone和Klein,1993)

(3)重叠效应

重叠效应是与间隙效应相对的一种效应。相比基线条件,重叠条件会增加朝向眼跳的潜伏期。在重叠范式中,视觉注意被锁定在中央注视点中,导致眼跳被抑制,从而延长了潜伏期。(Pratt,Lajonchere和Abrams,2006)

(4)分心物效应

在朝向任务中,还可以设置一些与任务无关的分心物。Theeuwes等人(Theeuwes,Kramer,Hahn和Irwin,1998)在研究中发现,在分心物条件下,个体首先会产生指向分心物或者附近位置的眼跳,接着在 25~150ms内产生指向目标刺激的眼跳。这说明,分心物会显著干扰眼跳过程,导致目标捕获错误。

除捕捉错误外,分心物刺激也会导致眼跳轨迹弯曲。Theeuwes等人(Theeuwes,Olivers和Chizk,2005)考察了分心物位置对眼跳轨迹的影响。该实验如图2(a)所示,首先会在屏幕中随机呈现一个灰色圆点作为分心物,被试需要记住或者忽视该干扰物,500毫秒后干扰物消失。然后在1000毫秒的时间间隔后,会出现一个箭头,被试需要快速准确地向箭头方向扫视。研究发现,在记住条件和忽视条件下,眼跳轨迹均偏离分心物的方向,且记住条件的偏离要明显得多。基于此,Theeuwes等人(Theeuwes,Belopolsky和Olivers,2009)认为视空间工作记忆和眼球运动系统关系密切。分心物出现的位置会在上丘产生相应的活动,而为了产生指向目标的正确眼跳,被试需要抑制上丘内干扰物位置的相关眼球运动,从而产生眼跳轨迹偏移。McSorley等人(McSorley,Haggard和Walker,2006)进一步研究了眼跳轨迹弯曲的时间进程,如图2(b)所示。实验结果表明,如果指向目标刺激的眼跳准备时间充足,那么分心物会被抑制,从而产生远离分心物的眼跳轨迹弯曲;反之由分心物引起的眼球运动系统的活动就不会受到抑制,并与由目标引起的运动激活进行竞争,从而导致朝向分心物的轨迹弯曲。

图2(a)

图2(b)("*"是目标刺激,"×"是分心物)

(5)提示效应

Cavegn(1996)研究发现,提示线索有助于减少朝向提示位置的眼跳潜伏期,而无效提示会增加朝向目标的眼跳潜伏期,即提示效应。眼跳和空间注意的功能性关系模型认为,提示线索促使注意转向目标位置,从而推动对指定位置的眼跳。

4.预测性眼跳

在预测性眼跳任务中(如图3),目标刺激以固定的频率交替出现在水平面的两个位置上,被试的任务是对目标刺激进行直接注视,从而产生周期性的眼跳(Amado,Landgraf,Bourdel和Leonardi等人, 2008)。Hutton等人(Hutton,Cuthbert,Crawford和Kennard等人,2001)认为这种"方波"模式的目标出现形式会迅速导致被试在下一个目标出现之前,就产生了眼跳,使得眼睛到达目标位置和目标出现的时间相当接近(潜伏期大大减少或略微提前),如图3(b)所示。

但并不是所有的交替频率都能引起预测性眼跳。通常,目标刺激以较低频率呈现时(如0.2HZ)会产生反射性眼跳(朝向眼跳),潜伏期约150~220ms;当频率超过0.9HZ 时,会产生预测性眼跳,潜伏期小于80ms(Shelhamer和Joiner,2003)。

图3(a)

图3(b)

Shikauchi等人(Shikauchi,Ishii和Shibata,2008)研究了非周期性目标的眼跳,发现即便目标序列不以固定频率呈现,但如果目标序列有其内在呈现规律,被试也能较好地预测下一个目标的位置。MacAskill等人(MacAskill和Van der Veer,2005)发现在周期性的目标呈现过程中存在一些较小的扰动,如空间距离变化小于等于1°或者时间规律变化小于等于10%,这些扰动不会影响预测性眼跳的潜伏期。

5.记忆导向眼跳

在记忆导向眼跳任务中,被试首先注视屏幕中央的注视点,期间闪现目标刺激并随后消失,当中央注视点消失后,被试根据对目标位置的记忆产生指向目标刺激的眼跳。记忆导向眼跳任务根据记忆目标的数量分为单一目标记忆导向范式和系列目标记忆导向范式(如图4所示)(Müller,Riedel,Eggert和Straube,1999)。

较之于朝向眼跳,记忆导向眼跳的空间精确性较差,譬如眼跳的位置与目标位置存在一定的差异;另外,与朝向眼跳相比,它的潜伏期延长,峰速度降低(Mosimann,Felblinger,Colloby和Müri,2004)。

图4

6.反向眼跳

日常生活中人们有能力灵活应对环境中的各种事件,譬如在不同场景中抑制自动反应并做出其他反应。在反向眼跳任务中,屏幕中央呈现一个注视点,然后在注视点的左侧或者右侧出现一个目标刺激,此时要求被试主动抑制指向目标的朝向眼跳,把注意转向目标刺激的相反方向,并产生与目标到中央注视点距离大致相等的眼跳。和朝向眼跳任务相同,反向眼跳也有空白条件、重叠条件和基准条件,如图5所示(Munoz和Everling,2004)。显然,反向眼跳是受意识控制的内源性眼跳,是一种自主性眼跳。

图5(a) 图5(b)

与相同刺激的朝向眼跳相比,正确反向眼跳的潜伏期增加约100ms(Tatler和Hutton,2007)。反向眼跳的实施过程包括三方面:一是抑制看向外源性刺激的反射倾向;二是计算与目标刺激相反方向、相等空间距离的空间位置;三是发动意志性眼跳。也有一些研究认为,反向眼跳任务包含至少两个过程:抑制指向刺激的朝向眼跳和根据指导语进行指向相反方向的眼跳,而这两个过程所消耗的时间之和才是反向眼跳的潜伏期,如图6所示(Everling和Fischer,1998)。因此,它需要更多的认知参与和更长的反应时间。

图6

有时,反向眼跳也会失败,即被试会朝突发刺激方向眼动。之所以出现这种现象,Massen(2004)认为如果内源性因素引发的反向眼跳在达到某种激活阈限后被快速计划,那么它就赢得了竞争,朝向眼跳就被取消;反之,会先产生错误的朝向眼跳,而后产生正确的反向眼跳。Munoz等(Munoz和Everling,2004)提出在两种决定信号竞争中,如果产生朝向目标眼跳的加工不是特别弱,随着其达到眼跳激活阈限可能性的增加,眼跳错误就会产生。也有研究者认为,由于突然出现的突发刺激会自动激活指向该刺激的朝向眼跳计划,当某种内源性因素无法抑制或取消该计划时,就会产生眼跳错误(Hutton,Joyce,Barnes和Kennard,2002)。

7.系列眼跳(杨永胜和丁锦红,2008)

在日常生活中我们所面对的实际视觉场景非常复杂,目标常和干扰物混合在一起或是有多个目标,计划一个直达目标的眼跳的可能性很小,因此需要一系列眼跳来对其中的重要信息进行提取和加工,即系列眼跳。系列眼跳普遍存在,日常的阅读和图片扫描的一系列眼跳就是很好的例子。

(1)研究范式

在双步实验范式中,被试需要连续进行一系列试次。在每个试次中,目标在屏幕上可能只出现一次,出现的位置是随机的,即单步条件;也可能先后出现两次,即目标首先出现在初始位置,在眼睛做出任何反应之前,目标又移动到最终位置,即双步条件。被试需要做的是,如果目标出现或者其位置发生变化时,眼睛需要尽快指向出现的目标(如果是双步条件,被试可能需要无视目标出现的第一个位置而直接跳到第二个位置)。之所以设置单步条件,是因为被试在每个试次中无法事先知道该试次是单步条件还是双步条件,因此在这两种条件下被试都会产生向第一目标眼跳的倾向,从而在双步条件中,可以观察两个眼跳之间的关系。(Becker和Jürgens,1979)

由于眼跳有潜伏期,因此双步条件中如果目标两次出现之间的时间间隔τ足够大,大于第一次眼跳的潜伏期,那么两次目标移动所对应的两次眼跳之间互不干扰,两次眼跳先后进行。但如果目标两次出现之间的时间间隔τ太小,小于第一次眼跳的潜伏期,即在第一眼跳还没发生时第二目标就开始了。眼跳会怎么进行呢?研究者认为有两种可能:(a)系列加工,第二眼跳的眼跳计划需要在第一眼跳执行完毕或取消之后才开始执行;(b)平行加工,即两次眼跳计划并行执行。第二眼跳的眼跳计划在第二个刺激呈现时就开始进行,或者说,第二眼跳的眼跳计划在第一眼跳的潜伏期就开始了,与第一次眼跳是否完成或是否取消无关。

如果眼跳是系列加工的,那么从第二目标出现到第二眼跳之间的时间间隔应该更长,因为这个等待时间既包括第二眼跳的潜伏期,还包括对第一眼跳完成或取消的等待时间。相反,如果是平行加工,由于第二眼跳的眼跳计划在第二目标出现时就开始了,无需等待第一眼跳,第二目标出现到第二眼跳之间的时间间隔只有一个潜伏期。实验结果支持平行加工。如图7,该图显示了第一眼跳和第二眼跳先后执行的情况,在第一眼跳还没开始前,第二眼跳的眼跳计划已经开始(R2在R1期间开始)。

图7

注:R1和R2分别表示两次眼跳的潜伏期;延时D表示第二次目标出现到第一次眼跳之间的时间间隔;I表示两次眼跳开始之间的间隔。显然,R2 = D + I;τ表示两次目标出现之间的时间间隔;ψ1和ψ2分别表示两次眼跳的位移幅度。

(2)其他发现

(a)非线性的负相关

事实上,两个眼跳并非绝对并行,第一眼跳的处理阶段会对第二眼跳带来一些影响。第二刺激与第二眼跳之间的时间间隔略长于第一刺激与第一眼跳之间的时间间隔,且两个眼跳的重叠程度越大,第二眼跳的筹备就越慢。Ray等人(Ray,Schall和Murthy,2004)认为,这是因为两个眼跳的准备和计划需要占用有限的公共资源,从而降低第二眼跳的加工速度。而McPeek等人(McPeek,Skavenski和Nakayama,2000)则认为,这种现象是由于上丘中各自负责两次眼跳的神经细胞之间的相互抑制造成的,两次眼跳在时间上越接近,这种互相抑制也就越强。

(b)可变期和不可变期

眼跳计划可以先后划分为可变期和不可变期。在可变期中可取消该眼跳,比如第二目标出现在第一眼跳眼跳计划的可变期,被试可以取消第一眼跳而直接发生第二眼跳;相反,眼跳计划处于不可变期时该眼跳必定会执行,比如如果第二目标出现在第一眼跳的不可变期,那么被试会先执行第一眼跳,然后再执行第二眼跳(Reichle,Rayner和Pollatsek,2003)。在系列眼跳中,眼跳计划的最后100ms属于不可变期,期间所接收的所有刺激信息都不会对第一眼跳的执行产生影响。

(c)视线跨度大的情况

当目标和眼睛的视线跨度很大时,有两种不同的选择:一种方式是通过由2~3次眼跳构成的系列眼跳将视线集中于目标,另一种是通过一个大幅度的眼跳来实现对目标的注视。van Donkelaar等人(van Donkelaar,Saavedra和Woollacott,2007)对此的研究发现,系列眼跳的计划和执行相对于单眼跳自动化程度更高,表现为系列眼跳中第一眼跳的潜伏期短于单眼跳的潜伏期。另外,单眼跳的准确率较低,因此常常需要在其后跟接一个校正性眼跳。

(d)方向和幅度

Becker和Jürgens(1979)认为,眼跳计划包括确定移动方向和确定眼跳幅度两个方面。

二.阅读中的眼动

目前已有大量关于阅读过程中的眼动研究,了解这些研究有助于加深对眼动的理解。

1.中央凹与副中央凹在阅读中的作用

(1)视角范围

根据与注视点的位置关系,人的视野可以分为三个区域:中央凹视觉区、副中央凹视觉区和边缘区视觉区。在阅读过程中,中央凹视觉区的注视点成1到2度的视角;副中央凹视觉区大约成10度的视角;边缘区包括副中央凹视觉区以外的全部区域。中央凹的敏锐性最好,副中央凹的敏锐性次之,边缘区最弱。所以为了实现最优化的视觉阅读效果,读者必须移动眼睛,使文字能落在中央凹内,如图8(a)(崔磊,2007)。在中文阅读中,注视点大约能注视1个字,而副中央凹提取的是当前注视点左侧的1个汉字和右侧的2-3个汉字(闫国利,王丽红,巫金根和白学军,2011),如图8(b)。

图8(b)

图8(b)

(2)副中央凹效应

有许多研究发现,当中央凹注视一个词时,被试还可以从副中央凹中获得该词右侧词语的部分信息,即副中央凹预视效应(闫国利,2004)。在正常的阅读过程中,大概有三分之一的单词被略读,这些单词应该是在读者在用副中央凹注视它们的时候得到预加工而被略读的。所以很多实验研究均认为,如果副中央凹的词被遮盖时,阅读效率会大大下(Rayner,1982)。目前已有大量研究证明,可以从副中央凹处获知词语的低水平信息,如构词法、音韵学、词长和首尾字母等前词汇信息(Rayner,1975)。但在副中央凹能否获得更高层次信息(如语义、句法信息)的问题上,还存在较大的争议。在一项实验中,让被试阅读一些句子,句子中有一个目标词,目标词右侧第一个词是测试词,测试词有四种条件:(a)基线词或句子原词(如tune);(2)词形相似的词(如turc);(c)语义相关词(如song);(d)语义不相关词(如door)。第一个条件是句子原本的词,而其他三种条件则用相应条件的词替换原词。当目标词处于中央凹时,测试词则处于右侧的副中央凹区域内。结果发现,只有前两种条件(低水平信息)才观察到副中央凹效应,阅读时间变快;而后两种条件(高水平语义信息)的阅读时间没有差异,所以研究者认为副中央凹不能提供语义信息。同时,也有许多研究认为副中央凹能够获取语义信息。而在另一项实验中使用单词比较任务,让读者比较并说出不同句子中相同单词的不同含义,如果当前注视点右侧的词能使整个句子趋于合理,那么目标词的注视时间就短,反之就长。(崔磊,2011)

(3)副中央凹-中央凹效应(崔磊,2007)

副中央凹-中央凹效应是指副中央凹获得的信息也会对中央凹的加工产生积极影响。目前这种效应的争议比较大。有的研究认为这种效应仅仅能发生前词汇的低水平信息,有的实验则认为这种效应还能发生词频、词义等高水平信息。另外,也有很多实验认为根本不存在副中央凹-中央凹效应。

(4)中央凹目标抑制

中央凹目标抑制指的是,读者在阅读时,根据词频和词的熟悉度决定抑制强度,从而调整阅读时间。当词频越低或熟悉度越低,中央凹就会抑制眼跳,使阅读变慢。(隋雪,沈彤,吴琼和李莹,2011)

2.预期性(刘亚男,2017)

预期性是指读者能够根据目标词之前文本的内容,推测即将出现的目标词的概率(Miller和Selfidge,1950)。一个词在一个句子中预期性的高低可以使用填词任务法获得(Taylor,1953)。这种方法首先给出目标词之前的文本(如口渴的欣欣想喝...),随机选择n名不参加正式实验的人员,让他们补全一个他们认为合适的词。最后统计出目标词出现的频率,也称目标词的平均填出率。通常把平均填出率在70%以上的目标词定为高预期目标词,平均填出率在10%以下的目标词定为低预期目标词。

一项研究发现,当一个词可预期时,读者更可能会发生跳读,而不是直接注视它;即使眼睛直接注视它时,注视时间也会减少。Rayner和Well(1996)操纵了预期性的类型,将预期性分为:高、中、低三个水平,结果发现高预期和低预期条件下的注视时间和注视概率(跳读)存在显著差异,相比低预期条件,高预期条件下对目标词的注视时间更短,跳读概率更高。中预期和低预期条件相比,中预期条件在注视时间上显著降低,但在注视概率上两者没有显著差异。

3.串行模式和并行模式(隋雪,沈彤,吴琼和李莹,2011)

关于阅读的认知模型可以分为两大类,串行模式和并行模式。串行模式认为,读者在阅读理解时,注意力是按照串行的方式,从一个词转移到另一个词,而词汇加工也只能按照注意力转移的顺序,进行逐词加工,只有当前词汇的加工完成后,才会进行下一个词的加工,串行模式的代表模型是E-Z Reader模型;与此相反,并行模型认为,读者在阅读理解时,注意力是一个空间分布的区域,可以对知觉广度范围内的两个或多个词进行同时加工,其代表模型是SWIFT模型。

4.E-Z Reader模型

E-Z Reader模型以序列注意模型为基础,序列注意模型的核心假设是读者在阅读过程中注意资源和词汇加工都是按照一种序列的模式进行分配,注意系统和眼跳系统是分离的,注意一个词先于注视一个词,且每次只能注意或加工一个词。当注意资源被分配到词"n"时,直到这个词被识别出来,注意资源才会转移到下一个词(副中央凹词"n+1"、"n+2"),接着是眼跳至被注意的词汇上。因为注意力的转移发生得比眼跳过程快,当注意处于副中央凹时,注视点右侧词的就开始加工,从而产生副中央凹效应。E-Z Reader模型在此假设上进行完善。(Reichle,2011)

具体的说,E-Z Reader模型眼动过程可以分成两大功能模块:一是单词识别模块,它由单词的熟悉度验证(L1)和词汇通达(L2)两个阶段构成的。其中L1的时间受词频和预测性影响,词频越高或可预测性越高,时间越短。L2受单词可预测性影响;二是运动控制模块,它包括眼跳计划的可变期(M1)、不可变期(M2)和眼跳(S)三个成分。如果第二眼跳目标"n+2"出现在第一眼跳目标"n+1"的可变期且词"n+1"完成预测。第一眼跳目标"n+1"即可撤销,由"n+2"的眼跳替代,从而出现跳读。(Reichle,Rayner和Pollatsek,2003)

该模型认为在阅读过程中,当对词"n"进行注视时,此阶段中知觉广度范围内(副中央凹范围)的所有词都可以同时被低水平加工。对词"n"进行的词汇加工主要分为两个阶段进行,L1阶段是词汇加工的早期阶段,主要对单词"n"的熟悉性进行评估,L1完成后会触发可变的眼跳计划(M1),眼球运动系统开始计划眼跳到下一个词"n+1"上;完成L1后也会同时进行L2阶段。L2阶段完成后,注意力(A)将转移到单词"n+1"上(但眼跳还没发生),该注意力允许对单词"n+1"进行一定程度的预视(n+1词的L1阶段)。在"n+1"词的L1阶段,可同时进入不可变的眼跳计划(M2)以及执行眼动(S)至词"n+1"。如图9。E-Z Reader模型可以对低水平信息的副中央凹效应进行解释,这是因为在发生眼动前,副中央凹就能对"n+1"词进行熟悉度检验。(Schotter,Reichle和Rayner,2014)

图9

5.SWIFT模型(陈庆荣和邓铸,2006)

SWIFT模型是注意梯度指导理论的代表性模型。Inhof等人(Inhoff,Radach,Starr和Greenberg,2000)总结了注意梯度指导理论的5方面特征:(a)在有效的视觉范围内,所有单词都能被注意到,并被同时激活,而不仅仅是以一个单词到另一个单词的序列加工方式进行;(b)在被注意的词汇范围内,不同词汇间注意资源分配不均衡;(c)注意资源以注视点和难度加工高的词汇为中心,中心处注意力最高,并沿着两侧减少;(d)一个词被成功识别后,注意的中心会移走,相邻的未被识别的词的注意会增加;(e)伴随注意中心的转移,会将眼球指向新的目标,产生眼跳。

在构架上,SWIFT模型主要有两大功能模块:词汇加工和眼跳编程。

(1)词汇加工

阅读过程中,词汇加工包括词汇的前加工阶段和词汇通达阶段。词汇的前加工阶段主要用来加工单词的一些基本的自然属性,如词长、首字母等。词汇通达阶段主要加工词义等信息。

SWIFT模型采用数据驱动和概念驱动的认知加工因素,强调词频和可预测性对词汇加工及眼动行为的影响。词汇的加工难度很大程度上决定一个单词的加工水平、加工时间及其成为眼跳目标的可能性,当一个词加工难度越高时,加工水平越高、加工时间越长、越可能成为眼跳的目标。

(2)眼跳编程

眼跳编程(SP)主要包括可变期和不可变期两个加工阶段。这两个阶段包含了目标选择、眼跳计划、中央凹抑制(即延缓阅读速度)以及眼跳执行四个成分。在阅读过程中,眼跳的目标选择是以一系列词汇的加工为基础,获得的注意越多被选为目标的概率越大,且目标选择发生在眼跳编程可变期的后半段。

以图10为例,在图(a)中,SP0和SP1是两个独立的眼跳编程。两次眼跳之间存在一定的时间间隔。SP0 结束后,SP1才启动,两个眼跳之间无任何的相互影响;在图(b)中,模型模拟了眼跳编程取消的具体过程。首先SP2启动,接着在其眼跳的可变期,SP3启动的同时SP2被取消。这种现象常常发现在阅读的跳读过程;在图(c)中,SP5在SP4的不可变期启动。且当SP4结束时,SP5才进行眼跳目标选择,因此SP4没有对SP5产生实际影响(如时间没有增加或也没有减少)。SP5与SP4并行处理,两个眼跳被先后执行;在图(d)中,SP7的眼跳选择发生在SP6的不可变期(与图(c)的区别在于,图(c)的眼跳选择发生在不可变期之后),因SP7的不可变期被延迟,直至SP6完成。

图10

三.眼动追踪

眼动追踪通常是一个复合过程,它通常包括平滑追踪、预测性追踪和眼跳。平滑追踪是指视觉系统对一个缓慢而平稳的运动目标的跟踪过程。平滑追踪一般只适用于运动速率较小的目标,其速率一般不超过40°/s,大多介于10°/s与50°/s之间(陈婷婷,2013)。而现实中可能还存在更复杂多变的环境:(a)一种情况是目标运动速度较快时,如当目标速度超过30°/s 时,眼动的速度将明显慢于目标运动速度,此时眼球和目标的位置差会不断积累(de Brouwer,Yuksel,Blohm和Missal等人,2002);(b)通常在追踪的开始,眼动会逐步加速,但追踪速度也需要一段时间才能达到与目标相匹配的速度。因此,在这一过程中,会产生眼睛和目标之间的位置偏差和速度偏差;(c)追踪目标经常会因为其他物体的遮挡而从视野中暂时消失,从而造成目标丢失或运动轨迹中断;(d)目标运动轨迹的突然变化也会造成一定误差,从而导致跟踪变得更困难。这些情况都会给平滑追踪带来一些偏差。为了克服这种偏差,视觉系统通常会使用预测性追踪和追赶性眼跳。

1.平滑追踪

在现实生活中,平滑追踪是很常见的,个体可以利用在平滑追踪的相关信息判断运动物体的位置、速度、运行轨道,以及到达某一特定位置所需要的时间等。例如,对飞鸟将来的位置进行预测;或在交通驾驶中,对将要发生碰撞的时间进行估计。

(1)研究范式(陈婷婷,2013)

在该类实验中,一个视觉刺激(如白色圆点)在水平方向上作阶梯-坡道运动、正弦波运动、三角波运动等,被试需要在保持头部不动的情况下,通过眼球的转动来追随目标刺激的运动,保持眼睛注视位置与目标位置的同步性。如图11。

图11

对于有遮挡的情况,可采用时间遮挡范式考察。被试眼睛追踪物体运动一段时间后,遮挡一段固定的距离,然后让被试估计物体经过遮挡后再次出现的位置或时刻。实验过程包括三个阶段:(a)采样阶段:向被试呈现以一定速度和轨迹运动的物体;(b)遮挡阶段:运动物体进入一段遮挡的空间,此时物体的运动速度和轨迹从视野中消失;(c)反应阶段:要求被试判断物体经过遮挡后再次出现的时刻,并按键反应。如图12。

图12

(2)平滑追踪的过程

平滑追踪眼动可以分为开环(目标呈现后的前 140ms)和闭环两个阶段(Lisberger,Morris和Tychsen,1987)。在开环阶段,在眼动开始的最初20ms,眼睛在目标运动方向上不断加速,并在20~100ms内逐渐趋于目标速度。在该阶段,眼动仅依靠目标刺激的视觉信息驱动。到闭环阶段,人们已经形成了对目标的内部运动表征(速度、加速度等),这时眼动追踪同时受目标刺激的视觉信息(外源)和目标运动表征影响(内源)(冯成志和贾凤芹,2008)。

(3)输入信息(王向博和丁锦红,2011)

Barnes和Collins(2008)认为,平滑追踪眼动不仅依赖于视网膜的视觉信息输人,也受网膜外因素影响,网膜外因素包括目标的运动表征、对目标再现时空的预期(当目标被遮挡时)、注意、眼动反馈等内部因素。当两种信息都存在时,网膜信息和网膜外信息将协同工作。比如,比追踪随机运动的目标,追踪一个有规律运动的目标时所犯的错误明显更少(Barnes,2008);当目标有规律的运动一段时间后,眼动方向的改变可以先于目标运动方向的改变(Deno,Crandall,Sherman和Keller,1995)。

这里有两个比较重要的目标运动表征:一个是表征动量(9-11:表征动量),另外一个是运动的时间表征,这里主要介绍后者。在平滑眼动追踪过程中,一种常见的任务是要求被试对目标到达某一特定位置的时刻进行估计。关于时间估计有两类常见的理论解释,一种是用认知的方法解释,这种观点认为,人们利用目标速度和位置等信息,通过高级认知加工在大脑中推算出估计时间(郭秀艳,贡晔,薛庆国和袁小芸,2000)。另一种解释是基于知觉的生态学理论的,τ理论(14-5:运动控制的生态学理论)。这种观点认为时间估计的信息可以直接通过运动物体的光线变化范围来获得,如物体视象大小与其自身瞬时变化的比值(Lee,1976)。

2.预测性追踪(王向博和丁锦红,2011)

在缺少视觉输人时,被试仅能依靠网膜外信息维持平滑追踪眼动,这种追踪就是预测性追踪。Becker和Fuchs(1985)发现在被追踪的均速运动目标消失后,平滑追踪眼动仍将持续一段时间。在日常生活中,眼动追踪的运动目标常常会因为遮挡而暂时消失。通过预期性追踪,被试仍能维持一定的追踪能力。这种追踪能力可以在目标再次出现时,减小眼动追踪的误差(Bennett和Barnes,2003)。

3.追赶性眼跳(王向博和丁锦红,2011)

当目标运动轨迹发生突变或者目标的运动速度加快时,眼睛速度将明显不同于目标速度(速率或方向),这时位置误差会不断积累。这时平滑追踪系统已经无法单独补偿不断积累的位置误差,视觉系统将会使用眼跳追赶上目标。眼跳是比较快速的眼睛运动,最大速度可超过500°/s。另外,当物体被遮挡并再现后,也会使用眼跳。这种眼跳就是追赶性眼跳。视觉运动系统是否需要发动追赶性眼跳主要取决于眼睛和目标之间的位置误差和速度误差。当位置误差或速度误差较大时,就可能发生追赶性眼跳(de Brouwer,Missal,Barnes和Lefèvre,2002)。而Blohm 等人(Blohm,Missal和Lefèvre,2005)认为,平滑追踪系统最首要的输入是速度差,而眼跳系统则主要受位置差影响。

通常情况下,为了达到最佳的追赶效果,预测性追踪和追赶性眼跳可以协同工作(Orban de Xivry和Lefèvre,2007)。例如,在运动目标被遮挡时眼动速度开始下降,这时的眼动由预测性追踪主导。然而,随着眼动速度的下降,眼睛与目标之间的差异越来越大。在目标再次出现时,为了纠正这种偏差,需要通过不同的眼跳幅度来减小眼动追踪的差异。

四.眼动过程中的信息整合

面对正常的视觉场景,人类的眼睛会以每秒钟2~3次的频率运动,那么,网膜上的像在整个这个过程中是移动的、不连续的,每个注视形成的像之间可能没有重合或只有很少重合。尽管如此,我们所知觉到的世界是完整的、连续的。这就需要对系列眼跳的各个像进行整合。由系列眼跳所整合的完整视觉信息依赖于视觉短时记忆和长时记忆等。(Hollingworth和Henderson,2002)

在加工视觉刺激时,视觉皮层内会形成一个与视觉刺激同构的"映射(即特定的空间位置与特定的皮层区域对应)。根据空间类型的不同,可以分为视网膜-皮层映射和空间-皮层映射。如果视觉适应后效(18-7:适应和后像)保持在接收该视觉刺激的同一视网膜区域(只能发生在"眼睛保持不动,或者视觉后效跟随眼睛而动"),则称为视网膜-皮层映射;而如果视觉信息以物理空间坐标为基础映射到皮层, 则称为空间-皮层映射。两种映射分别有如下特点:(a)空间映射机制在眼动前后能维持视觉认知的稳定和连续。由于空间映射将物体的物理位置映射到物理空间的心理表征中,因此保持了眼跳前后对该物的知觉恒常性。相反,视网膜映射仅在视网膜位置上保持了刺激信息,因此在眼动前后刺激信息无法匹配;(b)空间坐标的加工可能仅存在于较高级的皮层水平。例如,MRI研究表明,人类的外侧顶内沟、腹侧顶内沟、外侧枕叶区都表现出一定的空间-皮层映射特性。而初级视觉皮层的V1区则表现出完全的视网膜-皮层映射特性;(c)不同层次的特征能达到的映射层次不同。较低水平的描述信息(包括对比度和密度)只能发生视网膜-皮层映射特征,表现为在眼跳后无法发生适应后效。较高水平的描述信息(包括包括颜色、方位、形态、人脸等)除了能发生视网膜-皮层映射特征,还能发生空间-皮层映射特性,表现为在眼跳后仍可发生适应后效。(张智君,刘炜,赵亚军和张婧姝,2014)

相关推荐
木枷2 小时前
SWE benchmark 安装全过程
人工智能
蓝海星梦2 小时前
GRPO 算法演进——裁剪机制篇
论文阅读·人工智能·深度学习·算法·自然语言处理·强化学习
Tony Bai2 小时前
Git 即数据库:Beads (bd) —— 专为 AI Agent 打造的分布式任务追踪引擎
数据库·人工智能·分布式·git
OpenMiniServer2 小时前
现金流战争模型(Cash Flow Survival Model)
人工智能
雍凉明月夜2 小时前
瑞芯微RV1106G3板端部署
c++·人工智能·深度学习
数说星榆1812 小时前
AGI之路:从专用智能到通用智能的渐进式突破
agi
人工智能AI技术2 小时前
CES 2026启示录:端侧AI部署全攻略——用TensorFlow Lite让AI跑在手机上
人工智能
杀生丸学AI2 小时前
【世界模型】AI世界模型的两次物理大考(测评)
人工智能·扩散模型·具身智能·视频生成·世界模型·自回归·空间智能
ATM0062 小时前
专其利AI | 开物之芯团队重磅发布「专其利 AI 专利辅助撰写平台」,30 秒定名、10 分钟出五书!
人工智能·大模型·专利撰写·专其利ai