【读论文】音色在微分音程记忆中的作用

FERRER FLORES R. The Role of Timbre in the Memorization of Microtonal IntervalsD. Jyväskylä: University of Jyväskylä, 2007.

音色在微分音程记忆中的作用

硕士学位论文

Rafael Ferrer Flores

音乐系

于韦斯屈莱大学

2007年9月

于韦斯屈莱大学

摘要

本论文旨在探究音色是否对旋律音程的记忆存在影响。为此,本研究设计了一项测试:23名被试听辨一段音程,经过7秒静默后,播放三段备选音程,被试需从中选出与原始音程一致的选项。构成每个目标音程的声音样本包含1组对照条件与3组不同程度的音色修饰条件,修饰方式为改变声音样本的原始分音结构。本研究采用频谱建模与加法合成技术实现上述音色修饰。研究结果表明,改变音色结构能够增强或削弱人提取音程记忆线索的能力。

学院-Faculty

系所-Department:人文学院|音乐系

作者- AuthorRafael Ferrer Flores

论文题目-Title音色在微分音程记忆中的作用

学科-Subject音乐、心智与技术

论文层级-Level硕士学位论文

摘要-Abstract本论文旨在探究音色是否对旋律音程的记忆存在影响。为此,本研究设计了一项测试:23名被试听辨一段音程,经过7秒静默后,播放三段备选音程,被试需从中选出与原始音程一致的选项。构成每个目标音程的声音样本包含1组对照条件与3组不同程度的音色修饰条件,修饰方式为改变声音样本的原始分音结构。本研究采用频谱建模与加法合成技术实现上述音色修饰。研究结果表明,改变音色结构能够增强或削弱人提取音程记忆线索的能力。

关键词- Keywords

音色,记忆,听觉训练

馆藏地 - Depository

其他信.息. - Additional information

目录

1 引言...7

2 理论基础...10

2.1 音乐教育...12

2.1.1 听觉训练...13

2.1.2 音程...14

2.2 音色...15

2.2.1 音色与音阶...18

2.2.1.1 频谱形状...18

2.2.1.2 协和性/不协和性...19

2.2.1.3 音阶...20

2.2.1.4 音色、协和性与音阶的关联...21

2.3 记忆...24

2.3.1 三级一体的记忆模型...24

2.3.1.1 感觉记忆...24

2.3.1.2 短时记忆...25

2.3.1.3 长时记忆...26

2.3.1.4 工作记忆...26

2.3.2 音色记忆...26

3 实证研究...28

3.1 研究方法...28

3.1.1 实验设计...28

3.1.2 被试...29

3.1.3 实验材料...30

3.1.3.1 实验刺激...30

筛选...30

判别...31

分析...31

合成...35

3.1.3.2 实验设备...41

3.1.4 实验流程...42

3.1.5 实验结果...42

3.2 讨论...46

3.2.1 适应性...48

3.2.2 音色描述子...50

4 结论...57

参考文献...59

附录A 实验指导说明...67

附录B 调查问卷...68

插图索引

图1 Plompt & Levelt提出的感觉不协和性示意图...21

图2 粗糙度与音程比例示意图...22

图3 采用Sethares算法计算的不协和曲线示例...23

图4 实验设计示意图...29

图5 73条不协和曲线的极小值命中分布示意图...32

图6 73种不同音色的平均不协和曲线...33

图7 音色与不同音阶步级对应关系示意图...37

图8 音色结构调整示例...38

图9 合成类型示意图...40

图10 实验界面外观...41

图11 不同音程的准确率...44

图12 不同合成类型的准确率...45

图13 不同乐器类型的准确率...46

图14 反应倾向示意图 ...47

图15 反应分布直方图...47

图16 不同音程的适应性表现...49

图17 整体适应性表现...50

图18 两类合成组音色的单因素方差分析结果('ad'与'sq'组)...51

图19 两类合成组音色的单因素方差分析结果(两组数据集)53

图20 行为数据与声学数据的相关性...54

图21 关键音色描述子与行为数据的散点图...55

表格与公式索引

表1 不同来源音程比例的一致性...22

表2 音程筛选的频率对照表...34

表3 候选分音筛选示例...36

表4 用于单因素方差分析的不同子集组合(检验合成类型效应)

公式1 十二平均律的音程比例计算公式...20

公式2 分音与音阶步级的对应关系...36


1 引言

本研究的灵感,来源于西方文化听觉训练领域中,传统音乐教育实践的有效性亟需实证支撑的现实需求。尽管这一问题的解决方案显然远比单篇硕士论文所能覆盖的内容复杂,但原子化的研究思路让我们得以将问题聚焦于音色概念及其记忆机制这一核心点上。

目前而言,音色概念所引出的问题远多于答案,这或许是因为以系统的量化形式拆解其感知特征,是一项相当晚近的研究工作。现代音色概念的雏形诞生于法国启蒙运动时期,由让-菲利普·拉莫提出------他预言,单个乐音的内部结构中存在着音乐的普遍规律。尽管如此,这一构想得到科学佐证,则是多年之后的事,其发展受到了傅里叶、亥姆霍兹、格雷等学者研究的深刻影响(此处不再逐一列举,旨在梳理思想脉络,而非做详尽的历史综述)。

如今的音色分析学术研究可分为两大分支:一支采用语言描述 的方式刻画音色的听觉品质,另一支则通过数值计算对音色进行量化描述。前者是音乐家与非音乐人群体最常用的方式,后者则是音乐信息检索领域的研究成果。本研究正是立足于后一分支展开------我们更关注客观的普遍规律,而非个体或群体间的差异。

听觉训练是正规音乐训练中极为重要的环节,旨在培养音乐读写所需的基础能力,是音乐素养的核心组成部分。西方音乐传统发展出了丰富的形式,通过对声音分类、构建最小构成单元、建立物理特征分类体系,实现音乐编码的核心目标。在诸多训练形式中,我们选取了一种最具普遍性的方式------旋律音程识别,它是绝大多数训练方法的基础环节。旋律音程可定义为两个连续乐音之间的感知距离。

在识别"两点间距离"这类形态结构的任务中,记忆扮演着核心角色。正如雕塑等视觉刺激作用于恒定的空间维度,音乐产生的听觉刺激仅存在于转瞬即逝的当下。这意味着音乐以时间为存在维度,而记忆可以被视为人类重现过往体验、并将其投射至未来的能力------这也正是学习的核心目的。

上述主题共同构成了本研究的理论框架,用于探究特定声源的音色特征与记忆表现之间的因果关系,尤其聚焦于音乐音程的回忆任务。研究的核心关注短时记忆跨度之后、具备长效作用的记忆策略。为此,我们设计了一项实验:要求被试记忆一段音程,经过一段静默时间后,从三个备选音程中识别出目标音程;三个选项中有两个在音高上与原始音程存在偏差,且每轮试次中所有音程均采用相同音色。

整个实验包含60个试次,由三类变量交叉构成:3种目标音程(350音分、550音分、750音分¹);5种乐器声源(中音长笛、圆号、双簧管、合成钢琴(即MIDI钢琴)、弓弦颤音琴);3种分析/调整/合成方法,加上原始样本作为对照。由此形成维度为3×5×4=603 × 5 × 4 = 603×5×4=60个试次的立方矩阵。这些音程被称为"微分音程",因为它们的音程跨度小于西方传统最小音程单位------半音。

¹ 1音分定义为全音的百分之一。

音色调整方法是本研究的核心设计:若"不同音色会导致不同的记忆表现"这一前提成立,下一步便要推断何种修饰会带来相应结果,以及背后的原因。本研究的核心策略,是从乐音的音色结构中移除与目标音程对应的成分,整个过程将在3.1.3.1节详细阐述。

本文主要分为两部分:第一部分为理论框架,对音乐教育、音色与记忆领域的相关研究进行整体梳理,部分内容做了精简综述。第二部分为严谨的实证研究,逐步介绍本研究的实验设计、被试、材料、流程、结果与讨论。

2 理论基础

大量音乐分析领域的学术研究都以书面音乐为核心对象,多数音乐学家也认同,一套编码音乐的符号体系的发明,是西方音乐史上最重要的进步。它实现了人类主体与认知对象的分离,推动了音乐的快速发展^Bent \& Pople, 2006^。但这套符号体系也存在局限:它仅仅是真实声音的粗略表征。

分析的目的是揭示结构与形式,因此学界普遍认为,音乐的结构由节奏、音高与音色三大要素构成,旋律、和声等其他范畴都可视为这三者组合的产物。

乐谱上的符号体系非常适合研究节奏与音高相关的认知过程,但对于乐谱符号体系之外的音乐------例如以音色为核心审美载体的音乐------则难以适用^Fales, 2002, p.57^。

信号处理技术从词源上就与通信、编码密切相关。这项技术提供了一种更精准的声音表征方式,例如,我们可以将音色的变化可视化为时间的函数 ,这让研究者得以围绕音色特征探究音乐结构^Wessel, 1979^,突破了乐谱中声音符号化表征的局限,也为理解音色在音乐学习中的作用开辟了可能。

随着新技术进入音乐教育领域,课堂中出现电子设备生成合成音色已十分常见。例如在听觉训练课上,部分教师会布置学生使用专用软件进行自主练习。由此便产生了疑问:用不同的合成音色训练听觉,效果是否存在差异?更具体地说,理解声音的特征能否优化训练应用的效果?

另一方面,我们必须明确:听觉训练的核心并非训练耳朵本身,而是每个人大脑中以表象形式存在的认知图式。因此,听觉训练可以解释为:在特定调性图式内提升音乐表象的精度------因为在读写、演奏或分析音乐之前,人必须先在脑海中形成音乐的表象Pitt \& Crowder, 1992; Gordon, 1997。

感知不同的音色,必然会形成不同的听觉表象。但问题在于:是否存在某一组音色特征,能比其他特征更深刻地印在脑海中?我们能否找到一组优质音色,用于提升听觉训练的效果?音色是不是优化音乐学习的关键变量?有没有某一种乐器,特别适合用于教授调性图式的最基础内容?

尽管音乐音色研究的历史相对较短,但越来越多的实证证据表明,音色对音乐感知具有重要影响 。在西方传统音乐教育中,与音色研究最相关的课程是配器法 ,但其研究视角局限于审美 起源,这无疑是数千年演化中为感官功能优化形成的结果^Helmholtz, 1954^。但这种功能优化是无意识演化的结果,其在教学法层面的应用价值始终未被系统关注。

当然也存在一些典范性的探索,例如雅克-达尔克罗兹、柯达伊、奥尔夫的教学法,都明确规定了音乐启蒙阶段应使用的音色^Choksy, Abramson, Gillespie, Woods, York, 2001^。但这一领域始终缺乏系统的验证,例如,仅用人声教学,与采用奥尔夫建议的乐器组教学,所获得的音乐能力究竟有何差异,相关研究十分匮乏。

此外,在成人音乐教育领域,我们迫切需要了解不同乐器如何优化音乐学习效果------尤其是在部分国家的官方课程体系中,音乐训练并未被纳入个人全面发展的必修内容的背景下。

从认知视角来看,记忆 在学习过程中处于核心地位:它并非信息的容器,而是能够将感知系统化的动态单元Pantev, 2001, p.301。根据感知现象保持时长的不同,听觉记忆可分为三类。这三类并非孤立的加工模块,而是在任意时刻协同工作,这种相互作用被称为工作记忆。

第一类是回声记忆 ,对应仅持续数秒的听觉事件;第二类是短时记忆 ,研究回声记忆之后、约8秒时长内的感知现象;第三类是长时记忆 ,是三者中最稳定的记忆形式,它所保留的信息,可以重构短时记忆时长之外的过往事件,或是经过反复演练形成的认知模式。长时记忆还与"图式"概念相关------图式是一种更高层级的学习机制,调控着人对新现象的感知^Leman, 1995; Snyder, 2000^。

2.1 音乐教育

学习包含两个层面:一是基因遗传带来的生理基础,二是利用遗传禀赋发展出的精细化策略。音乐学习同样具备这双重属性^Papoušek, 2003^,因此,理解音乐无需接受专门训练;但如果要交流特定的声音组织方式,就必须经过系统学习。

以西方文化为例,音乐的系统化程度在专业音乐院校中不断发展,音乐教育的内容、音乐与音乐家的社会角色,都遵循着一定的社会约定 。尽管不同社会之间存在明显差异,但西方文化自诞生之初就保留了一个核心理念:并非所有人都要成为音乐创作者。因此,在作曲、演奏、分析三大音乐活动中^Choksy, Abramson, Gillespie, Woods, York, 2001^,每个人至少要具备其中一项的基础能力。由此可以推断,受过文化教育的西方人,都具备最基础的音乐分析能力Serafine, 1988。

西方文化及其音乐教育理念已传播至世界各地,但每个地区都有各自的特色乐器,以及作为通识教育一部分的音乐学习时长^Hargreaves \& North, 2001^。

考虑到音乐声源的丰富多样性,我们不禁要问:除了发源于中欧、延续千年的传统训练方式,是否存在更优的音乐教育路径?此外,技术正以极快的速度引入新的声音与审美形式,我们必须做好准备,理解它们将如何影响人类未来的音乐感知。

(总是感觉这个人说这么多,但是关注到的点根本就不一样)

2.1.1 听觉训练

音乐教育主要有两大来源:一是专门教育机构开设的正规音乐教育,或是作为通识教育补充的音乐课程;二是蕴含在口头音乐传统中的隐性音乐教育。在制度化的音乐教育中,听觉训练处于课程体系的核心地位:例如德国^Hargreaves \& North, 2001, p.47^、意大利(其核心目标之一是"提升感知能力",p.79)与波兰(p.139)的课程体系均是如此。德国的一项相关数据显示,1995年接受调查的教师中,有13%具备在课堂使用MIDI技术的经验。

计算机辅助教学是听觉训练领域的一个重要发展方向,至今已有超过四分之一个世纪的历史。例如GUIDO系统,就是最早提出的交互式计算机听觉训练教学与研究系统^Hofstetter, 1975^。近年的训练方法在纸质材料之外,还提供了线上音频资源,例如Benward & Kolosick训练法[2005],就采用录制的钢琴音色播放练习曲目。同样,最新的听觉训练软件也普遍通过MIDI设备播放合成音色,例如Ear Master 5[2007]。但同样的问题依然存在:关于声源品质或音色特性的相关说明与研究,要么十分匮乏,要么完全空白。

正如Sloboda[2005]所言,在听觉训练领域,教师常讨论"练出好耳朵",但从科学角度看,绝大多数人的听觉器官功能都十分完善,没有办法通过训练提升耳朵的生理机能。真正需要探究的,是大脑中发生了怎样的变化,才会产生音乐家口中"好耳朵"对应的行为表现(p.176)。

在这一点上,埃德温·戈登提出的音乐学习理论[1997]十分契合。他在《音乐学习序列》一书中,核心概念是"听觉表象(audiation)"。戈登解释道:当我们同化听过或演奏过的音乐,或是在脑海中同化、理解符号化表征的音乐时,听觉表象就发生了(p.4)。从这一描述不难看出,"听觉表象"与Crowder & Pitt[1992]提出的"音乐表象"指的是同一现象。

他们引用赫布的研究(《论表象》,1968)解释这一机制:"表象是对最初事件起作用的同一中枢神经的激活,只是这一次没有原始感官活动的参与"(p.30)。表象与感知紧密关联,针对音色这一具体维度,行为与神经数据都已证明二者存在高度相关性^Halpern, Zatorre, Bouffard \& Johnson, 2004^。

2.1.2 音程

音乐音程的简单定义是两个乐音之间的距离,但如果思考声音世界中"距离"的感知意义,乃至乐音本身的本质,这个定义就会显现出复杂性。因此,为了得到适用于本研究的功能性音程定义,我们需要引入"形态承载介质"这一音高概念^Shepard, 2001^。

谢泼德曾举例说明:一个三角形的视觉形象,不会因为它在空间中位置改变而发生变化 ,这意味着视觉空间是一种形态承载介质。同理,感知中的音高空间也具备形态承载属性,听觉形式(比如三角形的听觉对应物)可以在其中被勾勒出来。进一步说,旋律可以被视为这类听觉形式,音阶同样如此------从还原论视角看,音阶不过是一组音程的集合。

本论文旨在探究不同音色如何影响音程记忆 ,因此将音程视为具备特定形态特征的声音单元,是十分有益的研究视角。

音程感知最核心的问题与模式再认相关,但这一过程的实现依赖一套生理系统及其功能限度。在实验室受控环境之外 的真实音乐语境中,一个乐音应被理解为多个音高的叠加 ------它们共同刺激听觉系统,听觉系统对其进行分析,并将其简化为单一的、最显著的特征,即音高。

关于这一分析与简化过程的具体机制,学界已开展大量研究,发现多个生理与神经区域都参与其中,相关成果在过去20年间得到了充分验证^Burns, 1999。例如,研究证实,在两个声音依次呈现的对比任务中,人类可分辨约1400种不同的频率Handel, 1989^。

根据多伊奇提出的模型[1999],音高只是听觉系统所做分析的一个分支 ,它与音程大小、音色,以及响度、时长等其他模式,在不同脑区并行加工与存储。此外,这些分支之间存在相互作用:已有证据表明,音程大小的感知会因音色变化而发生偏移 ^Warrier, Zatorre, 2002; Russo, Thompson, 2005^。

先把最重要一句话划清楚:

Deutsch(1999,《The processing of pitch combinations》,收录于 The Psychology of Music)原文,并没有直接做"音色、响度、时长、音程距离四路并行、互相交互"这个结论。

她的核心证据来自八度错觉、音阶错觉(scale illusion)这一系列心理声学错觉实验 ,用来支持:听觉有分离的「What(是什么:音高、音色、音关系)」和「Where(在哪:声源定位)」两套独立决策通路;特征先独立提取,之后再绑定,绑定出错就产生错觉(错误特征结合 / illusory conjunction )。

"音色/响度/时长/音程距离各自独立并行加工、跨维度交互"是后世研究者在她的框架上整合拓展出来的综合图景,不是Deutsch原文直接证明的内容。

下面分三块讲:① Deutsch本身用什么实验、证明了什么;② Warrier & Zatorre(2002);③ Russo & Thompson(2005,和你的论文最核心)。


一、Deutsch 的证据:八度错觉(Octave illusion)+ 音阶错觉(Scale illusion)

八度错觉范式(经典,1974,1999综述整合这套结论)

刺激:耳机双耳同时播放,右耳高音时左耳低音,左耳高音时右耳低音,两个音固定相差八度,快速交替 。

物理上:两边耳朵同时都有高音+低音信息,没有缺失任何频率成分。

但被试主观知觉绝大多数是:一个声音在两个耳朵之间来回跳位置,同时音高跟着八度翻转。

Deutsch 的推论:

  1. 音高判断通路、声源定位通路是两套独立、并行运行的决策模块,不是绑定在一起一次性解析;
  2. 系统会独立提取「音高特征」和「空间位置特征」,之后再做特征绑定;
  3. 绑定规则出错,就出现虚幻联结(illusory conjunction) :把A耳的音高,错误绑定到B耳的空间位置上;
    👉 这就是她双通道(two-channel / what--where)模型的根基。

重点:这个实验操纵的只有音高+双耳位置 ,没有系统改变音色、响度、时长。所以Deutsch原文只能直接支撑:音高 ≠ 定位,二者独立并行加工,可发生错误绑定 。

你句子里写的「音色、响度、时长、音程距离并行提取、互相交互」,是把后来一大批别的研究合并进来的扩展表述,不是Deutsch原文直接结论。

音阶错觉 Scale illusion(Deutsch,1975,同样收进1999章节)

刺激:把上下行大调音阶的音符交替分给左右耳;上行音符在右耳的时候,下行音符在左耳,交替快速播放。

物理:每只耳朵都混杂高音和低音。

知觉结果:很多人听到高音旋律稳定在一侧耳机、低音旋律稳定在另一侧 ,完全忽略物理上的双耳交错。

推论:听觉会自动按**音高关系(旋律分组、音程关系)**做流式分离,这个分组机制和空间定位是两套独立机制;音程关系本身是独立提取的线索,不依附于声源位置。

✅ 从这里,她的框架埋下伏笔:音高关系(音程)是独立的知觉表征,不是单纯两个音高相减的副产品,这对你的微分音程记忆非常关键。

小结Deutsch 1999能稳拿的结论:

听觉存在独立的特征提取通路;音高、音程关系、声源定位可以分开加工,特征绑定会出错,产生听觉错觉。

❌ 她没有用实验证明音色、响度、时长各自独立并行;这些维度的分离证据来自别的文献。


二、Warrier & Zatorre, 2002:音色会干扰音高辨别(fMRI+心理物理)

标题:Influence of tonal context and timbral variation on perception of pitch

目标:检验音色是不是和音高在同一套通路里、还是独立通路,会不会互相污染。

实验范式

心理物理任务:音高辨别任务,让被试判断第二个音比第一个高还是低;分两种条件:

  1. 音色固定不变;
  2. 音高变化的同时,音色(频谱质心、分音结构)随机变化。

同时采集fMRI:看皮层激活。

结果:

  • 音色变化会显著降低音高分辨成绩;哪怕F0完全一样,音色扰动也会干扰音高判断;
  • 音高加工主要在颞上回/planum temporale;音色(频谱包络)有部分重叠但存在可分离的响应模式;
    推论:音高和音色是分开提取的并行特征,但通路之间存在相互的侧向干扰,不是完全正交隔离 。
    👉 这就是"特征之间存在交互效应"一条直接证据。

注意:这篇是单音音高判断被音色干扰,还不是「音程大小知觉被音色扭曲」。


三、Russo & Thompson, 2005(你的论文最核心的那篇,音程错觉)

标题:An interval size illusion: The influence of timbre on the perceived size of melodic intervals

这篇才是专门回答:单个音的音高没变,但主观音程距离被音色改变,完美支撑你的研究前提。

实验范式(4组递进实验)

刺激:连续两个音,固定F0差:要么6半音(三全音),要么7半音(纯五度);

系统操纵音色变化和音高走向的一致性:

  • congruent 一致:音往上走,频谱质心也变亮(高频变多)
  • incongruent 不一致:音往上走,频谱反而变暗
  • 静态音色:音色全程不变(对照组)

被试任务分两种:

  1. 主观打分:直接评价这个音程有多大;
  2. 二择一比较:先后听两组音程,选更大的那一个。

关键结果(实验4是控制验证,非常重要):

单独测每个音的F0辨别:音色操作完全没有扭曲单个音本身感知音高 ;

但是:6半音 + 【一致音色变化】,会被知觉成比7半音 +【不一致音色变化】更大的音程。

👉 这个就证明:音程大小,不是简单由两个音的音高相减得到;听觉系统有独立的"音程大小表征通路",这个通路会接收音色维度的线索,被音色调制 。

也就是:音高、音程大小、音色,是可以独立提取的维度,并且互相作用。


四、补充:响度、时长为什么学界普遍认为是并行维度(不是Deutsch做的)

  • 响度:基于耳蜗的激发强度,独立于周期音高提取;
  • 时长/时序:由听觉时序整合窗口、onset/offset检测器处理;
    大量oddball、ERP(MMN)实验证明:可以单独改变时长而不改变音高、音色,大脑能独立检测时长偏差。
    所以综述里才会把它们打包在一起,形成你那句"音色、响度、时长、音程距离等听觉维度由听觉系统并行提取,在不同脑区完成加工,特征之间存在交互效应"------这句话是一个领域整合后的综述式概括,不是单篇Deutsch1999的原文结论。

2.2 音色

进入21世纪,音色仍是一个难以精准定义的概念,这或许是因为对其进行精准描述本身就是一项新兴课题。对音色的精准认知需求,源于声音与其声源的分离------这是工业革命带来的结果,录音技术也随之诞生^Schafer, 1977^。

这种分离催生了许多新的声音:它们未必来自声学声源,有时只是波形发生器生成的原始信号。此外,录音技术对我们当下的音色认知与音乐意义影响深远,但专业圈之外的普通受众对此鲜有察觉。必须强调的是,录音技术的精细化发展,追求的是审美理想^Zagorski-Thomas, 2005^,而非教学效率等其他目标。

以声学声源作为参照的优势在于,我们可以通过视觉或语言范畴,将特定音色与其声源关联起来,让声音描述变得简单。例如"这听起来像你之前听过的某某东西",这句表述本身就包含了大量记忆线索Rogers, 2005,或多或少能补全声音描述所需的信息------当然,如果声音太过新奇陌生,找不到现实参照,这种描述就会失效。

但即便如此,这种语言描述方式贯穿了整个西方历史,即便对演奏家、作曲家、音乐学家等专业人士也是如此。专业人士确实发展出了一套精细的语言,用于讨论特定作品的理想音响效果,但这套音乐人共享的话语体系远非统一,在不同亚文化语境下,其隐喻层面甚至可能相互矛盾。

从词源上看,"timbre(音色)"一词源自法语。根据Fales的研究[2005],该词表示"声音品质"的含义,是18世纪逐步演化的结果。它最初隐含在协和、齐唱等概念中,这些概念间接指向了声音的这一全新属性。从那时起,学界的核心问题就是找到一套描述词汇,将声音拆解为可感知的现象。

在这一探索中,有几份文献值得关注:1765年卢梭在《百科全书》第十五卷中撰写的"声音"词条,被认为是现代意义上首个音色定义。对比1960年国际标准化组织发布的定义可以发现,近200年间,音色的定义几乎没有发生太大变化------两者都在描述"音色不是什么",而非明确界定音色的客观属性。

第二类文献是Huron[2001]归类为理论研究的成果,以Slawson[1985]与McAdams[1995]²的研究为代表。谢弗的《音乐对象论》[1968]也可归入这一范畴,不过其整体更偏向为音乐教学构建的分类体系。

第三类研究堪称音乐认知领域的基石,其核心发现是音色具备多维感知空间 ^Grey, 1977; Wessel, 1979; McAdams, Weinsberg, Donadieu, De Soete, Krimphoff, 1995^。

² 该参考文献的年份由1986年修改而来,因为休伦所指的具体研究尚不明确。

在此必须提及Lartillot & Toiviainen的研究[2007]------他们开发了一套计算工具,可视为量化音色描述子的集大成者,其底层原理整合了音乐认知领域众多学者的研究成果。该工具通过模拟人类听觉系统的生理与神经特性,对声音进行模块化处理,从而精准呈现声音在大脑中"形成意义"的过程。

这些描述子可以对应任意语言标签,但其量化结果具备高度可靠性------同一段声音样本的测量结果始终恒定。这些测量值为搭建音频信号提取数据与人类行为/神经数据之间的关联提供了量化基础,也为统计推断提供了可靠依据。我们相信,借助这类计算工具,音色描述不均质、偏主观的古老难题正在逐步解决,取而代之的是关于音色感知细微差异的全新研究方向。

2.2.1 音色与音阶
2.2.1.1 频谱形状

既然音色可以从声音信号中计算得出,就意味着我们拥有一套特殊的声音现象表征方式,可用于开展各类分析。这种表征也就是数字声音,本质上是用二进制编码对声波进行的排布。

尽管"以极小的时间与空间单元编码粒子位置"是行业通用原理,但为了更高效地实现这一原理,各类数学算法层出不穷。

将声波以二维形式呈现时,波形越宽,代表粒子位移越大、能量越高³;而固定时长内波形重复的次数,则对应声音的频率(即音高)。但这种周期性分析仅适用于理想场景------真实音乐的声波结构极为复杂。如果要超越音量、音高等表层认知,就必须进行更精细的分析:通过探究表层周期性之中的深层规律,构建三维乃至多维的声音表征。

将复杂波形分解为简单成分之和的难题,由让-巴普蒂斯特·约瑟夫·傅里叶(1768-1830)解决。这一分解方法应用于声音领域,就是频谱分析。

对声音频谱进行细致分析可以发现,部分成分的能量远高于其他成分,这些成分被称为频谱主成分。主成分的分布与能量差异是每个声音独有的特征,但同一声源发出的声音,部分频谱成分是稳定不变的,由此勾勒出特定的形态。音色就可以被定义为:频谱中主成分所勾勒出的、稳定不变的形态。换言之,音色存在于声音的频谱之中,这也意味着频谱不会携带音高等其他声音属性的关键信息。

这一结论实际上印证了让-菲利普·拉莫(1683-1764)的预言。他曾发问:"我们每听到一个声音,其实都听到了三个声音,这是真的吗?"他指的就是自己能听到、但很多同行听不到的频谱成分。或者说,同行们并非听不到,而是由于知觉分组机制,他们听到的不是各个主成分,而是整体的音色^Fales, 2005^。

2.2.1.2 协和性/不协和性

拉莫对频谱成分的细分发现,让他开始质疑这些成分在当时整个和声体系中的作用------而和声规则是历经数百年演化、在对审美理想的不断探索中逐步确立的。这一发现让他与后继者对声音的内部结构有了全新的认知,但这一认知直到亥姆霍兹(1821-1894)时代,才得到科学方法的验证。

亥姆霍兹在《论音调的感觉》一书中,通过分析两个乐音同时发声的现象,确立了协和/不协和概念的力学与生理学基础。实验中,他保持一个音的频率固定,逐步改变另一个音的频率,并由此提出:协和与不协和现象的差异,与两个音的频率差相关,更具体地说,与两个声音频谱形状叠加后的听觉效果相关。

如果一个声音的主频谱成分⁴与另一个声音的主成分差异在特定阈值(33赫兹)以内,对应的音程⁵就可被判定为不协和;如果差异超出该阈值,且频率比接近整数比例,音程就可被判定为协和。

⁴ 也称为泛音或分音。

⁵ 定义参见2.1.2节。

普朗普与莱维尔特后续对该理论做了修正与补充[1965],提出这一阈值实际上是一条随频率变化的曲线,被包含在两条线性边界之间,他们称之为临界带宽。两条线之间的区域在低频更宽,高频更窄。"当频率差超过临界带宽时,纯音音程会被感知为协和;而最不协和的音程,对应的频率差约为临界带宽的四分之一"(p. 548)。

2.2.1.3 音阶

有一个音程至关重要,它在众多文化的音乐中都作为音阶的边界存在^Krumhansl, 1990^,在西方传统中也被视为协和度仅次于纯一度的音程,这就是八度。

如果两个乐音齐奏,意味着它们频谱中最显著的频率高度相似,频率比例可表示为1:1。换言之,一个声音频谱中最突出的频率,与另一个声音的对应频率完全一致。八度的频率比例则是2:1,即第二个音的突出频率是第一个的两倍。

这类数值比例被称为音程比,与音程是同义概念。因此,音阶可以被视为一个八度内的一组频率比例。世界上的音阶或许和语言一样多,但西方文化中最通用的音阶,是将八度平均分为十二份的音阶,其比例可通过以下公式计算:

Ratioi=2(i12)Ratio_i = 2^{\left(\frac{i}{12}\right)}Ratioi=2(12i)

其中i为取值0到12的索引,对应八度的各个细分位置⁶。这十二个细分的传统名称依次为:纯一度、小二度、大二度、小三度、大三度、纯四度、三全音(增四度或减五度)、纯五度、小六度、大六度、小七度、大七度、纯八度。本论文中将该音阶称为十二平均律音阶,且作为研究的参照音阶使用。

⁶ 若要计算八度的更多细分,只需将公式中的12替换为目标数量即可。

2.2.1.4 音色、协和性与音阶的关联

感觉协和与不协和的概念,对于理解音色与音阶的关联至关重要。例如普朗普与莱维尔特的感觉不协和实验[1965]:使用一对正弦波,其中一个频率固定,另一个频率逐步升高,由此绘制出的曲线如图1所示。

从图中可以观察到,不协和的峰值出现在音程接近小二度的位置,随后缓慢下降。图中还标注了这一现象引发的不同听觉感受:两个频率极为接近的正弦波会让人产生拍音感;拍音速度过快时,会产生新的粗糙感;当频率距离进一步拉大,粗糙感(即不协和感)消失,人就能清晰分辨出两个独立的乐音。

图1 Plompt & Levelt提出的感觉不协和示意图(引自Sethares, 1999)

图1同时表明,实验中没有谐波存在,即声音频谱中不存在其他成分,因此这是一种非常特殊的音色,在真实音乐语境中几乎不会出现。

由此我们自然会产生疑问:如果实验音不是纯正弦波,而是更复杂的乐音------比如包含六个主频谱成分,且均为基频(250赫兹)的整数倍------结果会是怎样?普朗普与莱维尔特也做了对应的实验,其感觉不协和的图示结果如图2所示。

图中横轴的参考线不再是十二平均律音阶,而是具体的频率值;曲线极小值点标注了对应的频率比例,提供了额外信息。

这些比例与毕达哥拉斯(约公元前580-约公元前500年)计算的古老音阶高度重合,也与十二平均律的部分音级相吻合。表1将这些数值整理制表,直观呈现了这种一致性。

图2 粗糙度与音程比例(改编自Sethares, 1999)

表1 不同来源音程比例的一致性

音程名称 纯一度 小二度 大二度 小三度 大三度 纯四度 三全音 纯五度 小六度 大六度 小七度 大七度 纯八度
十二平均律 1 1.06 1.12 1.19 1.26 1.33 1.41 1.5 1.59 1.68 1.78 1.89 2
毕达哥拉斯比例 1:1 - - 5:6 4:5 3:4 - 2:3 - 5:3 - - 1:2

Sethares[1999]提出了一套算法,可从声音信号计算感知不协和曲线,该方法会将频谱形状的大部分成分纳入计算(见图3),因此能更精准地呈现特定音色与音阶的对应关系。

这类感知不协和曲线(塞勒斯称之为不协和曲线)遵循与图2相同的原理,区别在于其极小值的精确数值可通过算法估算得出。图3横轴为频率比例,背景网格标注了十二平均律音阶各音程的位置。纵轴为任意数值,仅用于表示感知不协和度的相对高低。

图3 采用Sethares算法计算的不协和曲线示例

上述证据表明,从纯审美视角看,音阶的演化始终受到听觉系统生理属性的直觉性、潜意识影响。通过调整不协和曲线的参数,我们可以发现,协和/不协和只是众多研究视角之一。事实上,3.1.3.1节会介绍本实验采用的数值研究方法。

音色与音阶之间可以建立无限种关联,但其精细程度取决于分辨率:仅考虑频谱形状的少量成分时,只能得到八度的少数细分;如果分辨率足够高,计算中纳入频谱里所有显著的周期成分,协和点的数量会大幅增加。

这或许可以解释,为什么世界上存在如此多样的音乐音阶------每种文化的感知分辨率不同,且这种分辨率可能与言语声音相关的其他听觉感知维度有关^Schwartz, Howe, Purves, 2003^。

2.3 记忆

2.3.1 三级一体的记忆模型

本节将简要回顾Bob Snyder[2001]在《音乐与记忆》一书中提出的三级记忆模型。该模型根据信息加工的时间跨度,将记忆分为感觉记忆、短时记忆与长时记忆三个主要部分。这种分类并不意味着大脑真的分为三个独立模块进行信息加工,而是三者共同汇聚为工作记忆这一整体。

2.3.1.1 感觉记忆

在感觉记忆(也称为回声记忆)中,听觉信息以非常基础的方式被组织。输入信号是耳部神经细胞产生的脉冲,音高、频谱等各类"特征",由一组具备生物特异性的神经元负责提取,专门响应特定的特征刺激。

这些特征提取机制可能由基因决定,是与生俱来的,不同物种间存在差异。感觉记忆是听觉类别感知的最基础形式^Evans, 1982^。

到这一阶段,信息开始具备类别属性,不再是连续的感官表征。听觉事件是最基础的关联形式,当一组特征同时出现时,就形成了听觉事件------比如对一个音符时长、音色与音高的感知。

在回声记忆阶段,会形成基础的非语言表征(即表象),同时也会完成模式识别------将长时记忆内容与当前感知经验进行匹配。习惯化是一种低意识水平的识别形式:当输入刺激反复完全相同时,神经元的输出活跃度会逐步降低^Snyder, 2001, p. 24^。

这种活跃度下降也被称为适应反应。换言之,如果环境噪音之类的脉冲反复出现,我们大概率不会每次都注意到它。

2.3.1.2 短时记忆

短时记忆的平均持续时间为3到5秒,具体取决于记忆材料的新颖性与复杂度。它与长时记忆的区别在于,短时记忆不会造成神经元连接的永久性解剖或化学改变。

短时记忆具备一定的功能分化,因此可能存在不止一种短时记忆系统:分别负责语言、视觉物体识别、空间关系、非语言声音、肢体动作等^Snyder, 2001, p. 47^。

短时记忆与两个核心概念紧密相关:复述与组块化。复述是将信息暂时维持在短时记忆中的必要手段,也是信息存入长时记忆的必要条件;复述通常是有意识的过程,但也可在低意识水平下发生。一般而言,经验模式中任何元素的重复,都构成某种形式的复述。

组块化指的是将相互关联的小单元组合为更高层级的单元,是关联记忆单元的整合过程,最终形成结构化的关联层级。短时记忆对应旋律与节奏分组的加工层级,也就是音乐"局部"秩序被感知的层级(pp. 52-56)。

这类记忆是我们理解时间序列事件的主要方式,但其容量非常有限:有意识复述下可处理7±2个单元,无意识复述下为3到4个单元 ;如果重复模式符合短时记忆的时间限制,可处理25个单元。从时长上看,根据信息类型的不同,短时记忆跨度从3-5秒到10-12秒不等(p. 50)。

2.3.1.3 长时记忆

长时记忆处理的时间尺度大于3到5秒,负责管理事件的模式与相互关系。记忆必须处于无意识状态才能为"当下"留出认知空间;当重复刺激改变了同步激活神经元之间的连接强度时,长时记忆就形成了。

同步激活的神经元群组之间的连接被称为关联,这一形成过程称为线索激活。线索激活分为三类:回忆,即主动尝试提取记忆;联想,即环境中的事件自动唤起相关记忆;再认,即环境中的事件自动作为自身的识别线索。

长时记忆绝非静态,而是高度动态的。长时记忆的形成通常被称为"编码",而记忆提取是一个重构过程,而非简单的复制(pp. 69-71)。

2.3.1.4 工作记忆

半激活状态的长时记忆被高度激活并进入意识,同时短时记忆不断接收感知输入、并为新的记忆关联做准备,这一动态过程就是工作记忆。

二者的概念区别在于:短时记忆可被理解为存储单元,而工作记忆是一个加工过程。工作记忆处理即时感知与被激活的相关长时记忆,也处理处于半激活状态的背景信息,以及刚刚从意识中消退的信息(pp. 47-49)。

2.3.2 音色记忆

在接触声音后的数毫秒 内,人就能辨别出音色信息。研究已通过实验证明,音色与音高是分离加工的,二者在听觉短时记忆中独立处理^Semal, Demany, 1991; 1993^。

部分研究聚焦于音色再认:研究发现,当频谱形状的某些特征被改变 时,人识别音色的能力会出现差异^Berger, 1964^;当实验任务要求在不同语境 下识别音色时,也会表现出不同的能力水平^Krumhansl, 1992^。

另一个极具前景的研究方向是神经层面的音色记忆研究。已有神经科学证据表明,针对特定乐器音色的训练 ,可能引起听觉皮层的功能增强^Pantev, Roberts, Schulz, Engelien, Ross, 2001^;频率辨别训练也会引发听觉皮层的可塑 性变化^Pantev, Wollbrink, Roberts, Engelien, Lütkenhöner, 1999; Menning, Roberts, Pantev, 2000^。

3 实证研究

本章将详细介绍本研究的各个阶段,包括数据收集过程,以及围绕"音色对微分音程回忆的影响"这一核心问题开展的统计检验。

3.1 研究方法

3.1.1 实验设计

本实验旨在对比不同音色下音程记忆的表现差异,属于重复测量设计。自变量为合成类型、乐器名称与音程长度,因变量为被试回忆目标音程的准确率,以错误次数衡量。

核心检验是对不同音色特征、不同来源的组别进行方差分析;同时,所得数据也可用于观察反应倾向,推断可能存在的学习效应。

本研究选择"让被试聚焦于其他任务"的方式研究音色效应,目的是让所有被试的工作记忆对注意力的调控处于统一状态^Hall \& Blasko, 2005^。

图4直观展示了实验的设计逻辑。图左下角是一个分为20格的方块,每一小格代表一个声音样本,具备两个独有属性:乐器来源与音色修饰类型(5种乐器 × 3种合成类型 + 原始无修饰样本)。

图4 实验设计示意图

图右侧三块阴影区域分别标注为"基准频率""目标音""第二与第三选项",用于说明每轮试次包含三段音程:一段由基准频率与目标音构成,另外两段由基准频率分别与第二、第三选项构成。

阴影区域内的小方块与左下角类似,但标注了数值,代表每个样本的音高调整量。例如,基准频率的所有样本均为261.63赫兹;目标区域的60个样本中,20个为261.63赫兹+350音分,20个为261.63赫兹+550音分,其余为261.63赫兹+750音分。第二与第三选项区域遵循相同逻辑,最终共生成200个各有特征的声音样本。图左上角为整体设计的汇总。

3.1.2 被试

本研究共招募23名被试,招募方式有三种:邮件列表发布通知、公告栏张贴海报、个人邀请。

招募面向两类人群:面向普通大众的邀请,强调听觉能力对音乐欣赏的重要性;面向音乐从业者的邀请,则明确提出对听觉训练能力的挑战。口头邀请时会对测试做简短说明。整体而言,被试不会被告知研究的核心变量是音色,而是将实验包装为音高辨别练习。

被试中女性8名,男性15名,年龄在20至40岁之间,平均年龄标准差为5.2。实验结束后,被试需填写一份调查问卷,用于收集其音乐背景与听音习惯信息。

3.1.3 实验材料
3.1.3.1 实验刺激

实验刺激的设计包含两个核心流程:素材与样本的筛选/判别,以及分析/合成处理。

筛选

样本筛选共分析了三个素材库:《麦吉尔大学大师级样本库2.0》^Opolko \& Wapnick, 2006^、《Native Instruments Kontakt 2采样库》^Haver \& Schmitt, 2006^,以及通过Realtek ALC259软件播放的微软波表合成器钢琴。

筛选目标是获取具备一定生态效度、应用场景广泛的声音素材。选择麦吉尔样本库,是因为它在音乐学研究中被广泛使用,且本研究开展期间,另一项探究音色与情绪关联的研究也采用了该素材。选择Native Instruments素材,是因为于韦斯屈莱大学音乐系已购置该库,且该产品面向家庭工作室与半专业市场,样本经过响度均衡与分类处理,可直接用于创作,无需大量后处理------这一点与需要大量预处理的麦吉尔素材库形成对比。选择第三种素材,则是因为它获取便捷、普及度高,尤其在音乐训练软件与相关网站中被广泛使用。

判别

乐器组的判别标准有两条:第一,优先选择包含中央八度13个样本(MIDI 60-72,即C4-C5)的完整乐器组。第二,借助MIRToolbox工具包^Lartillot \& Toiviainen, 2007^,我们在Matlab中编写了名为"对立查找器(Antagonist Finder)"的脚本,用于分析样本的时长、幅度、音色值等整体特征。

该脚本可筛除那些因结构复杂、无法被工具包良好处理的样本。例如,若某组乐器样本的音高被"mirpitch"算法(默认参数)高估或低估超过10%,就会被剔除。这样做的目的是筛选出真实、且便于后续处理的声音素材。

另一项策略是对比特定音色描述子 的数值,找出数值处于分布两端的乐器。例如,研究初期我们尤其关注"明亮度"这一特征,通过该策略可筛选出一组明亮音色与一组暗沉音色的乐器,纳入最终实验刺激集。我们还用同样的方法筛选了非谐波性、粗糙度等其他维度的对立音色。

最终,我们共纳入5组乐器:麦吉尔素材库的圆号、中音长笛、弓弦颤音琴,Native Instruments的双簧管,以及微软波表的钢琴。

最终筛选的过程十分艰难:我们原本希望每个素材库至少入选一组乐器,但受实验时长限制,部分音色独特、听感有趣的样本不得不被舍弃。

分析

Sethares在其研究中[1999]详细介绍了一种技术:计算与给定音色最适配、协和度最优的新音阶的音程比例。该技术的第一步,是计算目标音色的频谱形状,提取最显著的分音及其幅度;随后基于这些信息计算不协和曲线,曲线的极小值点,就对应"新音阶"的组成比例。

我们对多组音色系统地执行了上述步骤,发现不同音色的不协和曲线极小值,大多落在相同的比例位置,这为通用音阶的存在提供了依据。

图5展示了麦吉尔素材库中73个样本的不协和曲线极小值命中分布的可视化模式。每个样本对应不同音色,时长均为1秒,音高统一为升D4,约311赫兹。背景网格标注了十二平均律音阶的音级位置,仅作参照。

图5 73条不协和曲线的极小值命中分布示意图

图5呈现的73条不协和曲线极小值的分布规律,引出了图6的结果:图6是73条曲线取平均后的不协和曲线,绿色圆圈标注了被选为"不协和曲线音阶"的音级比例。

这条平均曲线共包含16个极小值点,但部分点在频率上几乎重叠,因此未纳入后续计算。注意图6横轴标注了"12-tet",即十二平均律的缩写。

图6 73种不同音色的平均不协和曲线

至此,我们得到了"不协和曲线音阶"的各音程比例,并假设这组比例是基于音色与心理声学关系计算出的通用音阶。接下来需要从中选出适合测试记忆的音程。

但在筛选过程中我们发现,不协和曲线音阶只是一种研究视角,未必是最优选择。更重要的是,我们必须舍弃大部分音程,否则实验时长远超可接受范围。

音程筛选的原则之一,是剔除所有与传统十二平均律高度接近的音程------因为被试的文化背景中已经存储了这些信息,实验任务需要让被试记忆不熟悉的音程。筛选的另一目标,是确保入选音程确实存在于频谱结构之中。

因此我们采用了另一种策略:直接计算相邻分音的频率比值。该策略的问题在于,不同音色得到的比值差异很大;但在用于计算平均不协和曲线的全部73种音色中,有三个比例稳定出现,符合研究需求。

仅得到三个音程仍不够理想,因此我们决定引入第三组已在音乐中使用、但较为小众的音程体系。通过考察查尔斯·艾夫斯(1874-1954)、胡利安·卡里略(1875-1965)等作曲家的创作与理念,我们选择了二十四平均律音阶,这组音程具备较高的生态效度。

确定三组候选音程(不协和曲线音阶、相邻分音一致比例、四分音音阶/二十四平均律)后,我们通过对比频率数值敲定了最终的目标音程。对比发现,部分音程的间距小于或非常接近最小可觉差曲线^Yost \& Nielsen, 1985^。

表2的子表格列出了对比所用的数值,最终入选的目标音程已高亮标注。表格左下角还附上了十二平均律各音级及其MIDI数值,供参考;所有音阶的频率均按中央八度(C4到C5)计算。

表2 音程筛选的频率对照表

十二平均律音级 差值 二十四平均律频率
1 0 261.63
1 7.67 269.29
2 0 277.18
2 8.12 285.3
3 0 293.66
3 8.61 302.27
4 0 311.13
4 9.12 320.24
5 0 329.63
5 9.66 339.29
6 0 349.23
6 10.23 359.46
7 0 369.99
7 10.84 380.84
8 0 392
8 11.49 403.48
9 0 415.3
9 12.17 427.47
10 0 440
10 12.89 452.89
11 0 466.16
11 13.66 479.82
12 0 493.88
12 14.47 508.36
13 0 523.25
十二平均律音级 差值 不协和曲线频率
1 0 261.63
3 5.37 299.04
4 5.81 305.32
4 2.82 313.95
4 8.58 319.71
5 2.6 327.03
5 6.82 336.45
6 0.48 348.75
7 10.26 359.74
7 3.72 366.28
8 0.44 392.44
9 3.56 418.86
10 3.87 436.13
11 8.32 457.84
11 4.76 470.93
13 0 523.25
目标音程
MIDI值 频率(Hz)
63.4855 319.98
65.4620 358.67
67.5155 403.84
68.8470 436.13
十二平均律音级 差值 相邻分音频率
1 0 261.63
5 1.76 331.39
6 7.59 356.82
9 11.1 404.21
13 10.37 512.88
十二平均律
音级 MIDI值 频率(Hz)
1 60 261.63
2 61 277.18
3 62 293.66
4 63 311.13
5 64 329.63
6 65 349.23
7 66 369.99
8 67 392
9 68 415.3
10 69 440
11 70 466.16
12 71 493.88
13 72 523.25

最初我们选出了四个音程:三个因同时出现在三类音阶中而入选,第四个因在不协和音阶中的重要性入选。第四个音程是不协和曲线音阶中协和度第三高的比例,但由于它与十二平均律的大六度过于接近,最终被剔除。

此外,从表2下方"目标音程"小表格的平均值可以看出,前三个音程的MIDI值几乎处于整数MIDI值的正中间。也就是说,若十二平均律中相邻整数MIDI的间距为半音,那么我们的三个目标音程几乎都对应四分音的位置,第四个则不符合。因此最终确定的三个目标音程为:350音分(MIDI=63.49)、550音分与750音分。

需要说明一处小幅妥协:我们将这些数值保留一位小数,使得本研究中最小的目标音程,恰好等于十二平均律的四分音。

合成

借助频谱建模工具包^Johnson, 2002^,我们对声音信号做短时傅里叶变换处理,输出三个随时间变化的向量,分别包含频率、幅度与相位值。

根据塞拉的理论[1990],我们可以从变换结果中识别出频率峰值及其时间演化轨迹,这些轨迹就对应乐音的分音⁷,以及音高在阈值内的微小波动。

⁷ 全文中,泛音、频谱主成分均为分音的同义表述。

本研究的核心假设是:特定分音的存在与否,会增强或削弱记忆线索的提取效果。要让特定分音"消失",就需要对音色进行调整。调整的前提假设是:每个分音都与特定音阶的音级存在数值对应关系。因此,调整的目标,就是从分音结构中移除与目标音程存在数值关联的分音;换言之,将记忆测试所用的音程,从乐音的内部结构中移除,以此实现音色修饰。

具体方法为:将每条轨迹的平均频率pip_ipi,除以目标音阶每个音级的频率fjf_jfj:

ratioij=pifjratio_{ij} = \frac{p_i}{f_j}ratioij=fjpi

由此得到一个比例矩阵,呈现每对数据的接近程度:第一行第一列表示第一个分音与第一个音阶音级的数值关系,同一行第二列表示第一个分音与第二个音阶音级的关系,以此类推。

因此,如果每一行代表一个分音与所有音阶音级的数值关系,接下来只需找出最匹配的候选------即比例值的小数部分最接近0的选项。

例如表3中,我们考察了C4(约261.63赫兹)钢琴音的前10个分音(轨迹),以及它们与十二平均律各频率的数值比例;每行的最小余数已高亮标注。

表3 候选分音筛选示例

f1 f2 f3 f4 f5 f6 f7 f8 f9 f10 f11 f12
p1 1.000 0.944 0.891 0.841 0.794 0.749 0.707 0.667 0.630 0.594 0.561 0.530
p2 2.999 2.831 2.672 2.522 2.380 2.247 2.121 2.002 1.889 1.783 1.683 1.589
p3 10.145 9.575 9.038 8.531 8.052 7.600 7.173 6.771 6.391 6.032 5.694 5.374
p4 14.438 13.628 12.863 12.141 11.460 10.817 10.209 9.636 9.096 8.585 8.103 7.648
p5 1.999 1.886 1.780 1.681 1.586 1.497 1.413 1.334 1.259 1.188 1.122 1.059
p6 5.002 4.722 4.457 4.206 3.970 3.747 3.537 3.339 3.151 2.974 2.807 2.650
p7 6.036 5.697 5.378 5.076 4.791 4.522 4.268 4.029 3.803 3.589 3.388 3.198
p8 12.254 11.566 10.917 10.304 9.726 9.180 8.665 8.179 7.720 7.286 6.877 6.491
p9 13.347 12.598 11.891 11.224 10.594 9.999 9.438 8.908 8.408 7.936 7.491 7.070
p10 4.004 3.779 3.567 3.367 3.178 2.999 2.831 2.672 2.522 2.381 2.247 2.121

从表中可以看出,第1、2、5、7号分音与根音(即十二平均律的第一个音)存在对应关系。基于这些数据,我们列出了用于音色修饰的候选分音列表,通常数量在50个以上。当然,根据频谱能量分布的不同,最多可达500个(该阈值由频谱建模工具包的峰值转轨迹函数指定)。

值得一提的是,早期的音色修饰思路是移动分音的原始位置,通过改变主频率拉伸分音,但该方案最终被放弃------因为处理后的音质与原始样本差异过大。

得到候选分音列表后,我们就可以呈现分音结构,结合幅度值,直观展示特定声音的音色结构与特定音阶的对应关系。

图7直观呈现了这一思路:图中是C4(约261.63赫兹)弓弦颤音琴的样本结构,其音色始终与三种音阶(十二平均律、不协和曲线音阶、二十四平均律)的第一个音级对应,其次则与中间某个音级对应,也就是纯五度,即2:3的比例。

纵轴刻度为任意值,由与某一音阶音级接近整数比例的分音的幅度叠加得到(即上文中的候选分音)。事实证明,音阶的细分程度越高,频谱成分与音阶音级的对应关系就呈现得越精细。关于分辨率的问题,2.2.1.4节末尾已做简要讨论。

图7 音色与不同音阶步级对应关系示意图

本研究的样本设计采用了两种合成技术:加法合成与频谱建模合成。其中加法合成包含两种音色修饰策略:第一种直接复制原始样本的频谱信息(频率与幅度)进行合成;第二种则剔除与平均不协和曲线所选频率存在数值关联的分音(平均不协和曲线基于73种不同音色计算,本节开头已说明,表2子表格中也做了高亮标注)。

频谱建模合成的修饰策略有所不同:它通过降低目标分音的幅度,实现指定分音的消隐。这一操作借助频谱建模工具包的脚本完成------调用逆短时傅里叶变换,将频率、幅度、相位信息重新整合为单一的时频声音信号。

这种分音抵消(即音色修饰)的效果,可以用图7同类的表征方式直观呈现,如图8所示。

图8 音色结构调整示例

这个具体示例展示了C4弓弦颤音琴分音分布的实际音色修饰效果。可以观察到,第5、9、13级位置出现了三个"空洞",分别对应从不协和曲线音阶中提取的349、546、752音分音程。

最终的刺激集包含三种不同的合成策略,加上原始样本,共四组音色,后文统称为"合成类型"变量。

所有样本均做了响度均衡、双声道转单声道处理,时长统一为1200毫秒,前10毫秒与后200毫秒施加线性包络,使幅度从静音平滑过渡到归一化电平,再回落至静音。该处理使用Sox软件完成^Bagwell, 2006^。

图9的框图总结了上述刺激设计思路,展示了声音信号在音色维度的变换过程。图中背景的两个阴影区域代表两大核心流程:一是音色结构分析,二是不同变量的音色合成。深色矩形代表流程的各个阶段,内部方框为对应的计算算法。箭头表示信息流向:从一个声音样本出发,生成三个经过修饰的输出,加上一个原始副本。

标注为a(t)a(t)a(t)、f(t)f(t)f(t)、p(t)p(t)p(t)的椭圆,分别代表幅度、频率、相位三个随时间变化的向量。缩写"sq""ad""ao""or"用于简化整个分析/合成流程的标注。

其中,"sq"的原理是:通过频谱建模合成,施加基于四分音的音色修饰------将二十四平均律音阶第8、12、16级对应的分音,幅度降至0,从原始音色结构中移除。

"ad"的原理是:通过加法合成实施音色修饰,仅保留与不协和曲线音阶第5、9、13级无数值关联的分音。

"ao"指复制原始样本的幅度与频率向量,以正弦波形式叠加合成。

"or"指原始样本的直接副本。

图9 合成类型示意图

为了从原始样本得到目标音程,我们使用音频处理工具Soundstretch^Parviainen, 2005^,对最接近目标音高的样本进行移调。例如,要得到MIDI(63.5)约320.24赫兹的音,我们分别将MIDI(63)约311.13赫兹的音上移、MIDI(64)约329.63赫兹的音下移,然后通过听辨对比,根据主观"音质最优"标准,结合所有乐器组的音色均一性要求,二选其一。

3.1.3.2 实验设备

行为数据通过Pure Data图形化编程环境编写的专门程序采集^Puckette, 2006^,运行于Windows XP系统。该程序的用户界面如图10所示,被试通过点击选项框提交答案。实验刺激通过Digidesign Mbox 2声卡输出,搭配AKG 141 Studio耳机播放。

图10 实验界面外观

关于视觉界面,需要说明的是:设计以简洁易用为目标,屏幕底部提供详细操作说明。除了选择框与开始按钮外,全程仅需一个按键推进流程。

设计中特别关注了数据准确性问题:所有交互控件都内置了防错机制,例如未做出选择、或同时选择多个选项时无法继续;计时未完成单轮试次时,无法播放新的声音。

3.1.4 实验流程

被试坐在电脑前,实验在视频会议室进行------该房间经过声学处理,环境噪音相对较低。

主试会口头询问被试是否了解音乐语境中"音程"的含义,若不了解则做简要解释。随后被试需阅读实验指导说明(见附录A),目的是让被试提前熟悉实验流程,缓解焦虑情绪。

实验过程中,每段目标音程播放后,会依次播放三个备选音程。目标音程与三个选项之间,有7秒的静默间隔。构成音程的两个乐音之间间隔50毫秒;三个备选音程之间,间隔700毫秒。

每个备选音程播放时,对应位置的绿色圆圈会同步亮起,帮助被试将声音与选择框对应起来。三个选项在视觉上始终从左到右排列,但播放顺序随机打乱。三个选项中,一个是目标音程的副本,另外两个分别比目标音程高50音分与低50音分。

例如,若目标音程为350音分,则三个选项分别为350音分、400音分、300音分。所有音分值均以C4(MIDI 60,约261.63赫兹)为基准音,比如350音分,即两个音分别为MIDI(60)约261.63赫兹与MIDI(63.5)约320.24赫兹。

实验结束后,被试需填写一份调查问卷,内容包括音乐背景、性别、年龄等基本信息。

3.1.5 实验结果

每位被试的采集数据整理为60行×7列的矩阵,每行对应一个试次,七列内容如下:

前三列记录试次中音程的特征:合成类型、乐器名称与音程长度。合成类型共四种,标签为'ad'、'ao'、'or'、'sq'(详见3.1.3.1节末尾);乐器类型共五种,标签为'afltn'(中音长笛)、'frhrn'(圆号)、'oboek'(双簧管)、'pnomi'(钢琴)、'vibrb'(弓弦颤音琴);音程长度共三种,标签为'350'、'550'、'750'音分。

第四、五、六列记录备选音程的播放顺序(始终随机):数字0代表目标音程,1代表比目标低50音分的选项,2代表比目标高50音分的选项。例如,若第四到六列记录为0、2、1,则第一个样本是正确答案,第二个是比目标高四分音的选项,第三个是比目标低四分音的选项。

第七列记录被试的选择,取值为0到2,对应答案的位置,即被试选择了该行第四、五、六列中的第几个选项。

数据初步分析显示,有4名被试的得分超出四分位距范围:两名得分低于随机水平,两名高于上十分位。为保证样本同质性,这四名被试作为特殊个案,从主样本中剔除。

主样本(19名被试)的平均准确率为56.58%,标准差为14.21%。音乐学习年限与准确率呈显著正相关(r=.6332r=.6332r=.6332;p<.005p<.005p<.005)。除此之外,反应准确率与问卷其他数据之间未发现显著关联(问卷详见附录B)。

由于研究核心是探究各主要自变量之间的差异,我们针对每个自变量分别做了一系列单因素方差分析。

乐器类型的主效应不显著;但音程长度的主效应显著,F(2,57)=3.47F(2,57)=3.47F(2,57)=3.47,p<.05p<.05p<.05。该结果表明,短音程比长音程更容易记忆(见图11)。

图11 不同音程的准确率

合成类型是本实验的核心检验变量------本研究的核心假设是,改变音色结构会导致记忆表现的差异,体现为旋律音程记忆能力的增强或削弱。

检验结果符合预期:四个子集里,有两个子集的分音结构未发生改变,可视为"对照组",保留了原始分音结构;另外两个子集的频谱内容经过修饰,移除了与目标音程存在数值关联的分音。

对四组('ad'、'ao'、'or'、'sq')做单因素方差分析,得到p=0.0902p=0.0902p=0.0902;对不同组合分别检验后,差异进一步显现。表4列出了所有组合及对应检验结果。

表4 用于单因素方差分析的不同子集组合(检验合成类型效应)

ad ao or sq 自由度 F值 p值
× × 1,28 6.03 0.0205 *
× × 1,28 3.3 0.0800
× × × × 3,56 2.27 0.0902
× × 1,28 2.8 0.1054
× × 1,28 1.1 0.3026
× × 1,28 0.55 0.4664
× × 1,28 0.08 0.78

*p<.05p<.05p<.05

如表4所示,'ad'与'sq'组合的检验p值最低,F(1,28)=6.03F(1,28)=6.03F(1,28)=6.03,p=0.0205p=0.0205p=0.0205。

这一结果有些出乎意料:我们原本认为,从音色结构中移除分音会损害音程记忆;但尽管'sq'与'ad'两种合成输出都采用了移除分音的策略,其中一种不仅没有损害记忆表现,反而显著优于保留原始分音结构的样本。

图12展示了各合成类型准确率的均值、方差、最大值与最小值。可以清晰看到,分音结构未改变的两组('ao'与'or')准确率均值几乎相等,而经过音色修饰的两组('ad'与'sq')表现出不同的数值。

图12 不同合成类型的准确率

图13的柱状图展示了不同乐器类型的准确率。该图仅作说明之用,因为如前所述,单因素方差分析显示乐器类型的主效应不显著。注意纵轴为非连续刻度。

图13 不同乐器类型的准确率

3.2 讨论

上述结果仅呈现了回答的准确率。在对数据的进一步探索中我们发现,为类别赋值后,可以观察到反应的整体倾向。赋值规则为:比目标音程低50音分的回答记为-1,正确答案记为0,比目标高50音分的回答记为+1。由此我们不仅可以知道平均误差,还能判断误差的偏向。

图14展示了每位被试的反应倾向,每个柱形代表一名被试。

图14 反应倾向示意图

图15呈现出明显向更短音程偏移的不对称分布。这可能是因为实验中音程均从低音向高音呈现;也可以用格式塔的接近性原理解释------更短的音程加工效果更好^Deutsch, 1999^。

图15 反应分布直方图

此外,我们用该倾向量表检验合成类型的差异,相比仅用正确率做方差分析,结果的显著性有所提升,F(3,56)=2.62F(3,56)=2.62F(3,56)=2.62,p=0.0597p=0.0597p=0.0597。手动剔除异常值后,显著性达到可接受水平,F(3,56)=3.4F(3,56)=3.4F(3,56)=3.4,p=0.0238p=0.0238p=0.0238。

但我们也意识到,用倾向数据做推断存在风险:数据本身带有随机性,这是数据采集界面的设计导致的------被试无法留空选项,必须做出选择。被试事后也口头反馈,有时明知是随机猜测,也不得不选一个 ;原因可能是记忆过程中被环境噪音干扰,或是好奇实验还有多久结束。

尽管反应倾向的分析思路为验证核心假设提供了有趣的方向,但我们未做进一步分析------因为界面设计仍有优化空间,才能让这项测量更可靠。例如,可在完全隔音的房间中实验,在界面添加试次倒计时,或是增加"不确定"选项。

3.2.1 适应性

本节中,我们借用神经科学文献中的"适应性"一词,指代反复接触特定刺激后产生的学习效应。

由于本研究也致力于探索更优的听觉训练方法,因此验证被试反复接触音程后是否会产生学习效应,具有重要意义。

我们将数据按音程整理,统计每个音程在所有被试中的正确回答次数;每个音程共重复20次。结果显示,任何一个音程都未出现显著的回归系数,即从第一次到最后一次重复,表现没有明显提升。不过可视化结果仍呈现在图16中。

图16 不同音程的适应性表现

当然,仅从图16这类可视化结果很难判断明确趋势。但如果将所有音程的反应合并,并对向量做标准化处理(除以标准差),可以观察到正确率随试次增加的轻微上升,线性拟合的标准化回归系数为0.35。

这一过程如图17所示,同时还揭示了其他有趣的信息:观察这条"学习"向量的形态,可以发现在重复的后半段出现两次峰值,随后平均准确率出现下降。

我们认为,这一表现可能反映了真实的适应性效应,而后续的下降则是习惯化的体现(参见2.3.1.1节,第23页)。当然,这一推测仍需未来研究进一步验证------可以通过拆分数据采集流程,降低不同音程长度之间的相互影响,并增加每位被试的试次数量来检验。

图17 整体适应性表现

3.2.2 音色描述子

3.1.5节中,我们通过对按音程长度、合成类型分组的数据做方差分析,发现了行为数据的显著差异。接下来的步骤,是在音色修饰方法之外,进一步探究这些差异的本质来源。

为此,我们借助MIR工具包,为实验涉及的每个声音样本计算了14个音色描述子:过零率、频谱质心、明亮度、频谱展宽、偏度、峰度、95%频谱滚降、85%频谱滚降、熵、平坦度、不规则度、低能量比、粗糙度、非谐波性。

我们知道音色描述子远不止这些,且很多都易于计算,但选择这14个的原因是:每个描述子都输出单一数值结果。计算后得到200×14的矩阵------200个样本来自4种合成类型×5种乐器×10种音高(详见3.1.1节)。

第一步,将200个样本按合成类型分为四组,得到4组50×14的数据,代表50个样本在14项音色指标上的描述,分别对应'ad'、'ao'、'or'、'sq'四组。

分组完成后,我们对成对的描述子做一系列单因素方差分析,以确定哪些音色描述子造成了组间差异。例如,将'ad'组50个样本的明亮度向量,与'sq'组50个样本的明亮度向量做对比,得到差异的显著性水平,结果如图18所示。横轴为上述14个描述子的缩写。

图18 两类合成组音色的单因素方差分析结果('ad'与'sq'组)

从图18的直观观察可以看出,14个描述子中大部分在两组间都存在显著差异。这一步仅作为起点,因为我们的目标是筛选出可能影响记忆表现的候选描述子。

我们也对其他合成组组合做了同样的检验,得到的条形图形态基本一致,因此最终选定'ad'与'sq'组做进一步分析------这两组在行为数据上的差异最具意义(p<0.02p<0.02p<0.02,见表4)。

既然经过特定修饰的声音样本,其音色描述子在统计上存在显著差异,下一步就是探究这些声学层面的差异,是否与被试的实验反应存在关联。

要做对比,最简单的方法是计算被试反应与每个描述子的相关性。但存在一个问题:反应矩阵有60行(对应60个试次),而描述子向量有200个值(每个样本一个)。

为解决这一问题,我们将200个样本×14个描述子的数据集做聚合:对每个试次涉及的所有音高,计算各项音色指标的均值。具体分为三组音高:MIDI(60)-(63)-(63.5)-(64)、MIDI(60)-(65)-(65.5)-(66)、MIDI(60)-(67)-(67.5)-(68)。

通过这种方法,我们将10个音高聚合为3组,再乘以乐器数(5)与合成类型数(4),最终得到14个长度为60的向量,即可用于相关性计算。

为验证聚合的可靠性,我们再次对'ad'与'sq'合成组的描述子做单因素方差分析,只是这次使用60个值的数据集。结果显示,除85%频谱滚降与频谱熵之外,其余描述子的差异模式与之前几乎一致。我们认为,这种聚合方式也削弱了音高本身的影响,从而更纯粹地揭示组间的音色差异。

图19左侧是图18的结果,但纵轴做了放大。右侧是同样的'ad'-'sq'组方差分析结果,但使用的是聚合后、用于与被试反应做相关的数据集。

图19 两类合成组音色的单因素方差分析结果(两组数据集)

从被试的反应矩阵中,还可以提炼出一个有趣的发现:矩阵有三列,分别统计三类估计结果的数量------第一列是低估目标音程的反应数,第二列是正确回答数,第三列是高估音程大小的反应数(如3.1.1节所述,选项与目标的偏差为50音分)。

因此,我们不仅可以计算正确回答与音色描述子的相关性,还可以计算错误估计与描述子的关联。图20上半部分为相关性结果,下半部分为对应的p值;每个描述子都与三类反应向量做了相关,分别对应低估、正确、高估。注意下半部分图中画了一条参考线,代表0.05的显著性水平。

图20 行为数据与声学数据的相关性

本节分析结果表明,至少有三个音色描述子的数值与被试反应显著相关,且在组间方差分析中,也被证实是造成合成组差异的核心变量。

目前来看,频谱质心、频谱展宽、频谱滚降在两类分析中均稳定出现。频谱平坦度也值得关注,它与低估音程大小的反应呈高度相关。

这些关键音色描述子与行为数据的散点图如图21所示,同时按合成类型对行为数据做了分组。

图21 关键音色描述子与行为数据的散点图

频谱质心是感知"明亮度"的衡量指标,代表频率分布的均值;频谱展宽衡量频率分布的方差;频谱滚降是频谱形状指标,表示指定百分比的频谱能量所分布的频率上限^Aucouturier, 2006^。

这三个描述子均与记忆表现呈负相关,可以解读为:三者的数值越低,记忆表现越好。但这一结论需要新的实验进一步验证------本实验涉及的变量过多,可能引入统计噪声。

频谱平坦度定义为功率谱的几何均值与算术均值之比,用于衡量声音的"噪声感"^Johnston, 1988^。它与低估向量的高相关性表明,频谱平坦度越高、即噪声感越强,越可能损害记忆表现。当然,这一论断还需要更多实证证据支撑。

4 结论

本文呈现的部分结果仍属阶段性结论,值得更深入的分析与探讨。例如,我们无法完全厘清各项妥协处理带来的影响:实验设计中对音程做了取整,但刺激的分析与合成并未严格对应,这种不一致可能造成结果的偏差。

又如,不同乐器组的准确率未表现出显著差异,这既可能是因为每种乐器的样本量不足,导致实验设计效力不够;也可能是因为所选音色在"音程记忆线索"这一维度上,差异不足以引发显著的表现区别------这意味着筛选阶段的工作存在不足,尤其是我们编写的"对立查找器"脚本未能达到预期效果。

但积极的一面是,合成类型变量取得了显著结果。这些合成音色可视为虚拟乐器,其音色特征恰好平衡了其他设计层面的不一致。尽管我们是从十几种方法中近乎随机地选出这几种合成策略,仅通过少量样本的频谱图目视判断筛选,但它们在音色描述子分析中依然展现出了研究价值。

实验设置仍有可改进之处,例如程序中添加试次计数器、使用专业隔音室、招募更多被试。音乐背景问卷也可以优化,例如加入其他听觉能力相关问题,比如掌握的语言数量。

整个研究的设计初衷,是将西方传统学术音乐人的视角与理念,同音乐本质的科学概念联结起来,而联结二者的核心,就是音色的定义。在我们看来,这一努力搭建起了宏观与微观音乐本质之间的桥梁:单个乐音之中,蕴含着整个音乐世界的规律。

本研究探索的一个重要启示是:音乐教育者在设计听觉训练练习时,应当慎重选择用于音程记忆训练的音色,因为特定的音色可能会优化训练效果。当然,这一建议仍需更多实证证据支撑,因为还有许多变量未被纳入考量,比如个体偏好。

未来的研究方向包括:设计更复杂的实验试次,例如和声音程、三和弦、短音列或旋律;同时探究音色与情绪对记忆表现的共同作用。

参考文献

Aucouturier, J. J. (2006). Ten experiments on the modelling of polyphonic timbre, from http://www.jj­aucouturier.info/papers/PHD­2006.pdf

Baars, B. J. (1988). A cognitive theory of consciousness. Cambridge University Press.

Bagwell, C. (2001). Sox ­ sound eXchange, from http://sox.sourceforge.net/

Bent, I. D., & Pople, A. (2006). Analysis. In L. Macy (Ed.), Grove music online. Retrieved May 13, 2006, from http://www.grovemusic.com

Benward, B., & Kolosick, J. T. (2005). Ear training: A technique for listening. McGraw­ Hill Higher Education.

Berger, K. W. (1964). Some factors in the recognition of timbre. The Journal of the Acoustical Society of America, 36, 1888.

Burns, E. M. (1999). Intervals, scales, and tuning. (pp. 215--264)Academic Press.

Choksy, L., Abramson, R. Gillespie, A., Woods, D., & York, F. (2001). Teaching music in the twenty­first century. Prentice Hall Upper Saddle River, NJ.

Crowder, R. G., & Pitt, M. A. (1992). Research on Memory/Imagery for musical timbre. In D. E. D. T. Reisberg (Ed.), Auditory imagery Lawrence Erlbaum Assoc Inc.

Deutsch, D. (1999). The psychology of music (2nd. ed.)Academic Press.

Evans, E. F. (1982). Functional anatomy of the auditory system. In H. B. Barlow, & J. D. Mollon (Eds.), The senses (pp. 251­306). Great Britain: Cambridge University Press.

Fales, C. (2002). The paradox of timbre. Ethnomusicology, 46(1), 56­95.

Fales, C. (2005). Listening to timbre during the french enlightenment. Paper presented at the Proceedings of the Conference on Interdisciplinary Musicology (CIM05), Montréal (Québec) Canada. Retrieved April 24, 2006, from http://www.oicm.umontreal.ca/cim05/cim05_articles/FALES_C_CIM05.pdf

Fux, J. J. (1966). Gradus ad parnassum. Broude.

Gordon, E. (1988). Learning sequences in music: Skill, content, and patterns (1997th ed.). USA: GIA Publications.

Grey, J. M. (1977). Multidimensional perceptual scaling of musical timbres. The Journal of the Acoustical Society of America, 61, 1270.

Hall, M. D., & Blasko, D. G. (2005). Attentional interference in judgements of musical timbre: Individual differences in working memory. The Journal of general psychology, 132(1), 94­112.

Halpern, A. R., Zatorre, R. J., Bouffard, M., & Johnson, J. A. (2004). Behavioral and neural correlates of perceived and imagined musical timbre. Neuropsychologia, 42(9), 1281­1292.

Handel, S. (1989). Listening: An introduction to the perception of auditory events. MIT Press.

Hargreaves, D. J., & North, A. C. (2001). Musical development and learning: The international perspective. Great Britain: Colin Brock.

Haver, D., & Schmitt , S. (2006). Native instruments kontakt 2 sample library

Helmholtz, H. (1954). On the sensations of tone as a physiological basis for the theory of music(A. J. Ellis Trans.).Dover Publications New York.

Hofstetter, F. T. (1975). GUIDO: An interactive computer­based system for improvement of instruction and research in Ear­Training. Journal of Computer­Based Instruction, 1(4), 100­106.

Huron, D. (2001). Toward a theory of timbre. Paper presented at the Music Theory Mid­ West Conference. New Theories for 20th Century Music, Cincinnati, Ohio. Retrieved May 14, 2006, from http://www.music­cog.ohio­ state.edu/Huron/Talks/SMTmidwest.2001/index.html

Johnson, M. (2002). Spectral modelling toolbox

Johnston, J. D. (1988). Transform coding of audio signals using perceptual noise criteria. Selected Areas in Communications, IEEE Journal on, 6(2), 314­323.

Krumhansl, C. L. Cognitive foundations of musical pitch. Oxford University Press, New York and Oxford (1990).

Krumhansl, C. L., & Iverson, P. (1992). Perceptual interactions between musical pitch and timbre. Journal of experimental psychology. Human perception and performance, 18(3), 739­751.

Lartillot, O., & Toiviainen, P. (2007). MIR toolbox. Jyväskylä University.

Leman, M. (1995). Music and schema theory: Cognitive foundations of systematic musicology. Springer.

McAdams, S. (2006). Psychology of music, §II,3:Perception & cognition of timbre. In L. Macy (Ed.), Grove music online . Retrieved May 10, 2006, from http://www.grovemusic.com

McAdams, S., & Bigand, E. (1993). Thinking in sound: The cognitive psychology of human audition. Oxford; New York: Clarendon Press; Oxford University Press.

McAdams, S., Winsberg, S., Donadieu, S., De Soete, G., & Krimphoff, J. (1995). Perceptual scaling of synthesized musical timbres: Common dimensions, specificities, and latent subject classes. Psychological research, 58(3), 177­192.

Menning, H., Roberts, L. E., & Pantev, C. (2000). Plastic changes in the auditory cortex induced by intensive frequency discrimination training. Neuroreport, 11(4), 817­ 822.

Opolko, F., & Wapnick, J. (2006). McGuill university master samples

Pantev, C., Engelien, A., Candia, V., & Elbert, T. (2001). Representational cortex in musicians. plastic alterations in response to musical practice. Ann NY Acad Sci, 930, 300­314.

Pantev, C., Roberts, L. E., Schulz, M., Engelien, A., & Ross, B. (2001). Timbre­specific enhancement of auditory cortical representations in musicians. Neuroreport, 12(1), 169­174.

Pantev, C., Wollbrink, A., Roberts, L. E., Engelien, A., & Lutkenhoner, B. (1999). Short­term plasticity of the human auditory cortex. Brain Res, 842(1), 192­199.

Papoušek, H. (1996). Musicality in infancy research: Biological and cultural origins of early musicality. (2003rd ed., pp. 37­55). USA.

Parviainen, O. (2005). Soundstretch

Pitt, M. A., & Crowder, R. G. (1992). The role of spectral and dynamic cues in imagery for musical timbre. J Exp Psychol Hum Percept Perform, 18(3), 728­738.

Plomp, R., & Levelt, W. J. (1965). Tonal consonance and critical bandwidth. The Journal of the Acoustical Society of America, 38(4), 548­560.

Puckette, M. (2006). Pure data

Rogers, N. (2005). Verbal labels affect memory for musical timbre. Paper presented at the Proceedings of the Conference on Interdisciplinary Musicology (CIM05), Montréal (Québec) Canada. Retrieved April 20, 2006, from http://www.oicm.umontreal.ca/cim05/cim05_articles/ROGERS_N_CIM05.pdf

Russo, F. A., & Thompson, W. F. (2005). An interval size illusion: The influence of timbre on the perceived size of melodic intervals. Perception & psychophysics, 67(4), 559­568.

Schafer, R. M. (1977). The tuning of the world. Knopf.

Schwartz, D. A., Howe, C. Q., & Purves, D. (2003). The statistical structure of human speech sounds predicts musical universals. Journal of Neuroscience, 23(18), 7160­ 7168.

Semal, C., & Demany, L. (1991). Dissociation of pitch from timbre in auditory short­term memory. The Journal of the Acoustical Society of America, 89(5), 2404­2410.

Semal, C., & Demany, L. (1993). Further evidence for an autonomous processing of pitch in auditory short­term memory. The Journal of the Acoustical Society of America, 94(3 Pt 1), 1315­1322.

Serafine, M. L. (1988). Music as cognition: The development of thought in sound. Columbia University Press.

Serra, X., & Smith III, J. (1990). Spectral modelling synthesis: A sound Analysis/Synthesis system based on a deterministic plus stochastic decomposition. Computer Music Journal, 14(4), 12­24.

Sethares, W. A. (1999). Tuning, timbre, spectrum, scale. Great Britain: Springer.

Shepard, R. (2001). Cognitive psychology and music. Music, cognition and computerized sound: An introduction to psychoacoustics (pp. 21­35). USA: Cook, P.R.

Slawson, W. (1985). Sound color. USA: University of California Press Berkeley.

Sloboda, J. A. (2005). Exploring the musical mind: Cognition, emotion, ability, function Oxford University Press

Snyder, B. (2001). Music and memory: An introduction. USA: MIT Press.

Warrier, C. M., & Zatorre, R. J. (2002). Influence of tonal context and timbral variation on perception of pitch. Perception & psychophysics, 64(2), 198­207.

Wessel, D. (1979). Timbre space as a musical control structure. Computer Music Journal, 3(2), 45--52.

Yost, W. A., & Nielsen, D. W. (1985). Fundamentals of hearing.Holt.

Zagorski­Thomas, S. (2005). Shouting quietly: Changing musical meaning by changing timbre with recording technology. Paper presented at the Proceedings of the Conference on Interdisciplinary Musicology (CIM05), Montréal (Québec) Canada. Retrieved April 20, 2006, from http://www.oicm.umontreal.ca/cim05/cim05_articles/ZAGORSKI­TS_CIM05.pdf


附录A 实验指导说明

微分音高辨别测试欢迎您!

在开始实验前,请仔细阅读以下说明。

  1. 请放松坐姿,选择最舒适的姿势。
  2. 读完本说明后,请佩戴好耳机,找到音量调节位置。
  3. 练习将按照以下步骤进行:
    a) 系统会询问您的姓名。请点击指定输入框------尽管视觉上没有变化,但点击后输入框将激活,您即可输入内容。输入姓名后请按回车键。
    b) 窗口分为三个主要区域,底部区域会全程提示您操作步骤。
    c) 实验过程中,您会听到一段音程(两个连续的乐音),随后是一段静默,接着播放三段备选音程。您的任务是:找出后三段音程中,与第一段完全相同的那一个。
    d) 实验共包含60个试次,建议不要在单题上停留过久。
  4. 实验结束时,屏幕会出现提示,您的回答将被自动记录。我们会对数据进行分析,并在一周内将您的得分发送给您。
  5. 点击屏幕底部的按钮,即可开始测试。

附录B 调查问卷

听觉训练测试

音乐认知硕士论文项目

通用问卷

编号

年龄:

性别:

音乐背景

您是否有过音乐学习经历?

音乐理论

乐器演奏( )

专业学习(上课)( )

业余爱好(自学)( )

学习年限约为?____________

  1. 您演奏哪些乐器?分别学习了多少年?
  2. _______________________________( )
  3. _______________________________( )
  4. _______________________________( )
    如果您想补充关于音乐背景的其他说明,请写在此处:

音乐偏好

您每周听音乐的时长约为?

专注聆听 ________________

背景声聆听 _______________

您有偏好的音乐风格吗?请写下您最喜欢的几类:

听觉特质

您是否拥有绝对音高?_______________

您是否有过听力问题?_______________

相关推荐
云和数据.ChenGuang1 小时前
项目打开后没有主类
开发语言·人工智能·langchain·1024程序员节
推送者1 小时前
立体桌宠定制:一张正脸照到本地九视角标定的工程链路
人工智能·立体桌宠定制
鬼手点金1 小时前
缓存作为架构约束
开发语言·前端·人工智能·python·microsoft·缓存·架构
lucas_AI1 小时前
24 天、4310 万行代码:AI 集群啃下了人类史上最长的数学证明
人工智能
Navigator_Z1 小时前
LeetCode //C - 1306. Jump Game III
c语言·算法·leetcode
SEO_juper1 小时前
Node.js 页面主题聚焦度检测:title 和正文各说各的,AI 也读不懂
开发语言·人工智能·node.js·seo·外贸独立站
IT_陈寒1 小时前
React实战技巧总结:如何优雅处理复杂列表的渲染卡顿问题?
前端·人工智能·后端
lucas_AI1 小时前
DeepMind 发布 Genie 4:世界模型会「出声」了,一句话实时改写世界
人工智能·llm
CAIE研习社1 小时前
学过提示词,想继续提升AI能力,可以考哪些证书?
人工智能