(一)理论模型与实验假设

    纵向的跨模态视听研究思路(如图1)，聚焦于两种媒介形式同时存在的直接感知问题。如希翁的同步整合概念，即是将音乐与画面视为两支整体平行、间或彼此扰动的模态信息流。在此种思路指导下的电影音乐研究，多从生理指标方面勘测音乐加入画面后对感官认知产生的影响。例如，赛耶(Thayer)和利文森(Levenson)团队研究发现，在观看气氛紧张的纪录片时配以给人压力的音乐，会显著增强皮肤的电导率，使观影的体验更加压抑 6。鲍姆加特纳(Baumgartner)和卢茨(Lutz)等人的研究则发现，当同时呈现视觉和听觉刺激时，与情感处理相关的大脑区域的激活增加 7……德国学者赫格特(Herget)梳理了自20世纪90年代以来主要的纵向视听实验研究，将其得出的电影音画关系总结为情感的(affective analogies)、叙事的(narrative analogies)和结构的(structural analogies)三类 8。整体而言，此类研究思路倾向于将音乐视为模态信息，音乐会向电影画面传输特定的质感，进而影响视听综合下的感官体验和大脑活动;音画综合下的协调性与非协调性，在脑层面也会有显著不同的功能反馈。

    横向的情感意义认知研究思路(如图2)，则适当取消了视听之间的垂直二元关系，将二者共同置入叙事结构内部，以更具体的手法，探究电影音乐对涉及场景、人物、事件的意义/情感理解的影响。在这部分，由舍维(Shevy)提出的音乐认知图式理论(music cognitive schema theory) 9是本文的重点参考之一。按照舍维的理论，音乐作为电影中待观众处理的信息元素，提供了与观众已有的图式结构互通的附加信息，这些已有图式结构通过“自上而下”的方式，会自主调动主体相应的注意力与情感认知，进而生成对当前叙事的主观理解 10。

    这与希翁的增值概念是不谋而合的，横向思路下，音乐除了是一种模态信息，更是语义学层面的非言语沟通工具，会以信息的形式对观众的情感、记忆、理解等方面产生引导作用，辅助其理解并沉浸于电影的叙事内容。

    尽管电影音乐在纵向、横向的具体功能各有侧重，但在视听综合的自然观影过程中，两类功能却往往是同期显现的。在当今“影像—声音”全面包围的媒介时代，我们习惯于视听信息流的高密度在场，却少有机会实证地、科学地体认，在声画接受过程中，各元素如何发挥作用，如何协同共促。因此，本文拟借用上述两种研究思路，进行电影音乐对影片悬疑效果认知作用的研究，并提出以下实验假设。

    在跨模态视听互动方面:

    1.加入音乐后的片段较之没有音乐的片段，会引发范围更大、程度更强的脑活动;

    2.匹配悬疑音乐的片段较之匹配中性音乐的片段，会引发更强烈的脑活动;

    3.涉及的脑功能区域可能与注意力、情感(负性)、视/听觉加工等有关。

    在情感意义认知方面:

    1.悬疑性音乐的加入会增强悬疑画面的悬疑感;

    2.中性音乐的加入会削弱悬疑画面的悬疑感，也会反向增强中性音乐的平和程度;

    3.视听属性一致时，画面已有属性给人的主观感受更强烈。

    (二)实验材料

    本次研究使用的刺激材料为60段独立的电影片段(其中30段为悬疑片段，30段为中性片段)，每个片段的时长为10秒。使用的音频材料为60段独立的音乐片段(其中30段为悬疑音乐，30段为中性音乐)，每段音频的时长也为10秒 11。

    之后，研究人员去除掉所有视频材料中的原音轨，并将其与遴选出的60段音乐片段进行组合。悬疑和中性的视频片段被分别与悬疑音乐、中性音乐及无声三种声音状态进行匹配，形成两段完整的实验素材Session1和Session2。两段素材各由6组视音频单元组合(Block)构成，每单元内均含有15段视频和音频片段，每一个组合片段之间设置有6秒的黑屏充当被试反应间隔(具体情况如表1、图3)。

    (三)程序与被试

    本研究由两部分构成，分别为功能性磁共振成像(fMRI)实验和主观问卷测试。就功能和特性而言，fMRI通过测量被试观影时脑部的血氧反应，可精确检测、定位到受复杂刺激时脑内产生活动的区域，确定人脑调用了哪些脑区以及程度如何，适用于对纵向视听互动思路的阐释;主观调查问卷通过被试自主报告，体现其对实验素材的主观情感态度与认知理解，适用于横向情感意义的研究路径，两个部分使用到的实验材料完全相同。

    fMRI实验部分共招募被试20人(9男11女)，均为高校在校生，年龄18—28周岁，健康，右利手，无精神病史及药物滥用情况，非电影及相关专业，实验前签署知情同意书。在该部分实验中，被试者被要求在磁共振扫描仪中自然、放松观看两段实验材料，过程中不设置额外任务。被试观影同时，磁共振仪器以每2秒一次的扫描速率，生成单个被试观影时的脑部活动影像集合。此后，研究者通过被试间相关分析(Inter-Subject Correlation, ISC)的方法 12，将多名被试的脑成像数据进行分析整合，得出具有代表性的脑区活跃图像及其随时间变化的具体情况。实验受北京师范大学认知神经科学与学习国家重点实验室机构审查委员会支持。

    问卷测试部分，共招募被试169人(35男134女)，均为北京师范大学在校生，年龄18—24周岁。问卷测试要求169名被试连续、完整观看两段实验材料，并即时对每一个小段落的“悬疑感”进行量表等级从1到5的评价(1:一点都不悬疑; 2:不悬疑; 3:不确定; 4:悬疑; 5:非常悬疑)。通过对回收到的有效问卷进行数据统计分析，可获知观众对于不同音乐匹配情况下电影悬疑性的主观感受。

    (四)核磁图像获取及数据处理

    实验部分的脑部数据采集，系采用西门子Trio Tim3.0T扫描仪(Siemens Medical System，Erlangen，Germany)，于北京师范大学脑成像研究中心完成。相关数据由MATLAB、SPSS等数据分析软件进行处理，其中被试自然观影时脑区的一致性分布图由脑认知专用绘图软件Brain Net Viewer 13绘制，被试观影时脑部活跃区域定位由脑认知数据分析软件DPABI 14处理分析后得出。