三、 结论
作者:王娅姝,王宜文,刘瑾      更新:2020-08-17 20:07      字数:2130
    阿尔特曼在“电影/声音”专辑的序言中指出,电影本来就是“视觉的”这种假定,其实深植于我们谈论电影时的习惯之中。用来指涉电影的特有名称——movie、motion pictures、cinema——都强调对于看得见的影像的记录,所指称的是观众“观看”一部电影,而不是“聆听”一部电影。23这种接受上的视觉中心主义,使对电影音乐的关注和研讨滞后于视觉,并使音乐通常被认为是附属于视觉的。事实上,电影音乐作为一种模态信息和语义信息,时刻与电影内容建立着密切而复杂的关系;借助电影音乐,在接受者之间能够产生可预测的超个体关联(supra-individual association)。

    本次研究以电影音乐的悬疑效果为焦点,从跨模态视听互动与意义/情感建构两个维度,探究电影音乐在观影认知过程中发挥的具体作用与效果。通过fMRI实验与主观问卷测试的数据分析,本研究生成以下结论。

    (一)作为模态信息的电影音乐:“同步整合”与“概念共鸣”

    首先,从纵向视、听觉的跨模态视角来看,电影音乐被视作与视觉画面并行的模态信息。本次研究的相关脑数据显示,与视觉画面同步展开的电影音乐,会强化并引导观众感官层面的认知,促进其注意力、记忆、情感加工等方面的脑活动。在特定情况下,音乐的加入还会促进脑部对当前视觉信息的加工,帮助强化画面属性、质感的视觉接受效果,视听模态信息之间存在互相作用,并非彼此隔绝。音乐与画面在属性、质感上越相符,其对视觉、情感、注意力、记忆等脑认知活动的促进作用就越显著。

    上述结论,从实证的角度佐证了希翁的“同步整合”理论。此种视、听觉间同时发生且不可抗拒的心理融合,是内在于观影者感官系统中的。在后续论述中,希翁进一步提出“概念共鸣”(conceptual resonance) 24,用以突出电影声画结合的重要性——音乐影响观众对影像内容的接受,对影像的认知也会为声音接受带去新的模态信息和相关属性,这一视听互动效应同样被脑活动数据证明是切实存在的。在电影剪辑制作方面,视觉与听觉是两条各自独立的轨道,但人类的感官认知,却能够完成二者的一体化过程,通过复杂的脑机制进行视听间互促,进而生成更高级的认知结果。诚如希翁所指出的,许多观众以为自己用眼看到的画面中,事实上也有声音建构的幻觉存在。

    (二)作为语义信息的电影音乐:图式激活与“增值”

    从情感/意义建构维度来看,电影音乐被加入到画面中,除了对特定氛围进行渲染、烘托外,还有重要的语义学作用,从而可指向叙事性。音乐不仅会增强观影的沉浸感,更深度参与观众对画面意义的感知、建构与诠释,为叙事电影展示事件提供来自声学的信息增量。研究结果指出,不同意义属性的音乐加入,会显著扭转观众对视觉画面意义属性的理解,与画面意义属性相同的音乐加入后,则整体上达成了“1+1>2”的认知效果。

    在此,希翁的“增值”概念得到实证性的佐证。音乐自身在情感、意义上的信息值,会附着于视觉画面,成为观影者认知接受过程中的增量。作为语义信息,音乐与画面属性的一致性引起正向增值,对视觉意义认知产生加性,而音、画间在语义信息上的对立,则引起音乐对画面的负增值,已有视觉信息会受到声音信息的干扰、削弱,甚至被扭转。旧有主流观点中,音乐曾一度被认为不具有叙事属性而仅充当画面的附属,但事实上,观影过程中音乐的语义作用,对电影叙事的认知建构有重大影响。

    图式激活效应(schema-activating effect)为电影音乐的增值提供了另一种阐释路径。音乐所携带的情感和意义属性,会触发、唤起观众积极或消极的心理图式,以自上而下的方式影响甚至引导观众理解当前的画面。25由于图式将人类的知觉与情感经验组成一个连贯、共通的结构性整体,故而同样有理由相信,音乐的图式激活效应,在某种程度上是超个体的与可预测的,这构成了电影音乐手法使用的认知主义前提。尽管电影创作界已在相当长的时间内遵循并践行了上述规律,但从理论和实证方面对其予以论证,依然是必要的。

    (三)音画综合下的电影认知与创作

    纵向和横向的研究数据结果均显示,音画一致时,音乐对画面的感官加工和意义理解都有强化和突出作用,而当音画不一致时,音乐往往会对电影内容及视听特性进行调整和修改。诺埃尔·卡罗尔将这种调整和修改描述为一种“修饰语”(modifier),能改变观众对电影意义、情感及特质的感知。26

    通过同步整合与增值、图式激活,电影音乐的属性直接影响叙事电影的流畅度、现实感及感染力。当音画一致时,音乐强化观众的认知,音画不一致时,则调整、修改观众的认知。延伸至创作领域,对上述规律较为常见的运用,便是商业电影多使用与特定场景属性相吻合的音乐,以强化观众对人物情绪和事件进程的认同,进而深化其对叙事的沉浸作用;艺术电影中,也常见以音画分离、对位的手段制造间离性或建构特定表达的手法。但不论怎样,这些音乐上的设计能够发挥作用,始终前提性地仰赖于人类复杂的感官机制和意识活动,后者为音画间的配合赋予了认知端的多种可能性。更多时候,是观众“以耳看”“用眼听”,将电影的视听编码信息尽数纳入已有经验和主观意识流动内部,才在真正意义上成就了一部完整、立体的电影,此种思路在认知主义与电影学的碰撞中,已属主流。

    在神经美学(neuroaesthetics)领域,有这样的说法,称艺术之美存在于观看者的神经系统之中27,或许神经电影学可以对此稍作修改:真正的电影银幕,存在于观众的眼、耳、心中。德勒兹意义上的“大脑即银幕”28,正在神经电影学视域下立体化、清晰化,逐步走向可见。