音乐色彩联觉分析：视觉传播视角与眼动实验

文玮　郭静

摘要：联觉是音乐审美过程中的一项重要心理活动，也是从听觉转换到视觉的意象表达。为进一步明确音乐与色彩的联觉关系，将其更好地运用于视觉化传播及相关设计中，首先，本文以五大类音乐为例，利用眼动跟踪仪器进行音乐—色彩的结合实验，通过音乐引导记录分析被试者的视觉注视点和关注区域，及其受声音、色彩等外部刺激引起的瞳孔大小变化等一系列生理反应，分析情绪变化；进而，掌握音乐联觉效果下人们对于色彩的感知；最后，将听觉与视觉相关联并进一步量化，得到不同种类音乐下相应的配色表和色彩配比，为之后的音乐视觉化传播及相关设计提供配色参考、设计思路以及新的研究方向。

关键词：音乐联觉；眼动；视觉化传播；色彩感知

一、总言

与听觉不同，色彩可以通过直观的视觉感受来传达信息。在音乐传播中，将视觉、听觉、感觉互通，分析联觉关系，可以在视听一致效果下更好地激发人们的共鸣，增强音乐传播效果。

联觉感受指外界的刺激使得两种及以上的感觉互相交互产生的特殊体验，音乐联觉效果正是听觉影响下对于色彩的感知体验。著名科学家牛顿曾经将赤、橙、黄、绿、青、蓝、紫七种颜色类比对应八度内C、D、E、F、G、A、B七音。路易斯·卡斯勒也曾在《现代音乐与色彩》中将人耳可以听到的声音的频率范围与人眼可见的光谱图按照比例关系联系起来。同时，画家阿尔钦博托也曾建立起一套完整的声音和色彩的对照关系，通过资料综合分析，可以得出一个普遍成立的结论，即声音和色彩在频率上给人近乎相同的感官刺激。正是因为色彩和声音的这种异质同构关系，让人们产生了一定的联觉体验。目前相关实验已经证明联觉确实存在，且音乐与色彩之间存在稳定的转化关系，只是目前暂缺相关具体的色彩分析研究。另一方面，时代的发展虽然使传播方式更加多元化，相关设计在不断地完善，但是在感觉量化、视觉化表达上的关注度不足。为此，本文利用眼动跟踪仪器进行音乐色彩结合实验，得到相应音乐的色彩感知趋势，为音乐可视化传播及设计提供配色参考和设计方向。

二、实验设计

（一）实验目的

通过科学的方式，结合眼动跟踪仪等设备，客观地分析音乐联觉下人们的色彩感知情况。分析归纳不同类型音乐联觉下的色彩配比图。

（二）实验对象

本研究基于大多数人的音乐联觉感知，因此，研究对象应具备良好的视力或矫正视力，无其他眼部辨色困难，听觉正常的身体条件。本次实验随机抽取了20位符合标准的测试者进行随机实验。被试者视力或矫正视力均为正常，无色盲、色弱或听力障碍等问题。

（三）实验仪器

采用德国进口SMI桌面式RED型眼动跟踪仪进行试验，将机器分辨率调节为：

（1）主机的显示器分辨率1600×900。

（2）被试者专用显示器分辨率1280×1024（图片分辨率）。

（四）实验内容

本实验研究共分为如下所述的三个实验，通过眼动跟踪仪辅助记录分析被试者的视觉注视点、关注区域，以及通过记录被试者受声音、色彩等外部刺激引起的瞳孔大小变化等一系列生理反应，进而间接表现被试者不同的情感信息。本项目主要分析瞳孔刺激变化和关注焦点。记录的数据为注视点（Fixation Details）的信息，包括注视点的时间、刺激开始时间以及刺激结束时间，分区间时间记录本区间内平均瞳孔直径（Average Pupil Size）。同时通过热图（Heat Map）显示被试者的注视点和位置的动态变化，直观分析关注区、关注焦点，从而提取有效色彩数据。

1.实验一：色块刺激

本次实验由16张图片构成。实验选取了16个代表性色彩，将自然界具有该色彩的物体归纳集合成一张完整的同色图片，按照每个图片出现6秒的时间进行顺序幻灯片播放，让被试者逐一进行观察，通过眼动跟踪仪记录被试者在完整观察过程中瞳孔的变化情况，从而得到色彩刺激下的瞳孔变化。

16组图片对应色块如下（表1-3），其中色彩对应编号是由photoshop软件色彩提取得到的相应RGB颜色代码。

表1-3　实验图片对应色块

2.实验二：声音刺激

本次实验设立空白对照组，被试者注视屏幕白屏图片，依次播放五个大类下的音乐（蓝调音乐、巴洛克音乐、浪漫主义音乐、古典音乐和摇滚音乐），通过眼动跟踪仪单纯记录声音刺激下的瞳孔变化状态。与实验一形成对照分析。

3.实验三：联觉综合实验

本次实验基于第一、第二次实验，综合考虑后整合10张图片作为实验样本，10张图片分别在五种不同类型音乐播放下顺序放映5次。在这一组实验中，被试者总共观察了50张图片，其中每10个为一组。同步记录下观察时间内的瞳孔大小数据采样信息，以及视觉焦点，得到关注热图。

三、实验数据分析

（一）实验一：色块刺激

本次实验选取了16个具有一定代表性的颜色，分别整合为16组图片（表1-3），按每一张图片观察6秒的速度依次进行幻灯片式播放，通过色彩对瞳孔刺激变化，记录瞳孔变化情况。对20个被试者的样本数据归纳整理后得到表1-4：

表1-4　样本对象平均瞳孔变化描述分析

随机抽取5个实验对象在16个不同观察色块时间内对平均瞳孔的变化进行折线图绘制，得到图1-2所示的5条不同的折线图。

图1-2　平均瞳孔大小变化折线图

由观察可知，5组实验数据走势基本一致。因此实验是有效的，可进行进一步分析。将20组实验数据平均，可得到图1-3所示的完整色块刺激下的瞳孔折线图。

图1-3　完整色块刺激下的瞳孔折线图

综合以上数据，可以分析得出：在观察13号色彩样本（黑色#000000）和5号色彩样本（棕#7c5d14）时，被试者瞳孔较大；在观察7号色彩样本（白色#ffffff）和12号色彩样本（肉粉#f9e0e5）时，被试者瞳孔较小。由此可推断出在色彩明度较高时，可能会引起瞳孔收缩，而在较暗色彩明度条件下瞳孔扩散。

（二）实验二：音乐刺激

本实验选取了五大类音乐下的不同歌曲5首，让被试者依次收听，通过眼球注视空白页面记录瞳孔变化。通过数据整合得到每类音乐下20个被试者总的平均瞳孔变化，如图1-4所示：

图1-4　音乐刺激平均瞳孔变化

表1-5为五大类音乐下的瞳孔实验样本数据记录。通过表1-5可以初步推断：当人们聆听曲调较为强烈、高亢的音乐时，瞳孔扩张；而在面对一些较为压抑、平静的音乐时，瞳孔收缩。

表1-5　样本对象平均瞳孔变化描述分析

（三）联觉综合实验

本组实验以热图呈现为主要分析方式，将五大音乐类型对照分析。10组图片配合不同大类音乐重复播放5次。通过热图，得到人们关注焦点，提取色块。

热图区域法用于表示用户视觉注意力的累积分布情况，采集视线关注点以及停留时间等数据，形成色彩聚集渐变效果，用于动态分析用户的视觉注视行为。视点越集中或持续时间越长的区域用暖色（如红色）表示，相反区域则用冷色（如蓝色）表示。以下热图为部分实验结果展示。

1.蓝调音乐

图1-5为蓝调音乐部分实验图片结果。通过注视焦点色彩提取，得到图1-6的色彩及配比。关于配比，依据被试者观察某种颜色的时间得到，即注视时间越长，占比越高。色号依次对应：#f58d4e，#d7420c，#e78e8d，#9f7c8d，#033b91，#2760a5，#86acd3，#f8f8f8，#2e5df5，#7edfff，#ffffff。

图1-5　蓝调音乐部分实验图片结果

图1-6　蓝调音乐所得色彩及配比(www.xing528.com)

通过热图显示以及色块提取可以发现，蓝调音乐联觉感受中，以蓝色为主，其次为灰色，有少数的灰紫色和白色感受，以及小部分的肉橙色感受。

2.巴洛克音乐

图1-7为巴洛克音乐部分实验图片结果，通过注视焦点色彩提取，得到图1-8的色彩及配比。色号依次对应：#fa6200，#f08300，#d22351，#e60044，#751485，#6f57a3，#022077，#0081cd，#fffcd1。

图1-7　巴洛克音乐部分实验图片结果

图1-8　巴洛克音乐所得色彩及配比

通过热图显示以及色块提取可以发现，巴洛克音乐联觉感受中以橙红色和红色体验为主，有少部分紫色及蓝色搭配。

3.浪漫主义音乐

图1-9为浪漫主义音乐部分实验图片结果，通过注视焦点色彩提取，得到图1-10的色彩及配比。色号依次对应：#32833a，#9bcb6b，#6fba2c，#fff561，#fffbbc，#a8e4ef，#004098，#490fa3，#ffffff。

图1-9　浪漫主义音乐部分实验图片结果

图1-10　浪漫主义音乐所得色彩及配比

通过热图显示以及色块提取可以发现，浪漫主义音乐联觉感受中，以绿色感知为主，并且伴有不同程度的紫色和蓝色感受，同时还有一些较为柔和的明黄色感知。

4.古典音乐

图1-11为古典音乐部分实验图片结果，通过注视焦点色彩提取，得到图1-12的色彩及配比。色号依次对应：#ad002b，#ec6d6c，#6121d1，#cf0080，#f093bb，#bb8dbe，#2d92cb，#008086，#4fbaa1，#00a956，金色，#f08300，#ffd900，#fffbbc。

图1-11　古典音乐部分实验图片结果

图1-12　古典音乐所得色彩及配比

通过热图显示以及色块提取可以发现，古典音乐联觉感受中，颜色较为丰富明艳，有不同程度的红色、粉色、橙色以及紫色体验，另外有一小部分的绿色和极少的蓝色感受。

5.摇滚音乐

图1-13为摇滚音乐部分实验图片结果，通过注视焦点色彩提取，得到图1-14的色彩及配比。色号依次对应：#1f3131，#494848，#000000，#910000，#d7000f，#fff738，#f3ab33，#ffffff。

图1-13　摇滚音乐部分实验图片结果

图1-14　摇滚音乐所得色彩及配比

通过热图显示以及色块提取可以发现，摇滚音乐联觉感受中，以黑色和红色为主，有接近铁锈的灰绿色以及小部分的荧光黄和荧光橙，另外在黑色中穿插出现白色。

四、实验结果分析

1.感光状态

出于自我保护及调节，瞳孔大小会受光源的影响，因此，色彩明度以及光源反射会对瞳孔变化产生影响：当遇到强光时，瞳孔会缩小；当光线过弱时，会扩散。明度过高的色彩在一定程度上会对瞳孔产生光刺激。

2.情绪状态

人在紧张、受到刺激或情绪激动兴奋时，瞳孔会有一定程度的扩散。当心情平静、低沉以及对一件事物表现憎恶等情绪或睡眠状态时，瞳孔会有不同程度的收缩。因此，可以通过瞳孔变化获取实验需要的相关情感信息，以及对音乐的感知情况。

3.综合分析

通过实验发现：音调越高对应的色彩明度会更高，如明黄色，而低音更偏向于沉重的色彩，如黑色。当人们在听较为舒缓的音乐如蓝调音乐时，更倾向于平和的蓝色、灰色和白色；而面对节奏曲风欢快的巴洛克音乐，颜色更偏向于红色、浅黄色并伴有紫色；在听浪漫主义音乐时，瞳孔收缩，心情显得更加平静，偏向于轻快的绿色，并伴有蓝色、黄色等；而古典音乐因其活跃的曲风使色彩感知显得更加丰富；最后，更加有趣的发现是，对于摇滚音乐而言，更多的是黑色和红色感知，并且在播放这一类音乐时瞳孔扩散最大。研究显示，当皮肤受到外在刺激，剧烈的疼痛感觉以及忽然的惊奇的声音，都会使瞳孔呈现扩散的状态。或许这一奇特体验就是为什么虽然摇滚音乐属于噪音频率却能受到人们喜爱。

五、结论

本文基于音乐色彩联觉感知，通过眼动实验，在音乐引导下采集被试者的瞳孔变化以及视觉焦点等有效数据，研究分析在音乐联觉效果下，人们的潜在色彩感知情况。本文通过实验，得到了五大类音乐下的联觉色彩趋向以及不同音乐类型下瞳孔变化情况及相应的色彩和配比，为今后在特定音乐环境下的视觉化转换设计提供了配色参考，促进了音乐的视觉化传播。

不足与展望：因为客观原因条件有限，无法扩大样本实验分析，并且实验图片的选取等，都会对实验结果造成一定程度的干扰和影响。因此无法更加细致地得到准确色号，本文只能从实验结果大致分析得到对应音乐下的色彩联觉倾向。对于后续进一步实验研究而言，若提取样本基数越大，则越能够趋近准确色。因此，本文也更期待后续会有更加深入的研究，希望能够有新的突破。

参考文献

[1]王一戎.音乐的视觉化传播[J].东方企业文化，2013（6）.

[2]何艺珊，马强.音乐调性与色彩的联觉特征研究[J].艺苑，2017（6）：96.

[3]程时伟，孙凌云.眼动数据可视化综述[J].计算机辅助设计与图形学学报，2014，26（5）：699.

[4]彭超.论音乐视觉化[J].广西师范大学学报：哲学社会科学版，2008（4）.

[5]庞蕾.从音乐到视觉转换的途径与方法[J].南京艺术学院学报，2013（1）：149.

[6]彭子华.音乐色彩的分析与阐释[J].南京艺术学院学报：音乐与表演版，2011（1）.

[7]朱文涛.从色彩音乐到视觉音乐[J].南京艺术学院学报：美术与设计版，2017（5）：96.

[8]Palmeri T. J.et al.The perceptual reality of synesthetic colours.U.S.A：Proc.Natl.Acad.Sci，2002；99：4127-4131.

[9]Goller AI, Otten LJ, and Ward J. Seeing sounds and hearing colors：An event-related potential study of auditoryevisual synesthesia.Journal of Cognitive Neuroscience.21（10）：1869e1881，2009.

[10]Zamm, A.，Schlaug, G.，Eagleman, D.，and Loui, P.（2013）：Pathways to seeing music：enhancedstructural connectivity in colored-music synesthesia. Neuroimage 74，359-366.doi：10.1016/j.neuroimage.2013.02.024.

作者简介

郭静，北京服装学院无障碍服装研究中心讲师（通讯作者）。

文玮，北京服装学院服装艺术与工程学院学士。