借助 3D Meter 以视觉形式显示 Ambisonics 信息

声音设计 / 空间音频

Ambisonics

自 2016.1 版本起,Wwise 总线开始支持 Ambisonics 声道格式。Wwise 兼顾编码和解码过程:编码是指在 Ambisonics 总线中将非 Ambisonics 信号混音;解码是指在非 Ambisonics 总线中将 Ambisonics 信号混音。藉此,用户可在 Ambisonics 总线中将环境中的多个声音混音,然后再利用 3D 音频插件(如 Auro Headphone)将 Ambisonics 信号转码为双耳信号。另外,还可为 Ambisonics 总线应用 Wwise Recorder 效果器,然后直接导出 Ambisonics 音频。

显示 Ambisonics 信息

Ambisonics 声道格式的一大优势就是支持多种扬声器设置。如此一来,便可将 Ambisonics 信号解码并适配各种类型的扬声器设置。另外,还可根据听者位置及朝向来旋转声场。不过,这也给我们提出了一个难题,即如何在用户界面中有效地显示音频数据。在采用 Ambisonics 声道格式时,每个声道对应声场中特定的球面谐波。也就是说,每个声道的电平表数据将决定空间中多个点的声音电平。如此一来,仅仅通过观察声道电平表便很难理解 Ambisonics 声道配置包含的空间信息。这时,必须先将经过编码的 Ambisonics 信号(由声道信息表示)解码为特定的扬声器设置,然后才能察看目标设置中各个扬声器的信号电平。Kronlachner 和 Zotter 所写论文 (2014) 以及 Lecomte 和 Gauthier 所写论文 (2015) 中使用的就是这种方法。

在将 Ambisonics 信号解码为目标扬声器设置时,扬声器的分布会影响重构声场的空间精度(详见 Trevino 等人所写论文 (2010))。确切地说,扬声器设置在各个方向上的分布均匀程度将决定解码过程的复杂程度。为了有效地显示 Ambisonics 声道配置包含的空间信息,必须先将数据解码为特定的虚拟扬声器设置,然后再利用该虚拟扬声器设置来显示空间化数据。3D Meter(3D 电平表)就是通过这种方式显示空间化 Ambisonics 数据的。

3D Meter

3D Meter 采用视觉形式显示 Ambisonics 总线包含的方向信息。它首先将 Ambisonics 声道数据解码到局部总线空间中按球面分布的各个虚拟扬声器位置,进而将音频数据显示为球体热图。然后,分别测量这些虚拟扬声器,并使用扬声器的信号电平来构建平滑热图。接着,将扬声器电平发送给自定义像素着色器来渲染球体。最后,根据球体中每个像素与球体表面各个虚拟扬声器位置的接近程度以及各个位置的信号电平进行着色。这样用户便可通过 3D Meter 察看 Ambisonics 总线包含的方向信息以及听者周围声源对其产生的影响。3D Meter 中设有四个独立面板,方便从不同角度查看声场。另外,还有六个固定的正交视点(Top、Bottom、Front、Back、Left、Right)以及一个 Perspective 视点。您可以通过单击和拖动方式在声场周围旋转该 Perspective 视点。另外,对于各个视点,还可使用鼠标滚轮进行缩放。

 

Media_1

另外,3D Meter 还方便对比不同 Ambisonics 声道格式的空间分辨率。以下例子对比了一阶、二阶和三阶 Ambisonics 总线的空间分辨率。在每个例子中,都使用两个相同的声源并在总线中混音;一个摆位至中前声道,一个摆位至中后声道。从图中可以看出,三阶 Ambisonics 对各个声源的空间定位较为精确,而低阶 Ambisonics 格式的空间定位则较为模糊。在以下例子中,视点设置如下:左上面板 – Back;右上面板 – Front;左下面板 – Top;右下面板 – Perspective

 

 

Media_2

一阶 Ambisonics 总线中将前后声源混音

 

Media_3

二阶 Ambisonics 总线中将前后声源混音

 

Media_4

三阶 Ambisonics 总线中将前后声源混音

 

颜色映射

热图的颜色用于指示不同的 dB 范围。您可以在 Meter Settings(电平表设置)窗口中配置这些映射。在该窗口中,颜色的 dB 阈值指示两种颜色之间的渐变界限。在下例中,在范围介于 -20 dB ~ -16 dB 时,电平表将在黑色和蓝色之间渐变。在范围介于 -16 dB ~ -12 dB 时,则在蓝色和绿色之间渐变。

 

MEdia_5

若要从电平表中去除某种颜色,则可将其 dB 阈值设为低于在其之前的所有阈值。在下例中,便从电平表上显示的色彩图中去除了绿色。

MEdia_6

平滑处理

在测量球体周围各个虚拟扬声器位置时,3D Meter 会应用平滑处理。这种平滑处理方式与 Wwise Meter 插件相同。其中,Attack(起音)值决定显示值上升 10 dB 所用的时间;Release(释音)值决定显示值下降 10 dB 所用的时间。注意,若将 Wwise Meter 插件应用于单个声源,则在 Ambisonics 总线中进行混音之前,该声源 Meter 插件显示的电平表值与 Ambisonics 总线所用 3D Meter 显示的值将不一致。这是由 Ambisonics 解码过程中应用的增益系数造成的。在测量原始声源时,会直接进行测量,而不应用空间化。在混音为 Ambisonics 信号后,则会对声源进行空间化,然后按照固定距离移至远离听者的某个点。因此,在解码后测量 Ambisonics 信号时,Ambisonics 声场内原始声源的信号电平会低于单独测量时的信号电平。在下例中,直升机环绕听者位置移动并发出断断续续的声音。在减小 Release 值时,电平表对电平变化的反应加快,因而图中色彩变化也快。在增大 Release 值时,电平表值的变化则会越来越平缓。

Media_7

参考文献
  • Kronlachner, M. and Zotter, F., 2014, February. Spatial transformations for the enhancement of Ambisonic recordings. In Proceedings of the 2nd International Conference on Spatial Audio, Erlangen.
  • Lecomte, P. and Gauthier, P.A., 2015, November. Real-time 3D ambisonics using FAUST, processing, pure data, and OSC. In 15th International Conference on Digital Audio Effects (DAFx-15), Trondheim.
  • Trevino, J., Okamoto, T., Iwaya, Y. and Suzuki, Y., 2010, August. High order Ambisonic decoding method for irregular loudspeaker arrays. In Proceedings of 20th International Congress on Acoustics (pp. 23-27).

肖恩·索拉汉(SEAN SORAGHAN)

软件开发工程师

Audiokinetic

肖恩·索拉汉(SEAN SORAGHAN)

软件开发工程师

Audiokinetic

肖恩·索拉汉 (Sean Soraghan) 目前就职于 Audiokinetic,是一名软件开发工程师,主要从事 Wwise 设计工具开发以及 Unity 和 Unreal 游戏引擎集成工作。在此之前,他拿到了工程学博士学位,重点研究音乐音色的表示法和视觉化。另外,还协助举办过大型声音视觉装置展会。他喜欢在闲暇之余开发各种游戏和工具。

评论

留下回复

您的电子邮件地址将不会被公布。

更多文章

游戏音频作为游戏机制(第一部分)

这篇博文主要讲的是如何在游戏中使用“线索类音频(informant...

12.6.2018 - 作者:伯恩·雅克布森(BJØRN JACOBSEN)

在Game Jams和微型项目中使用Wwise

从音频的角度上来看,Game...

10.7.2018 - 作者:约安.莫尔文(YOANN MORVAN)

《权力的游戏·凛冬将至》手游:使用Wwise结合影视原声带和原创交互音乐

我叫刘子奇(Victor Liu),在游族网络(YooZoo Games)担任音频设计师与音频程序。我负责了《权力的游戏·凛冬将至》(以下统称为GOT)手游的音乐部分。...

22.7.2019 - 作者:刘子奇

《权力的游戏》交互环境音效系统设计

大家好,我是刘畅,作为近期上线的《权力的游戏:凛冬将至》音频设计师,负责了游戏中多个模块的声音设计工作。在这里和大家分享一下,在权游的场景中,交互环境音效系统是怎样设计与构建的。 ...

5.8.2019 - 作者:刘畅

怪物语音制作分享

怪物语音声音设计大致分成两类,一类是不同状态下的嘶吼和喉音(Short...

8.6.2020 - 作者:李敬平

《ABZÛ》– 在游戏中为成千上万条鱼设计音频所面临的挑战

看到这幅画面,你首先会想到什么?

30.6.2020 - 作者:史蒂夫·格林 (Steve Green)

更多文章

游戏音频作为游戏机制(第一部分)

这篇博文主要讲的是如何在游戏中使用“线索类音频(informant...

在Game Jams和微型项目中使用Wwise

从音频的角度上来看,Game...

《权力的游戏·凛冬将至》手游:使用Wwise结合影视原声带和原创交互音乐

我叫刘子奇(Victor Liu),在游族网络(YooZoo Games)担任音频设计师与音频程序。我负责了《权力的游戏·凛冬将至》(以下统称为GOT)手游的音乐部分。...