借助 3D Meter 以视觉形式显示 Ambisonics 信息

声音设计 / 空间音频

Ambisonics

自 2016.1 版本起,Wwise 总线开始支持 Ambisonics 声道格式。Wwise 兼顾编码和解码过程:编码是指在 Ambisonics 总线中将非 Ambisonics 信号混音;解码是指在非 Ambisonics 总线中将 Ambisonics 信号混音。藉此,用户可在 Ambisonics 总线中将环境中的多个声音混音,然后再利用 3D 音频插件(如 Auro Headphone)将 Ambisonics 信号转码为双耳信号。另外,还可为 Ambisonics 总线应用 Wwise Recorder 效果器,然后直接导出 Ambisonics 音频。

显示 Ambisonics 信息

Ambisonics 声道格式的一大优势就是支持多种扬声器设置。如此一来,便可将 Ambisonics 信号解码并适配各种类型的扬声器设置。另外,还可根据听者位置及朝向来旋转声场。不过,这也给我们提出了一个难题,即如何在用户界面中有效地显示音频数据。在采用 Ambisonics 声道格式时,每个声道对应声场中特定的球面谐波。也就是说,每个声道的电平表数据将决定空间中多个点的声音电平。如此一来,仅仅通过观察声道电平表便很难理解 Ambisonics 声道配置包含的空间信息。这时,必须先将经过编码的 Ambisonics 信号(由声道信息表示)解码为特定的扬声器设置,然后才能察看目标设置中各个扬声器的信号电平。Kronlachner 和 Zotter 所写论文 (2014) 以及 Lecomte 和 Gauthier 所写论文 (2015) 中使用的就是这种方法。

在将 Ambisonics 信号解码为目标扬声器设置时,扬声器的分布会影响重构声场的空间精度(详见 Trevino 等人所写论文 (2010))。确切地说,扬声器设置在各个方向上的分布均匀程度将决定解码过程的复杂程度。为了有效地显示 Ambisonics 声道配置包含的空间信息,必须先将数据解码为特定的虚拟扬声器设置,然后再利用该虚拟扬声器设置来显示空间化数据。3D Meter(3D 电平表)就是通过这种方式显示空间化 Ambisonics 数据的。

3D Meter

3D Meter 采用视觉形式显示 Ambisonics 总线包含的方向信息。它首先将 Ambisonics 声道数据解码到局部总线空间中按球面分布的各个虚拟扬声器位置,进而将音频数据显示为球体热图。然后,分别测量这些虚拟扬声器,并使用扬声器的信号电平来构建平滑热图。接着,将扬声器电平发送给自定义像素着色器来渲染球体。最后,根据球体中每个像素与球体表面各个虚拟扬声器位置的接近程度以及各个位置的信号电平进行着色。这样用户便可通过 3D Meter 察看 Ambisonics 总线包含的方向信息以及听者周围声源对其产生的影响。3D Meter 中设有四个独立面板,方便从不同角度查看声场。另外,还有六个固定的正交视点(Top、Bottom、Front、Back、Left、Right)以及一个 Perspective 视点。您可以通过单击和拖动方式在声场周围旋转该 Perspective 视点。另外,对于各个视点,还可使用鼠标滚轮进行缩放。

 

Media_1

另外,3D Meter 还方便对比不同 Ambisonics 声道格式的空间分辨率。以下例子对比了一阶、二阶和三阶 Ambisonics 总线的空间分辨率。在每个例子中,都使用两个相同的声源并在总线中混音;一个摆位至中前声道,一个摆位至中后声道。从图中可以看出,三阶 Ambisonics 对各个声源的空间定位较为精确,而低阶 Ambisonics 格式的空间定位则较为模糊。在以下例子中,视点设置如下:左上面板 – Back;右上面板 – Front;左下面板 – Top;右下面板 – Perspective

 

 

Media_2

一阶 Ambisonics 总线中将前后声源混音

 

Media_3

二阶 Ambisonics 总线中将前后声源混音

 

Media_4

三阶 Ambisonics 总线中将前后声源混音

 

颜色映射

热图的颜色用于指示不同的 dB 范围。您可以在 Meter Settings(电平表设置)窗口中配置这些映射。在该窗口中,颜色的 dB 阈值指示两种颜色之间的渐变界限。在下例中,在范围介于 -20 dB ~ -16 dB 时,电平表将在黑色和蓝色之间渐变。在范围介于 -16 dB ~ -12 dB 时,则在蓝色和绿色之间渐变。

 

MEdia_5

若要从电平表中去除某种颜色,则可将其 dB 阈值设为低于在其之前的所有阈值。在下例中,便从电平表上显示的色彩图中去除了绿色。

MEdia_6

平滑处理

在测量球体周围各个虚拟扬声器位置时,3D Meter 会应用平滑处理。这种平滑处理方式与 Wwise Meter 插件相同。其中,Attack(起音)值决定显示值上升 10 dB 所用的时间;Release(释音)值决定显示值下降 10 dB 所用的时间。注意,若将 Wwise Meter 插件应用于单个声源,则在 Ambisonics 总线中进行混音之前,该声源 Meter 插件显示的电平表值与 Ambisonics 总线所用 3D Meter 显示的值将不一致。这是由 Ambisonics 解码过程中应用的增益系数造成的。在测量原始声源时,会直接进行测量,而不应用空间化。在混音为 Ambisonics 信号后,则会对声源进行空间化,然后按照固定距离移至远离听者的某个点。因此,在解码后测量 Ambisonics 信号时,Ambisonics 声场内原始声源的信号电平会低于单独测量时的信号电平。在下例中,直升机环绕听者位置移动并发出断断续续的声音。在减小 Release 值时,电平表对电平变化的反应加快,因而图中色彩变化也快。在增大 Release 值时,电平表值的变化则会越来越平缓。

Media_7

参考文献
  • Kronlachner, M. and Zotter, F., 2014, February. Spatial transformations for the enhancement of Ambisonic recordings. In Proceedings of the 2nd International Conference on Spatial Audio, Erlangen.
  • Lecomte, P. and Gauthier, P.A., 2015, November. Real-time 3D ambisonics using FAUST, processing, pure data, and OSC. In 15th International Conference on Digital Audio Effects (DAFx-15), Trondheim.
  • Trevino, J., Okamoto, T., Iwaya, Y. and Suzuki, Y., 2010, August. High order Ambisonic decoding method for irregular loudspeaker arrays. In Proceedings of 20th International Congress on Acoustics (pp. 23-27).

肖恩·索拉汉(SEAN SORAGHAN)

软件开发工程师

Audiokinetic

肖恩·索拉汉(SEAN SORAGHAN)

软件开发工程师

Audiokinetic

肖恩·索拉汉 (Sean Soraghan) 目前就职于 Audiokinetic,是一名软件开发工程师,主要从事 Wwise 设计工具开发以及 Unity 和 Unreal 游戏引擎集成工作。在此之前,他拿到了工程学博士学位,重点研究音乐音色的表示法和视觉化。另外,还协助举办过大型声音视觉装置展会。他喜欢在闲暇之余开发各种游戏和工具。

评论

留下回复

您的电子邮件地址将不会被公布。

更多文章

运用语音聊天增筑游戏的社交属性:Wwise GME 现已上线!

高度互动且易于辨识的游戏声音不仅可以让制作精良的游戏更具自身特色,而且还能为玩家提供更好的游戏体验并大幅提升游戏系统的运行效率。...

13.1.2020 - 作者:西蒙.阿什比(Simon Ashby)

连通 Wwise 和 REAPER – 第 2 部分:ReaOpen

ReaOpen 是一款免费的小程序,方便快速选择音频文件并打开其原始 REAPER 工程。它能在 Windows 和 Mac 上运行,并可集成到 Wwise、Explorer/Finder 和...

25.5.2020 - 作者:尼古拉·卢基奇 (Nikola Lukić)

Wwise Unreal 音频整合指南

在此跟大家介绍一下由我们在 Game Audio Resource 的朋友制作的 Wwise 2019.1.4 Unreal 4 音频整合指南。...

10.9.2020 - 作者:Game Audio Resource

音频对象如何提高空间精度

这一系列博客文章源自2020年10月在GameSoundCon上发表的演讲。演讲目的是为创作者提供通过使用基于对象的音频渲染技术来完善他们新项目的视角和工具。而该技术能够实现尽可能自然的空间音频体验。...

25.5.2021 - 作者:西蒙.阿什比(Simon Ashby)

利用Wwise的基础功能构建空间音频效果

各位同行老师朋友大家好,我是JYUN,给大家拜个晚年。

2.3.2022 - 作者:谢玮

Tell Me Why | 音频日志 – 第 4 部分:混音和母带制作

《Tell Me Why》已在 Xbox 和 PC 上发布,并且完全支持 5.1...

29.6.2022 - 作者:马休•菲奥伦蒂尼 (Mathieu Fiorentini)

更多文章

运用语音聊天增筑游戏的社交属性:Wwise GME 现已上线!

高度互动且易于辨识的游戏声音不仅可以让制作精良的游戏更具自身特色,而且还能为玩家提供更好的游戏体验并大幅提升游戏系统的运行效率。...

连通 Wwise 和 REAPER – 第 2 部分:ReaOpen

ReaOpen 是一款免费的小程序,方便快速选择音频文件并打开其原始 REAPER 工程。它能在 Windows 和 Mac 上运行,并可集成到 Wwise、Explorer/Finder 和...

Wwise Unreal 音频整合指南

在此跟大家介绍一下由我们在 Game Audio Resource 的朋友制作的 Wwise 2019.1.4 Unreal 4 音频整合指南。...