将虚拟元素带回现实

VR 体验

试想一下把 VR 体验搬到现实世界中,同时依然保留其所有的虚拟元素。就好比在室内构建一套 MR 设施,你可以像在常规 VR 体验当中一样进行互动,只不过进入其中时并不需要佩戴 VR 眼镜或 3D 耳机。

这就是 Riverside Studios/Lucha Libre Audio 团队当时所面临的挑战。我们要给由 NEEEU Factory Berlin 开发的 XR Room 体验项目打造音频体验。其中,NEEEU 是柏林最为知名的设计工作室之一。Factory Berlin 则是欧洲最大的国际创新社区和联合办公中心,致力于汇聚创作人才并帮助其施展自己的创意和理念。简单来说,就跟安迪·沃霍尔 (Andy Warhol) 在纽约创立的 The Silver Factory 差不多。

Copy of factory-creativecode-by-cherie-birkner-11

事情是这样的,NEEEU 开发了一个 3D 体验项目,只不过画面并不是呈现在常规 VR 眼镜上,而是要通过八台投影仪投到展厅内的假墙上,以便参观者在现实世界中与之进行真实的互动。我们面临的第一个难题是如何针对当中所展示的 VR 元素来恰当地添加声音和音乐。最终的解决办法是在假墙后面布置 64 个扬声器,并采用 Ambisonics 格式来制作所有的音频。假墙的建造和扬声器的布排全部由 WeSound 完成(这家位于汉堡的公司曾为遍布欧洲的很多项目打造过大型音频系统)。为此,WeSound 专门使用了苏黎世艺术大学计算机音乐与声音技术学院开发的 ICST Ambisonics 工具。

Copy of factory-creativecode-by-cherie-birkner-0064

在搭建好所有硬件设施之后,就该开始为工程添加音乐和音效了。这个工程当初是在 Unity 开发的,所以考虑到其本身的复杂性,我最终选择了使用 Wwise 来设计音频。借助 Wwise,我可以非常方便地管理针对每个体验环节制作的音乐和音效。为了确保尽可能有效地运用这 64 个扬声器,我决定把每一环节的音乐拆分成不同的分轨,并根据空间效果和视觉位置将其部署到 Unity Wwise 中,同时添加经过空间化处理的音效及来自知名演员/歌手艾米丽·贝洱 (Emily Behr) 音。

鉴于XR Room 交互式全景展厅,参观者可以使用 HTC Vive 手柄跟周围的墙壁进行互动。所以说,全部音效的投放都必须精准到位。为此,我把所有内容都进行了拆分,并创建了多条衰减曲线。因为不同的场景有不同的画面大小、持续时长和表达意图,所以要为每个场景合理地设置音效其实是非常麻烦的。还好有 Wwise,操作起来轻松了很多。

因为大家的时间都比较紧张,所以我不好总去麻烦开发人员。为了确保让一切都能完美地运行,他们那边也在劳心费力地想办法。考虑到每个场景的音乐和音效都是不一样的而且没有重复,我就在 Wwise 中按照场景对 Audio Bus 进行了拆分,以此避免声音从一个场景到另一场景。中只有语音比较特殊,它在每个环节都有出现。为此,我专门创建了一条 Audio Bus,并为其启用 Auto-ducking

Screen Shot 01

Screen Shot 01B

对于音乐,我需要为每个场景构建不同的声景,还要合理利用 Unity 中的游戏对象。为此,我采用了一阶AmbiX配置对一些乐器和分轨进行了混音。这最终给展厅布置和声音混制带来了很大的帮助。除了基础元素采取 AmbiX 配置还有些需要精确定位的乐器和声音是单声道形式交付的并将它们绑定到了各个场景中的相应对象。

Screen Shot 02

除此之外还有一项重要任务,就是将音频精确地添加到动画中。为此,我有效地运用了 Unity 中的 Timeline 动画处理功能。我直接把乐器拆分成了不同的分轨,然后转到 Unity 中严格按照画面元素出现的时机和位置进行了添加。

Screen Shot 03

Screen Shot 04

最终,我把 SoundBank 拆分成了 MusicSFX Voice,然后又分别按照环节进行了细分。这样就可以非常轻松地追踪所有内容,而且在我开始进行统一整合的时候,Unity 开发人员也不必因为命名混乱而感到苦恼。如此一来,即便开发人员并没有做任何与声音相关的工作(除了 Level 4,我们就如何根据配乐来具体设置语音进行了一些讨论),他们照样能够看懂哪些声音用在了哪里。

Screen Shot 05

整个体验项目在正式对外开放前几天才最终完成。即便是在展厅布置好之后,我也一直都是在自己的工作室里工作的。在全部完工之前,我只有一天时间实施现场混音。为了提高效率,我选用了 Resonance Audio Renderer 插件。这样在创作过程中就可以使用耳机来大致了解在展厅中会是怎样的听觉效果。结果到最后,我只在整合的时候中做了一些小的改动。

说了那么多,下面来戴上耳机感受一下项目当中的三个场景吧。不过通过这些 YouTube 视频只能听到一阶 AmbiX 的效果,有机会的话欢迎来 Factory Berlin 亲身体验一番。

 

场景

场景

场景


  • 客户 - Factory Berlin - Paul Bankewitz
  • 建筑设计 - Anna Caspar
  • 施工 - Ralf Norkeit
  • 声学 - Rummels Acoustics
  • 3D 视觉与概念 - NEEEU
  • 扬声器布排 - WeSound
  • 音乐作曲 - Oliver Laib/Billy Mello/Paulinho Corcione
  • 声音效果与声音设计 - Billy Mello (Lucha Libre Audio)
  • VO - Emily Behr
  • 项目经理 - Ima Johnen (Riverside Studios)

 

比利·梅洛 (Billy Mello)

比利·梅洛 (Billy Mello)

比利·梅洛 (Billy Mello) 目前在入驻于柏林 Riverside Studios 创意中心的 Lucha Libre Audio 担任沉浸式音频专家。他出生于巴西,担任过声音设计师、音乐制作人及 DJ,拥有 25 年以上从业经验。为了进一步深造,他专门到伯克利音乐学院攻读了电子游戏音频课程。现下,他主要从事 VR、AR、电子游戏和全景视频的音频制作。

 @maestrobilly

评论

留下回复

您的电子邮件地址将不会被公布。

更多文章

《Jurassic World: VR Expedition》

《Jurassic World: VR Expedition》是一款基于互动电影式虚拟现实 (VR) 技术打造的线下实体场馆娱乐游戏,它可以让玩家身临其境地体验到努布拉岛 (Isla Nublar)...

8.4.2019 - 作者:_HEXANY AUDIO_

玩家有话说:电子游戏音乐必须是自适应的

电子游戏音乐本身就与线性媒体有所不同。另外,线性和非线性音乐的作曲要求也很不一样。在霍华德·肖 (Howard Shore) 为《魔戒》系列电影创作配乐时,他事先知道哪些角色会在银幕上出现 20 秒或...

1.7.2019 - 作者:Valerio Velardo 博士

利用 Wwise 进行声学模拟

在最近的项目中,我们尝试了利用 Wwise...

19.8.2019 - 作者:埃吉尔·桑菲尔德 (Egil Sandfeld)

利用 Wwise 将两个 Audio Device 整合到 UE 游戏中

大家好,我叫埃德·卡辛斯基,是一名来自俄罗斯圣彼得堡的声音设计师和音乐家,目前在做一个非常有趣且重视声音表现的项目:这是一个名为《牧师与鬼驱人(Priest vs....

26.8.2020 - 作者:埃德·卡辛斯基 (Ed Kashinsky)

为何要选用 Wwise 来打造 3D 互动音乐体验

Dirty Laundry by Blake Ruby 移动 VR 应用:音频设计详解。

26.10.2021 - 作者:朱利安•梅西纳 (Julian Messina)

《Black Ice VR》的听觉和视觉设计

欢迎来到未来世界…《Black Ice VR》是个基于互动电影式 VR...

25.5.2023 - 作者:达伦•伍德兰二世 (Darren Woodland, Jr.)

更多文章

《Jurassic World: VR Expedition》

《Jurassic World: VR Expedition》是一款基于互动电影式虚拟现实 (VR) 技术打造的线下实体场馆娱乐游戏,它可以让玩家身临其境地体验到努布拉岛 (Isla Nublar)...

玩家有话说:电子游戏音乐必须是自适应的

电子游戏音乐本身就与线性媒体有所不同。另外,线性和非线性音乐的作曲要求也很不一样。在霍华德·肖 (Howard Shore) 为《魔戒》系列电影创作配乐时,他事先知道哪些角色会在银幕上出现 20 秒或...

利用 Wwise 进行声学模拟

在最近的项目中,我们尝试了利用 Wwise...