浅谈如何在 Wwise 中轻松地利用音乐来驱动动画

互动音乐

Wwise 2019.1 版本增添了“Music Cue”功能,允许在 Music Segment 中触发 Wwise Event,以便在互动音乐时间线的特定时间点发送 Event。这样就可以轻松地利用音乐来驱动动画。接下来,我以一个名为 cbx2 的 Unity/Wwise 工程为例具体展示一下。

tile07lp

该工程基于我很久以前承接的一个为照片显示软件制作音乐的项目。这个软件里有一个背景环境声音轨和十个伴随照片滚动播放的循环主题。事先设置的同步器会随时触发拼贴图动画,同时生成有趣的复合节奏和和声,以此来制造意想不到的小惊喜。

cbx2

在这个项目完成后,我的备份磁盘上还存着原始的 MIDI 数据,所以我在 ProTools 中对音频文件进行了重新加工,并将其加载到了 Wwise 的 Interactive Music 系统中。

然后,我根据乐句的节奏在 Music Segment 中的各个时间点添加了 "set_anim_next_frame" Event 作为音乐提示。该 Event 的作用只是将 "anim_next_frame" RTPC 设为 1。在 Unity 中,会在 Update 循环中读取该 RTPC(每帧一次)。在其发生变化时,就会触发下一帧动画,并将 RTPC 标记重置为 0。 

cbx2_updateLoop

要利用音乐驱动动画,基本上就这么简单!

注意:显然,我并不是一名动画设计师。上文实现的功能只是简单地让平面图像“向右移动和旋转”。我自己并不具备制作交互 3D 游戏界面所需的高深图形技能。不过想象一下,换作优秀的动画设计师,应该可以利用这种技术跟作曲家合作开发出“画面跟随音乐”这样的功能(而非像平时所看的电影那样“让音乐跟随画面”)。

通过使用关键帧和其他一些手法,音乐提示可以实现各种动画效果:

  • 角色跳起与当前播放的关卡音乐同步的复杂的胜利舞蹈。
  • 忍者的打斗动作与音乐的速度始终保持一致。
  • 由互动的配乐驱动而生成有趣的艺术作品。
  • 场景的情感氛围在伴奏音乐变换音色时随之转换。
  • 迷宫的路线每十二小节改变一次。
  • 使用不同类型的音乐提示单独控制身体各个部位的姿态。
  • 一队袋鼠和企鹅随着音乐欢快地跳起踢踏舞。
  • 利用卡尔·斯托林 (Carl Stalling) 式的音乐主题控制卡通人物的动作节奏。
  • 等等……

对我来说,这种创作手法最有意思的地方在于动画的节奏完全由作曲家掌控。如此一来,就可像互动角色设计中常做的那样,让画面从一个关键帧移动到下一关键帧,只不过是通过音乐来设定动画时机,而不是反过来根据动画决定何时播放音乐。

不过,这种创作手法的确需要作曲家在 Music Segment 中手动输入音乐提示,而不是依靠 DSP 算法来自动确定拍子、速度这些东西。这对较长的复杂乐曲来说可能会有些单调重复,但是您可以复制粘贴音乐提示,并通过 Music Segment 的快速剪辑网格在合适的节奏点设置标记。

就像布莱恩·施密特 (Brian Schmidt) 说的那样,“艺术不是批量加工”。所以,在设置音乐提示时做一些看似枯燥乏味的工作并不见得是坏事,而且日后没准儿能派上大用场(这在很多音频创作中并不稀奇)。不过这种详细的标记方式有一点特别好,就是动画序列会始终跟音乐协调一致,即便音乐变换了,也不需要重新设定时机、重新剪辑或重新录制。

如需了解更多详细信息或想将这种创作手法应用到将来的游戏或互动音乐体验中,不妨转到以下页面来下载 Unity/Wwise 工程并观看实际演示视频


www.twittering.com/demo/cbx2


- pdx

彼得·德雷舍 (Peter "pdx" Drescher)

彼得·德雷舍 (Peter "pdx" Drescher)

彼得·德雷舍 (Peter "pdx" Drescher) 多年以来一直从事游戏和移动应用的音频制作、代码编写和功能整合工作。他是一位才华出众的声音设计师、颇有造诣的音乐家/作曲家、发文无数的期刊作者、经验丰富的程序员和技能娴熟的音频工程师。他在旧金山湾区拥有一间 ProTools 数字音频制作工作室 – Twittering Machine。

评论

留下回复

您的电子邮件地址将不会被公布。

更多文章

Wwise-201 互动音乐认证现已上线!

背景...

7.11.2017 - 作者:罗伯特.布洛克(ROBERT BROCK)

Hybrid 互动音乐能否引领未来发展:第 I 部分 - 我如何以《Get Even》为开发平台创作互动音乐

8.5.2018 - 作者:奥利维尔·德里维耶 (OLIVIER DERIVIÈRE)

《Yonder: The Cloud Catcher Chronicles》- 音频系列日志 - 第一篇:充满风险的开端

《Yonder: The Cloud Catcher Chronicles》于 2016 年底在 Sony PSX 展会上发布。它是一款由澳大利亚 Prideful Sloth...

15.5.2018 - 作者:史蒂芬·舒茨(STEPHAN SCHÜTZE)

浅谈如何像Beatnik一样在Wwise中结合使用MIDI和样本

第一次在 Wwise 中看到 MIDI 音乐系统的时候,我就发现它居然跟已经鲜少使用的 Beatnik...

1.6.2020 - 作者:彼得·德雷舍 (Peter "pdx" Drescher)

五分钟入门级音轨切换挑战

来一场五分钟入门级音轨切换挑战如何?

7.7.2020 - 作者:乔治.A.桑格 (GEORGE A. SANGER)

游戏和影视行业在音频制作上的一些区别 – 第 2 部分

在本文第 1...

10.8.2020 - 作者:杰斯帕.安卡菲尔德(JESPER ANKARFELDT)

更多文章