WAAPI AK-thon

音频编程

201747日,即将发布的Wwise Authoring APIWAAPI)通过公司内部黑客马拉松的形式进行了测试。当然了,我们在Audiokinetic非常爱用品牌专有术语,所以我们很自然地将它称为,AK松(AK-thon)!
所有项目都必须包括至少一个WAAPI部分但也可以包括其他技术所有团队都可以选择任何语言或环境从稍微古怪些的想法到比较严肃的概念2-5人的团队们提交了他们的创意,并一天的时间将其实现。 

IMG_8160.jpg

  

以下是这愉快而“WAAPI”的一天中的4个WAAPI项目!

  ..............

 ............

3D衰减可视化器

团队:Benoit SanterrePascal Viandier

目标:在Unreal Engine(虚幻引擎)中的3D空间看到衰减曲线,并且在Wwise中改动它时能实时看到曲线的变化。

DSC07108.jpg

-Benoit Santerre的总结

我们想要做的就是在3D世界中(在我们的案例中就是Unreal Engine 4(虚幻引擎4))表示声音的衰减曲线。我们使用WAAPI检索一个声音对象的衰减曲线,然后使用Unreal Engine Procedural Mesh Component(程序网格组件)来环绕Z轴旋转这条衰减虚线结果就是这个在引擎3D视图中像是一个环绕声源的圆锥的图形,这让我们能轻松地看到声音怎样随着距离衰减。在Wwise中改变曲线的话会自动刷新Unreal中的网格,让我们可以轻松进行混音迭代。

AkThon_UE4_Attenuation.png

 

  ..............

无限随机环境声

团队:Shawn LaptisteAlexandre LessardKristian MahAxel Helie FontaineBrian McHugh 

目标:使用Essentia的音频分析和基于音频的音乐信息检索,从确定和FreeSound声音数据库中相似的样本中取材创造环境声和音乐主题。样本会使用频谱、时间、声调和高级音乐描述符进行分析。

DSC07105.jpg

-Shawn Laptiste的总结

在这个作品我们尝试使用WAAPIWwise中基于一个输入模板声音来创建随机声音序列 Essentia是用于对模板声音进行分析的,之后从Essentia分析中提取的信息就用于在Freesound中用Freesound APIquery(查询)寻找相似的声音这些新的相似声音通过WAAPI被导入到Wwise工程中。然后这些声音的小片段就带着随机的混合持续时间被置入Sequence Containers(序列容器)中的Random Containers(随机容器)中,以此创造出和原有模板声音相似但发生了不可预测变化的新的音频。

 

Wwise抓取器:使用Leap Motion控制器的音频编辑手势界面

团队:Xavier BuffoniThalie KeklikianNathan HarrisAlexandre Savard

目标创造一个应用该应用使用控制器界面来通过WAAPI控制3D位置,移动听者和发生点(事件),提取衰减曲线,拉长/缩短声音,并且可选特性)导入3D模型,模拟几何空间驱动的混响。DSC07103.jpg

-Thalie Keklikian的总结

我们项目背后的想法是想用手势来控制Wwise就像《少数派报告》那种风格的。我们的想法来自团队成员Alex,他在家刚开始用起来Leap Motion设备。Leap Motion控制器是一个USB插入式传感器,它使用IR摄像头来追踪在其上方区域的双手的位置。它的SDK能很轻松地用于感应手指、双手,以及手臂。它甚至能分辨出左右手! 

WAAPI可以做所有Wwise能做到的事,而且一点也不需要使用形界面黑客马拉松中我们从它身上引用了三个主要功能:一个是播放当前事件,一个是前往下一事件,最后一个是设置RTPC值。我们也创造了3种不同的手势。为了播放事件,我们决定使用一根手指的动作。代码会检测是不是感应到一根手指,如果是,它会进一步看手指是不是从无效区进入触摸区。之后,张开一只手上的所有手指会前进到下一个事件。当播放事件时,有第三种手势可以改变该声音。我们这里用的是捏的手势,或者按照我们的说法,抓取。当一个人用手抓取一个隐形节点,并在Leap Motion的X和Y轴上移动时,这些位置会作为RTPC值发送。在Wwise工程侧,我们创建了不同的事件,每一个事件都有一个声音和用两个RTPC可以改变的内容。比如有一个事件是播放Wwise Synth One SFX 它由正弦和锯齿波构成当沿着Y(竖直)抓取移动时,基频会改变。当沿着X轴(水平)移动时,锯齿波会进行变换。 

结果让人印象深刻它看起来有点像是我们在弹泰勒明琴(非常基础的款式)。当然,这些都是一天内做好的,所以我们的最终产品并不完美。比如我们找的一些捷径,就是把抓取指派到了和其它两种手势不同的另一只手上,以便在做抓取手势时不会偶然触发另两种手势。但是,有时Leap Motion还是感应不出正确的那只手,于是就会调用错误的函数。但我们在过程中很开心,这才是重点!这个WAAPI项目开启了很多的机会。想象一下能让人们用手势追踪系统来VR版 Wwise中更改曲线和游戏参数的样子吧!

 

  ..............

OBD2上的Wwise引擎声创作链接(WEALO 'pronounced oui allo')

团队:Francois ThibaultTai VuongMaximilien Simard PoirierSimon Ashby 

目标:直接从OBD2诊断硬件界面的实时或离线轨迹中提取发动机相关参数来驱动引擎声合成RPM,车速,发动机负载)。这可以控制 Wwise运行时参数为车辆发动机声音合成设计提供更真实的测试和模拟 IMG_8169.jpg

-Francois Thibault的总结

如果连一个运行的基础物理模拟应用都没有的话设计真实的汽车声音有时确实是很大的挑战。所以,在声音设计师开始设计车辆声音之前,通常需要在编程上花费精力。我们的想法是利用OBD2诊断硬件界面对于真实车辆的数据收集,不管是实时的还是重放先前采集好的数据,以此来直接通过WAAPI在Wwise 中驱动RTPC参数,比如RPM、车速,以及引擎负载,而不需要任何Wwise SDK集成

 

  ..............

 

了解Wwise Authoring API (WAAPI)的更多详情

 

Audiokinetic (音频动能)

Audiokinetic (音频动能)

Audiokinetic 为互动媒体和游戏树立了新的音频制作标准。本公司的中间件解决方案(包括屡获殊荣的 Wwise® 和 SoundSeed®)可为声音设计师和音频程序员提供经济高效的综合设计工具和音频引擎,帮助其以创新方式打造互动体验。Audiokinetic 总部位于加拿大蒙特利尔,在日本东京、中国上海设有分公司,并在欧洲派驻产品专家。

 @audiokinetic

评论

留下回复

您的电子邮件地址将不会被公布。

更多文章

连通 Wwise 和 REAPER – 第 1 部分:WAAPI Transfer

也许大家对 WAAPI Transfer 并不陌生,但我还是觉得有必要详细地说一说。WAAPI Transfer 是一款开源的 REAPER 扩展插件,方便将音频素材直接从 REAPER 导出到...

18.5.2020 - 作者:尼古拉·卢基奇 (Nikola Lukić)

人人都能用 WAAPI(一)概述

大家好,我是溪夜。 去年下半年我接触到了 WAAPI(Wwise Authoring API),作为头脑不怎么灵光的非专业程序员,看到 WAMP、JSON...

29.9.2020 - 作者:汪洋

EBP管线概述

EBP是什么? 前不久Wwise 2019.2版本的UE4 Integration推出了一条新的管线,叫做Event-Based...

10.12.2020 - 作者:范润鹏

Waapi 批处理工具:CA_Waapi_Tools

引子 相信很多声音设计师在使用 Wwise设计软件进行音频整合的时候,会遇到一些重复性很强的工作,比如:大量的导入/替换样本,生成事件,设定 Switch...

23.12.2020 - 作者:楼哲文

人人都能用 WAAPI(三)Functions(执行类 API)剩余部分及 Topics(订阅类 API)

大家好,我是溪夜。 在《人人都能用 WAAPI(三)》中,我们会继续上一篇的内容,讨论 WAAPI 的 Functions(执行类)中剩下的其他的 API 及 Topics(订阅类)。...

15.1.2021 - 作者:汪洋

Wwise Unity 速查表

今天我们来说说 Wwise Unity Integration。这些年来,相关学习资源越来越丰富,随时都可以拿来参考。就拿 Audiokinetic 官方资源来说,YouTube...

19.1.2021 - 作者:麦斯·麦雷蒂·桑德鲁普 (Mads Maretty Sønderup)

更多文章

连通 Wwise 和 REAPER – 第 1 部分:WAAPI Transfer

也许大家对 WAAPI Transfer 并不陌生,但我还是觉得有必要详细地说一说。WAAPI Transfer 是一款开源的 REAPER 扩展插件,方便将音频素材直接从 REAPER 导出到...

人人都能用 WAAPI(一)概述

大家好,我是溪夜。 去年下半年我接触到了 WAAPI(Wwise Authoring API),作为头脑不怎么灵光的非专业程序员,看到 WAMP、JSON...

EBP管线概述

EBP是什么? 前不久Wwise 2019.2版本的UE4 Integration推出了一条新的管线,叫做Event-Based...