WAAPI AK-thon

音频编程

201747日,即将发布的Wwise Authoring APIWAAPI)通过公司内部黑客马拉松的形式进行了测试。当然了,我们在Audiokinetic非常爱用品牌专有术语,所以我们很自然地将它称为,AK松(AK-thon)!
所有项目都必须包括至少一个WAAPI部分但也可以包括其他技术所有团队都可以选择任何语言或环境从稍微古怪些的想法到比较严肃的概念2-5人的团队们提交了他们的创意,并一天的时间将其实现。 

IMG_8160.jpg

  

以下是这愉快而“WAAPI”的一天中的4个WAAPI项目!

  ..............

 ............

3D衰减可视化器

团队:Benoit SanterrePascal Viandier

目标:在Unreal Engine(虚幻引擎)中的3D空间看到衰减曲线,并且在Wwise中改动它时能实时看到曲线的变化。

DSC07108.jpg

-Benoit Santerre的总结

我们想要做的就是在3D世界中(在我们的案例中就是Unreal Engine 4(虚幻引擎4))表示声音的衰减曲线。我们使用WAAPI检索一个声音对象的衰减曲线,然后使用Unreal Engine Procedural Mesh Component(程序网格组件)来环绕Z轴旋转这条衰减虚线结果就是这个在引擎3D视图中像是一个环绕声源的圆锥的图形,这让我们能轻松地看到声音怎样随着距离衰减。在Wwise中改变曲线的话会自动刷新Unreal中的网格,让我们可以轻松进行混音迭代。

AkThon_UE4_Attenuation.png

 

  ..............

无限随机环境声

团队:Shawn LaptisteAlexandre LessardKristian MahAxel Helie FontaineBrian McHugh 

目标:使用Essentia的音频分析和基于音频的音乐信息检索,从确定和FreeSound声音数据库中相似的样本中取材创造环境声和音乐主题。样本会使用频谱、时间、声调和高级音乐描述符进行分析。

DSC07105.jpg

-Shawn Laptiste的总结

在这个作品我们尝试使用WAAPIWwise中基于一个输入模板声音来创建随机声音序列 Essentia是用于对模板声音进行分析的,之后从Essentia分析中提取的信息就用于在Freesound中用Freesound APIquery(查询)寻找相似的声音这些新的相似声音通过WAAPI被导入到Wwise工程中。然后这些声音的小片段就带着随机的混合持续时间被置入Sequence Containers(序列容器)中的Random Containers(随机容器)中,以此创造出和原有模板声音相似但发生了不可预测变化的新的音频。

 

Wwise抓取器:使用Leap Motion控制器的音频编辑手势界面

团队:Xavier BuffoniThalie KeklikianNathan HarrisAlexandre Savard

目标创造一个应用该应用使用控制器界面来通过WAAPI控制3D位置,移动听者和发生点(事件),提取衰减曲线,拉长/缩短声音,并且可选特性)导入3D模型,模拟几何空间驱动的混响。DSC07103.jpg

-Thalie Keklikian的总结

我们项目背后的想法是想用手势来控制Wwise就像《少数派报告》那种风格的。我们的想法来自团队成员Alex,他在家刚开始用起来Leap Motion设备。Leap Motion控制器是一个USB插入式传感器,它使用IR摄像头来追踪在其上方区域的双手的位置。它的SDK能很轻松地用于感应手指、双手,以及手臂。它甚至能分辨出左右手! 

WAAPI可以做所有Wwise能做到的事,而且一点也不需要使用形界面黑客马拉松中我们从它身上引用了三个主要功能:一个是播放当前事件,一个是前往下一事件,最后一个是设置RTPC值。我们也创造了3种不同的手势。为了播放事件,我们决定使用一根手指的动作。代码会检测是不是感应到一根手指,如果是,它会进一步看手指是不是从无效区进入触摸区。之后,张开一只手上的所有手指会前进到下一个事件。当播放事件时,有第三种手势可以改变该声音。我们这里用的是捏的手势,或者按照我们的说法,抓取。当一个人用手抓取一个隐形节点,并在Leap Motion的X和Y轴上移动时,这些位置会作为RTPC值发送。在Wwise工程侧,我们创建了不同的事件,每一个事件都有一个声音和用两个RTPC可以改变的内容。比如有一个事件是播放Wwise Synth One SFX 它由正弦和锯齿波构成当沿着Y(竖直)抓取移动时,基频会改变。当沿着X轴(水平)移动时,锯齿波会进行变换。 

结果让人印象深刻它看起来有点像是我们在弹泰勒明琴(非常基础的款式)。当然,这些都是一天内做好的,所以我们的最终产品并不完美。比如我们找的一些捷径,就是把抓取指派到了和其它两种手势不同的另一只手上,以便在做抓取手势时不会偶然触发另两种手势。但是,有时Leap Motion还是感应不出正确的那只手,于是就会调用错误的函数。但我们在过程中很开心,这才是重点!这个WAAPI项目开启了很多的机会。想象一下能让人们用手势追踪系统来VR版 Wwise中更改曲线和游戏参数的样子吧!

 

  ..............

OBD2上的Wwise引擎声创作链接(WEALO 'pronounced oui allo')

团队:Francois ThibaultTai VuongMaximilien Simard PoirierSimon Ashby 

目标:直接从OBD2诊断硬件界面的实时或离线轨迹中提取发动机相关参数来驱动引擎声合成RPM,车速,发动机负载)。这可以控制 Wwise运行时参数为车辆发动机声音合成设计提供更真实的测试和模拟 IMG_8169.jpg

-Francois Thibault的总结

如果连一个运行的基础物理模拟应用都没有的话设计真实的汽车声音有时确实是很大的挑战。所以,在声音设计师开始设计车辆声音之前,通常需要在编程上花费精力。我们的想法是利用OBD2诊断硬件界面对于真实车辆的数据收集,不管是实时的还是重放先前采集好的数据,以此来直接通过WAAPI在Wwise 中驱动RTPC参数,比如RPM、车速,以及引擎负载,而不需要任何Wwise SDK集成

 

  ..............

 

了解Wwise Authoring API (WAAPI)的更多详情

 

Audiokinetic (音频动能)

Audiokinetic (音频动能)

Audiokinetic 为互动媒体和游戏树立了新的音频制作标准。本公司的中间件解决方案(包括屡获殊荣的 Wwise® 和 SoundSeed®)可为声音设计师和音频程序员提供经济高效的综合设计工具和音频引擎,帮助其以创新方式打造互动体验。Audiokinetic 总部位于加拿大蒙特利尔,在日本东京、中国上海设有分公司,并在欧洲派驻产品专家。

 @audiokinetic

评论

留下回复

您的电子邮件地址将不会被公布。

更多文章

关于Wwise插件开发流程

前言...

24.3.2021 - 作者:李昱宸

Wwise Authoring Query Language 简介

“Wwise 不过是张电子表格”。作为用户体验团队成员,我们经常会听到有人这样说。事实上,Wwise 不仅是款声音设计工具,Wwise...

20.7.2021 - 作者:伯纳德 罗德里格 (Bernard Rodrigue)

为 Wwise 2021.1 构建插件 | 第 1 部分:背景和目标

大家可能不知道,Wwise 生态系统其实具有很强的可扩展性。有时,各公司要为其项目构建定制的插件,供应商会将自研插件迁移到 Wwise。对此,我们必然要提供相应的支持。新的 Wwise...

27.9.2021 - 作者:米歇尔•多奈斯 (Michel Donais)

Wwise 2023.1 对 WAAPI 的更新

Wwise 2023.1 包含自 2017 年引入 API 以来对 Wwise Authoring API (WAAPI) 最大幅度的更新。如果还没看过 Wwise 2023.1...

1.8.2023 - 作者:伯纳德 罗德里格 (Bernard Rodrigue)

WAQL 2.0

自 Wwise Authoring Query Language (WAQL) 的第一个版本发布以来已经有几年了。在此之后,几乎没什么改动。最大的改动就是把 WAQL 集成到了 Wwise...

10.8.2023 - 作者:伯纳德 罗德里格 (Bernard Rodrigue)

通过 ReaWwise 在 ReaScript (Lua) 中调用 WAAPI

ReaWwise 有个大家可能不太知道的功能,就是将原始 WAAPI 函数暴露给 REAPER。藉此,用户可在自己的 ReaScript 中使用这些函数。在本文中,我们将探讨如何使用 WAAPI 在...

23.4.2024 - 作者:安德鲁·科斯塔 (Andrew Costa)

更多文章

关于Wwise插件开发流程

前言...

Wwise Authoring Query Language 简介

“Wwise 不过是张电子表格”。作为用户体验团队成员,我们经常会听到有人这样说。事实上,Wwise 不仅是款声音设计工具,Wwise...

为 Wwise 2021.1 构建插件 | 第 1 部分:背景和目标

大家可能不知道,Wwise 生态系统其实具有很强的可扩展性。有时,各公司要为其项目构建定制的插件,供应商会将自研插件迁移到 Wwise。对此,我们必然要提供相应的支持。新的 Wwise...