atmoky Ears ハイパーリアルなWwiseのヘッドフォン用スペーシャルオーディオプラグイン

スペーシャルオーディオ

atmoky Ears は超リアルな空間体験を、ヘッドフォン向けにレンダリングするワンストップソリューションです。知覚的な品質と効率性の比類なき組み合わせを提供し、スペーシャルオーディオのミックスから最高の音を引き出してくれます。atmoky Earsは常にリスナーを第一に考え、特許取得済みの、知覚最適化の処理を提供します。デバイスのパフォーマンスを「最後の一滴」まで絞り出したい場合に、ほかと差がつく最後の一押しが、atmoky Earsにあるのです。

atmoky Ears オーサリングツール

Subscribe

atmoky Ears ー なぜこのプラグインをつくったのか ー

私たちは日常的に、周囲の音の方向を最大1,000も判別しています。この情報に基づき、環境の中を自由に動きながら、その空間や、音響的な「場面設定」について、様々なことを判断できます。私たちは、3次元で音を聞いているのです。

バーチャル環境でも同じくらい奥の深い聴覚的な理解力を入手し、ハイパーリアルなスペーシャルオーディオ体験をつくり出すには、説得力のある高度な空間的解像度と納得できる部屋の特性を伝える必要があり、同時に、頭の動きに対応できるレンダリングが必要です。ダイナミックレンダリングの圧勝!

この「夢」を片手に、自分たちのすべての望みをかなえるべく、あらゆるフレーバーのスペーシャルオーディオをヘッドフォン用にレンダリングできるプラグインを目指しました。

創作の過程で様々な道を通り、数多くの耳で音を聞き、自分たちの期待に完全に応えてくれるソリューションは結構難しいことに気付きました。処理能力が限られていると、特にそうです。ネタバレ:最終的にはやり遂げました :)!

それでは、道中で学んだことを教えます!

ダイナミックレンダリングは不可欠

WwisePositionEditor

部屋の中でラウドスピーカーを聞いているときに、頭を動かしたらスピーカーもついてきた、なんてことはありますか?ない?それでは、ついてきたと思ったら、また元の位置に戻っていった、ということは?それもない?では、なぜか音源の音色が、かなり変わってしまったとか?

私たちも、ないです!でも、ヘッドトラッキングのバイノーラルレンダリングで、こういったことをすべて経験しました。

もし頭を回しているときに音源が一緒に動いてきたとしたら、そのレンダリングは明らかにダイナミックではありません。経験上、インタラクティブなスペーシャルオーディオにおいて、ダイナミックレンダリングはシーンの没入感を出すのに不可欠だと考えています。もちろんダイナミックレンダリングは可能であれば常に採用するべきだと思っています。幸い、Wwiseが提供するのが、まさしくこの機能なのです。

レンダリングをダイナミックに処理する場合に頻出する問題に、ヘッドトラッカー自体のレイテンシがあります...「不気味の谷」へようこそ。残念ながら私たちはハードウェアのメーカーでもなく、無線通信のプロトコルもコントロールしようがないので、この問題を解消できませんが、5Gに期待しています。

さて、atmoky Earsは知覚的に最適化されたレンダリングを行うので、場所や方向に依存するカラーレーションの問題を解消できます。このため、頭を動かしても、音源が周りを移動しても、音源の音色が不自然に変化してしまうことはありません。軌跡や方向性の違いは、意図する通りに、そして現実世界で予想される通りに、認識されます。

頭外エクスペリエンスを求めて

無響室や、無反射の環境で、目を閉じてラウドススピーカーの音を聞いたことがありますか?

私たちはありますが、そのときに、ラウドスピーカーの位置は分かっても、距離感がはっきりと把握できませんでした。

これがスペーシャルオーディオや、没入感のあるオーディオに、どう関係すのか分かりますか?

音を外在化するには、音源が、バーチャルルームや簡素化したルームの中、または似たようなところに存在する必要があります。そこで、頭の外に存在するという感覚を出すために最適化され、ミックスの特徴や音質を維持できるExternalizer機能を、atmoky Earsに入れました。

世代別のエクスペリエンス

atmoky_ears_gui_1

あるシーンのバーチャルオーディオを聞く子供に、音源はどこだと思うか、聞いたことはありますか?

私たちは、あります。思った通り、人間の聴覚は年齢によってかなり個人差がありました。人によって好みや強みが異なり、形も違います。この個性がスペーシャルオーディオでは重要です。私たちは鮮明で高品質なオーディオ用に最適化されたatmoky専用のHRTFセットを準備し、様々な年齢層の聴覚の好みに合わせて調整しました。atmoky EarsのPersonalization設定で、子供、ティーンエイジャー、そして大人向けにカスタマイズされたミックスを選べます。

世の中には、特定の年齢層を対象にしたゲームやプロジェクトもあるはずです。特に教育分野の仮想現実ゲームや、不安障害の治療法などに、Personalizationプリセットを活用できます。

効率性がカギ

スペーシャルオーディオで没入感を出すストーリーを、ヘッドフォンとスマートフォンだけで伝えようとした経験はありますか?

私たちも、ないです!でも、実際にやった人がいます。

私たちは、Thomas Aichingerが作成したプロジェクト(体験談が下に続く)からのフィードバックを参考にし、知覚的な品質と、演算負荷を、意図的にトレードできるユニークな最適化の方法を考えました。ハードウェア性能が低くてバッテリー要件が厳しいような、特にハードルの高いセットアップで、このプラグインに必要なメモリやCPUリソースを最大50%も削減できる「パフォーマンスモード」を追加しました。

アイスクリーム屋さんのような、多彩なフレーバー

スペーシャルオーディオは、フォーマットも方法もたくさんあり、フレーバーは多彩で、私たちはどれも好きです。これを踏まえ、atmoky Earsはシーンに基づくフォーマットや、チャンネルベースの標準レイアウトも、モノラルから13.1コンフィギュレーションに至るまでレンダリングできます。

私たちはスペーシャルオーディオのどのフレーバーも好きですが、全方向からの音源(上下方向も含む)のレンダリングに対応し、同時にレイアウトに依存しないものには、特に魅かれます。

世の中には、実に多くのプラットフォームが

atmoky Earsは、macOs、Windows、Linux、iOs、そしてAndroidに対応しています。今後、ほかのプラットフォームにも拡張する予定です。あなたのプロジェクトのプラットフォームが入っていなければ、メールでご連絡ください。できるだけ早く対応します。

atmoky Ears ロケーションベースの拡張オーディオエクスペリエンス用

スペーシャルオーディオで没入感を出すストーリーを、ヘッドフォンとスマートフォンだけで伝えようとした経験はありますか?

私たちも、まだです!私たちも、ないです!でも、やった人がいるのです。その体験談を紹介します。

Thomas Aichinger氏(scopeaudio)

タイムトラベルといえばデロリアンが印象的ですが、ヘッドフォンとスマートフォンさえあれば、音響的なタイムトラベルができるとしたら?結構すごくないですか?

私たち scopeaudio もそんな想いで、 hoeragentur と共に、 Sonic Traces というイマーシブな拡張オーディオエクスペリエンスをつくりました。提供した場所は、ウィーンのヘルデンプラッツ。ところどころに音を出すマーカーを残し、ユーザーが歴史上の様々な道を通りながら、歴史に入り込んだり、新たな音の世界を体験したりできます。

歩いて通ることのできる(6DoF)、音や音声のある音響的な代替の仮想現実を作成することが、私たちの主な仕事です。新たなストーリーテリング方法に使うための技術であって、その逆ではありません!ただその過程で、様々な技術的な難題や制約に遭遇しました。ハードルとして、現場のユーザートラッキング関連のものもあれば、スペーシャルオーディオのコンテンツのレンダリングと直接関係するものもあります。

当然のことながら、知覚的な品質と演算負荷の間に必ずトレードオフがあります。特に、スマートフォンのように演算リソースが制限されている場合は、本当に慎重に微調整しなければ、満足のいく結果が得られませんでした。

この経験をatmokyチームと共有すると、私たちのフィードバックをatmoky Earsプラグインに反映してくれました。テストしてみると、プラグインはとても納得のいくものでした。高度な知覚的品質と演算負荷の間のトレードオフを最適化してくれるので、モバイルデバイスであれ、強力な演算機器であれ、最高級のスペーシャルオーディオ品質をアプリケーションやゲームで提供したいときは、迷わずatmoky Earsを使います。

ただ、効率性だけがこのプラグインの優れた点ではありません。Externalizerを頭外エクスペリエンスを得るための地盤のように使うことも、かなりお勧めです。私たちはプリセットとして、Amountは「44」、Characterは「71」を提案します!

ユーザーの声 Michael Iber氏

「3Dオーディオを、ヘッドフォン経由で人間の耳にリアルに表現するには、外在化は不可欠な属性です。良く知られているIEMプラグインのバイノーラル化アルゴリズムに基づくatmoky Earsは、そのシーンや使用する音源の属性によって調整可能な、外在化の機能を提供してくれるユニークなツールです。プレイヤーの動きが音響的に現実味の高い音となり、音に包み込まれた没入感の印象が全体的に強化されます。簡単に実装できるこのプラグインを、私は多様な環境でテストしてみましたが、その結果には驚かされるばかりです。」
Michael Iber氏

Subscribe

Thomas_Credit

 

THOMAS AICHINGER
スペーシャルオーディオ デザイナー
scopeaudio

scopeaudioとSonic Tracesの共同設立者。イマーシブな6DoF AR/VRオーディオエクスペリエンス向けスペーシャルオーディオをデザインする。また、ハーグ王立音楽院、中央ヨーロッパ大学、専門学校St. Pöltenで教える。

icon_linkedin_hover


Iber

 

MICHAEL IBER
大学教授
St.Pölten University of Applied Sciences

オーストリア唯一のAudiokinetic認定校 St. Pölten University of Applied Sciences の教授。修士課程のデジタルメディアプロダクションの、オーディオデザイン修士クラスを率いる。仮想現実や拡張現実における音響ディスプレイやソニックインタラクションは、研究テーマの1つ。

fhstp.ac.at/en/onepager/master-class-audio-design

icon_linkedin_hover

Markus Zaunschirm

atmoky共同設立者兼CEO | オーディオエキスパート

atmoky

Markus Zaunschirm

atmoky共同設立者兼CEO | オーディオエキスパート

atmoky

電気工学と音響工学を学ぶ。可聴化、アコースティックバーチャライゼーション、そして知覚的に最適化されたバイノーラルレンダリングについて、2020年に博士号を取得。同年、新たな試みとして、同僚らと共にハイパーリアルなスペーシャルオーディオエクスペリエンスの実現をミッションとする atmoky を設立。

https://atmoky.com/

 @atmokyaudio?lang=en

コメント

Replyを残す

メールアドレスが公開されることはありません。

ほかの記事

Fun with Feedback(フィードバックの魅力)

Wwise...

12.12.2017 - 作者 ネイサン・ハリス(NATHAN HARRIS)

Hitman 2 - 最新のCPU向けに、リバーブを強化

6コアや8コアのCPUが広く使われるようになり、余裕のある処理能力がゲームに提供されるようにました。 そのパワーの一部を、プレイヤーのオーディオ体験 ...

22.10.2019 - 作者 ステパン・ボエフ(Stepan Boev)

スペーシャルオーディオのWwiseなアプローチ(パート2) 回折

音は、波として広がり波の特徴に従います。回折もその一つで、波は曲がって障害物の角を回り込んだり、開口部を通ったりします [14]...

20.1.2021 - 作者 ルイス・ハビエル・ブッフォーニ(Louis-Xavier Buffoni)

Wwise Spatial Audio 2023.1の新機能 | 改定されたAux Sendモデル

Wwise 2023.1の新機能リストをご覧になった方は気づいたかもしれませんが、実に多くの機能が導入され、その中でも“改定されたAux...

12.12.2023 - 作者 ネイサン・ハリス(NATHAN HARRIS)

Wwise Spatial Audio 2023.1の新機能 | 位相ずれの軽減

25.1.2024 - 作者 アレン・リー

『Scars Above』におけるWwise Spatial Audioの実装ワークフロー

これは何についての記事?Spatial Audio APIとは?Spatial Audio APIのワークフロー Rooms and Portals アセットの整理と命名規則 ...

7.2.2024 - 作者 ミラン・アンティッチ

ほかの記事

Fun with Feedback(フィードバックの魅力)

Wwise...

Hitman 2 - 最新のCPU向けに、リバーブを強化

6コアや8コアのCPUが広く使われるようになり、余裕のある処理能力がゲームに提供されるようにました。 そのパワーの一部を、プレイヤーのオーディオ体験 ...

スペーシャルオーディオのWwiseなアプローチ(パート2) 回折

音は、波として広がり波の特徴に従います。回折もその一つで、波は曲がって障害物の角を回り込んだり、開口部を通ったりします [14]...