Wwiseを使った屋内音響のシミュレーション

インタラクティブオーディオ / サウンドデザイン / VRエクスペリエンス

最近、私たちの会社では、設計段階の建物内にクライアントが計画中のオフィススペースの音響を、Wwiseでシミュレーションしてプロトタイプ化する機会に恵まれました。新築される建物の中の音響を、クライアントが理解できるようにすることが、私たちの課題でした。具体的には、オープンな事務所スペースや閉鎖された会議室などで、時間帯によって、音の聞こえ方や音量がどのように違うのかを調べました。私たちは建物の音響を実際に測定したり、屋内の反響データを精密に算出することではなく、建物の中の場所によって、どのような感じ方や、音の違いがが予想されるかを、シミュレーションすることでした。Wwiseの音響シミュレーションの潜在力を、楽しみながら探りました。 

Picture1

セットアッ

クライアントが、私たちのつくるサウンドスケープに納得できることが重要だと私たちは考えたので、多数のエミッターを使い、音1つ1つを再現しながら信憑性のあるオフィス環境をつくりあげました。個々のサウンド(マグカップや、きしむオフィスチェアや、空調など)をバーチャルオフィスの現実的の場所に配置して、音響のダイナミックシミュレーションを行う地盤を整えました

 

image5
事務所全体に配置されたエミッターを示す、UnityのGizmo。色は音の種類を示す。

 

個別のエミッターを利用することで、開発フェーズの柔軟性を確保できました。タイトなスケジュールで、クライアントに見せる配置や内容について意見を言う関係者が大勢いるなか、あちこちに広がるエミッターの間を簡単にテレポートして、視覚的にも聴覚的にも理にかなった位置から見た屋内の様子を、クライアントに発表することができました。ただ、柔軟性に優れた方式を選ぶと、オープンワールドゲームのようにサウンドミックスをコントロールする必要があり、事前準備は大変です

Wwise Reflect

 .

image1
1つのエミッターの2次反射が、リスナーに向かう様子。面で反射するたびに、音の一部が、その面に設定された音響素材に吸収される。

クライアントへのプレゼンテーションでは、オフィス内のホットスポットを6ヶ所選び、シミュレーション環境で、それぞれの音響的な問題点を聞いてもらいました。ユーザーが自由に動き回れるので、ホットスポットは固定点ではありません。ただ実際には、自由に動き回ることが最も利用されたのは 音のトライアンギュレーション(triangulationでした。後ろを振り向きながら、体を前に傾けてみると、周囲の環境や、音の方向性が、把握しやすくなります。ここでWwise Reflectが、空間的な感覚をつくり出すのに一役買いました

 

image3

 

Wwise Reflectは、アーリーリフレクションにフォーカスし、ユーザーが部屋の広さや形状を理解しやすくします。本物の音響資材の係数をWwiseに変換するために、小さく軽快な表計算ファイルを使うことで、資材をそのままWwiseに取り込んで、アーリーリフレクションをそこから反響させることができました

Wwise Convolution

私たちの経験上、部屋の特徴を代表するのはリバーブ、つまりレイトリフレクションです。これをWwiseで再現するために使ったのがWwise Convolution Reverbで、基本的に、(本物の)リバーブをドライサウンドに適用してくれるものです。今回の場合は建物が完成していないので、部屋のリバーブを録音しに行くわけにはいきませんでした。代わりに6つのホットスポットの周りに3Dモデルを構築し、あるサードパーティツールを採用してファーストオーダーアンビソニックのインパルスレスポンスを、6ヶ所のホットスポットごとに生成してみました。これらのインパルスレスポンスをWwise Convolutionにインポートし、各エリアにある音のレイトリフレクションを作成しました。つまり、デジタルモデルを使って音響特性を把握できたのです。IR(インパルスレスポンス)を生成するために使った3Dモデルは、サードパーティソフトの制限もあり、シンプルな、細かすぎないモデルです

 

image2
1つのホットスポットにおける、インパルスレスポンスのシミュレーション生成用モデル。オレンジ色のコーンが、インパルスレスポンスのリスナーポジション。

当然、IRの精度は3Dモデルの精度に比例するので、実際の状況では存在する細かい物が欠落していることを、リフレクションを聞くクライアントに、但し書きとして事前に伝えておく必要がありました。例えばモニター、マウスパッド、植木、照明器具などの小さな物体は、伝わってくる音を吸収し停止させるので、リバーブが短くなる要因になります。それでもシンプルなモデルを使ったコンボリューションリバーブは、かなりリアルに聞こえました。計算上のリバーブ時間は、私たちの予想と大体同じでした。計算結果と、実在する同じような形の部屋を見ながら比較したところ、シミュレーションしたレイトリフレクションを但し書き付きで、クライアントに示してもいいと自信を持てました

RoomsやPortalsを使い、エミッターをコントロール

音を反響させる130以上の面を配置したバーチャルオフィスビルのいたるところに、170個以上のエミッターを配置した状態だったので、リスナーから遠すぎるエミッターを間引きすることにしました。Wwiseに標準装備のバーチャル化機能を利用することも可能でしたが、全体のビジュアル効果を優先し、再生させないエミッターは、単純にUnityスクリプトで隠すことにしました。それでも、一度に再生中のエミッター数は、十分に多かったです。対策としてWwise Rooms and Portalsを利用したところ、リソース的なメリットがありました。3Dモデルにもある、聴覚的に別の部屋は、そのエミッターを切り離したので、これらの音を再生するCPUリソースを最小限に抑えられました

 

image4
ほかの部屋の音は、ポータル(開口部)経由とし、リバーブ処理を削減。

複数のエミッター音がほかの部屋からポータルを経由してリスナーに向かうとき、ポータル自体がこれらの音のエミッターとして作用します。これでシステム全体のリソースを節約でき、ほかの部屋で起きる音のリフレクションを処理する必要がなくなります。少なくとも、リスナーと同室のエミッターほど負荷の高い処理は、不要です

クライアント向けプレゼンテーション

プレゼンテーションはOculus RiftとBeyerdynamic DT770 Proヘッドフォンを使い、静かなデモルームで行いました。ヘッドフォンを使ったので、エミッターに適切なフィルターをかけて信憑性のある方向性をつくり出すために、バスチェインにスペーシャリゼーション専用プラグインを適用する必要がありました。私たちはResonance Audio for Wwiseを採用しましたが、ほかにもOculus Spatializerのようなスペーシャライザーもお勧めです。スペーシャライザーは、HRTFモデルが誰かにぴったりと合うことはなく、平均的な耳を基本モデルにしているので、聞こえる音にカラーが付けられる傾向があります。それでも、失われるものをカバーするだけのプラス効果があります

プレゼンテーションで音響に関する5つの大事な結論を導き出せたので、クライアントは引き続き、オフィスのインテリアデザインの中で検討することになりました。主な結論として、一部会議室で音を吸収する仕上げ材を増やし、オープンレイアウトのオフィスでは障害物を増やすことになりました。今回のシミュレーションテストと、そのプレゼンテーションから学んだ一番のことは、オープンプランにおける音や騒音といった仕事環境の考え方でした。シミュレーションを通して、1つの音が伝播して簡単に複数の社員に影響を与えることがあるのを聞くと、どの「ノイズ」が妥当で、どれが妥当でないかという価値を意図的に決めて、それを社員に広める必要がある、という認識が形成されました。例えば、立ち話や立ちながらの電話は、建物の別の場所で行うべきですが、机で座りながら仕事の話し合いをすることは、物理的な障害があるため、他人の邪魔になる可能性が下がります

その他の技術的な発見

  • ドライな直接音をソロにしたり、アーリーリフレクションだけをソロにしたり、レートリフレクションを別途ソロにしたりできるように、必ずバスのルーティングを工夫してください。また、新しい3D Meterのビジュアライザーを使うと、プロファイリング中もミックスの中身を簡単に理解できます。さらに、クライアントにとっても、音の反響やその影響が、ビジュアル的にも聴覚的にも理解しやすくなります。作動中の3Dメーターの動画

  • ハードウェアを使ったビルドやテストは、早いうちから。VRやスペーシャライザーは、よりリソースを消費するので、Wwise Advanced Profilerを使って各種プラグインをモニタリングしてください。クライアントにはオーディオにフォーカスしてもらいたかったので、ビジュアルな混乱を最小限に抑えるために、ビジュアルを90FPSでスムーズに動かすことが必須でした。

  • Wwiseの新機能の大きな可能性と、発生しうる問題を、意識してください。Wwiseは多機能なので     、RoomsやPortalsを使いながらリフレクションを設定するのはそれなりに複雑ですが、最終的に発揮される成果は素晴らしいものです。

  • Wwise Reflectのサウンドはなかなかクールで、3Dモデルを使い、一部の部屋でアーリーリフレクションを低減させるには、もっと吸音性の高い仕上材を実際の壁に採用すべきだということを、分かりやすく伝えられました。是非とも遊んでみて!

エギル・サンフェルト(Egil Sandfeld)

CTO、オーディオデザイナー

Awe

エギル・サンフェルト(Egil Sandfeld)

CTO、オーディオデザイナー

Awe

今は忘れられつつある「耳を澄ますこと」の魅力を再燃させようと、サンフェルトが3人のパートナーと2015年に創立した会社は、その名もawe。インタラクティブ3Dオーディオのデザインを専門とするaweは、ゲーム、XR、インスタレーションなどに提供。サンフェルトが携わるプロジェクトは多種多様で、現在もVRインスタレーション、スペーシャリゼーションを適用したASMRリラクゼーションアプリ、首のリハビリ用音楽とサウンド、ロケーションベースのインタラクティブゲームや音楽教育ゲームなどが進行中。

theawe.dk

 @theawedk

コメント

Replyを残す

メールアドレスが公開されることはありません。

ほかの記事

ゲームオーディオのゲーミフィケーション (Part 2)

私が開発した幾つかのゲームでは、多くのオーディオ機能とゲームから出る多くの情報を、サウンドデザインに連携させてクールな音の瞬間を演出することで、このブログのPart...

12.6.2018 - 作者 Bjørn Jacobsen

ラウドネスプロセシングのベストプラクティス、第1章: ラウドネス測定(PART 1)

...

25.9.2018 - 作者 楊 杰(JIE YANG、DIGIMONK)

Pagan Onlineのダイアログ管理を、AIで効率化するまで

29.10.2019 - 作者 二コラ・ルキッチ(Nikola Lukić)

仮想化を現実に戻す

15.4.2020 - 作者 ビリー・メロ(BILLY MELLO)

WwiseとREAPERの連携(パート1)WAAPI Transfer

WAAPI...

27.5.2020 - 作者 二コラ・ルキッチ(Nikola Lukić)

Aporia: Beyond the Valley - 幽霊のサウンドをつくる

7.7.2020 - 作者 トローオルス・ニガルド(TROELS NYGAARD)

ほかの記事

ゲームオーディオのゲーミフィケーション (Part 2)

私が開発した幾つかのゲームでは、多くのオーディオ機能とゲームから出る多くの情報を、サウンドデザインに連携させてクールな音の瞬間を演出することで、このブログのPart...

ラウドネスプロセシングのベストプラクティス、第1章: ラウドネス測定(PART 1)

...

Pagan Onlineのダイアログ管理を、AIで効率化するまで