この記事では、リバーブを使った没入感の表現方法を紹介します。これから数か月、このトピックについて連載します。

 

VRとリバーブで表現する没入感 

人工的なリバーブは、今では最も頻繁に使われているオーディオエフェクトの1つです。元々の目的は、サウンドデザイナーがポストプロダクション業務で自然な音響空間を自由に創り出せるようにすることでした。1930年代以降、様々なリバーブ技術が生み出されました。物理的空間の中でスピーカーやマイクを使い音を再生したり録音したりできるエコーチェンバーから始まり、信号を効率的にコピーして高密度に繰り返す可搬性のある電子機器。

人工的なリバーブは、今では最も頻繁に使われているオーディオエフェクトの1つです。元々の目的は、サウンドデザイナーがポストプロダクション業務で自然な音響空間を自由に創り出せるようにすることでした。1930年代以降、様々なリバーブ技術が生み出されました。物理的空間の中でスピーカーやマイクを使い音を再生したり録音したりできるエコーチェンバーから始まり、信号を効率的にコピーして高密度に繰り返す可搬性のある電子機器まで、実に様々な技術が登場しました。最近では、音伝播の物理的性質を模倣して現実味のあるエフェクトを表現する新たな方式なども導入されています。

現実世界で起きるリバーブ 

部屋の中で音の振動が発せられると、エネルギーは大気や物体などの媒質を経由して全方向に伝播します。このエネルギーが周囲の素材に反射して、跳ね返ったり散乱したりして移動するにつれ、次第に消えていきます。このサイクル中にエネルギーは継続的にリスナーの元へ戻り、連続したエコーがつくられますが、これをリバーブレーション（リバーブ）と呼びます。リバーブの周波数特性は、部屋の中にある素材によって変わります。室内の壁や家具など部屋の形と、それぞれの素材で、反射、回析、散乱してエコーの方向が決まります。これらが統合して驚くほどリッチで複雑な現象が起き、音響空間の形状や性質がリスナーに伝わります。

古典的な人工リバーブ

リバーブは複雑なエフェクトなので、従来は大幅に簡素化することでシミュレーションしてきました。古典的な人工リバーブのアルゴリズムでは、元信号を無数に反復させ、時間的周波数特性の変化を伴う音の伝搬を再現していました。しかしこの手法では3次元的な伝播の情報が完全に失われてしまいます。IR(インパルス応答)を使うことによって、残響パラメーターが固定値に準じた出力の場合、３次元的な特性を再現することができます。とは、エコー密度のパターンや振幅を保存、可視化、再現する方法です。時間の経過とともに、密度インパルスが急増する一方、振幅が減衰するのが分かります（下のグラフ参照）。

マルチチャンネルシステムの場合は、出力チャンネル毎に専用のインパルスレスポンスがあります。この場合、目的は正確なスペーシャル（spatial）キューを出すことではなく、複数のスピーカーから信号が出る時に、それぞれが互いに干渉しないことです。実は、多くのリバーブアルゴリズムで、空間は拡散しているものと捉えられています。つまり、エコーが全方向から比較的均質に来ると予想しているのです。この簡素化は、リバーブの研究が始まった頃から行われ、モノやステレオのスピーカーシステムでコンサートホール並みの音響を再現するために行われました。クラシックミュージックのコンサートホールは、一般的にリバーブ音を空間で拡散させることが目的です。実際の結果は異なりますが、趣旨はどの客席に座っても良いリスニング環境を提供することです。

 

 

 http://acoustics.org/pressroom/httpdocs/152nd/behler.html

 

重要なアーリーリフレクション

前述のとおり、多くのリバーブの出力結果は固定されます。つまり、同じ音を2回通すと、出力される結果は同じになります。最近のアプリケーションでは出力をプリディレイなどのパラメータで変化させたり微調整したりできますが、異なるポジションにある別々の音に対応できるような拡張性はありません。もし1つの音に対してインサートエフェクトのインスタンスを個別に設定して、パラメータを変化させるのにRTPC（リアルタイムパラメータコントロール）を使うとしたら、リバーブインスタンスの数がすぐに膨大な量になり、CPUが耐えられなくなります。このため、部屋のどこで発生する音であれ、エフェクトは同じ結果とします。しかし現実には、部屋の中央で発生した音は、隅で発生した音と同じく聞こえません。距離が異なると音が到達するまでの時間が異なるからです。音と、アーリーリフレクションと呼ばれる最初のいくつかの反射の間に、人間が感じ取れる時間差があり、聞く人は無意識のうちに周囲の状況を判断しているのです。片方の耳に音が到達してからもう片方の耳に到達するまでの時間差が、バイノーラルパンニングでは不可欠なキューであることを考えると、ダイナミックなディレイタイムこそ、スペーシャルリバーブの重要な構成要素だと分かります。下図は、簡単な2次元の部屋の、アーリーリフレクションのパターンを図式化したものです。エミッタ―とリスナーのどちらが移動しても、アーリーリフレクションの経路が変化して、同時に距離も変わります。参考までに、5m×10mの部屋では、音が長編方向の隅から隅に伝わるのに約32.8ミリ秒かかりますが、短編方向ではたったの14.7ミリ秒です。できれば、移動するソースやリスナーのアーリーリフレクションのパターンをダイナミックにリバーブで補間することが理想です。

エミッタ―（E）からリスナー（L）まで、壁を経由するアーリーリフレクションの2次元パターン

人工的なリバーブのスペーシャル表現の制約 

下図は、実際の音のスペーシャル特性を示すグラフです。簡単なリビングルームの録音ですが、音場が完全に拡散していないのが分かります。グラフは、アールト大学で開発したSpatial Decomposition Methodという技術を使ったものです。空間内のリバーブのスペーシャル動作を表しています。中心からの距離は、その角度から発せられた音の振幅を表します。色は、音エネルギーの進行を時間別に表します。この場合のスペーシャルパターンは比較的シンプルですが、典型的なビデオゲームのシーンでは、すぐにもっと複雑なものに発展します。例えば長い廊下の曲がり角に立った時は、反対側から発せられるエネルギーが少し遅れてくるはずです。バーチャルワールドを開発しながら日常的に遭遇する多くのシナリオで、明らかにリバーブは上手く拡散されていません。  

 

https://se.mathworks.com/matlabcentral/fileexchange/56663-sdm-toolbox

バーチャルリアリティにおける反射の位置

従来のリバーブの多くがモノやステレオ出力用に作成されて音の伝播の実際のスペーシャル特性を無視していますが、新たなパンニングアルゴリズムには、より複雑な空間情報が取り入れられています。バイノーラルパンニングは、音とリスナーの耳の角度関係によって使用すHRTFフィルターで決まり、到達時間や周波数特性が頭部の形状で変わる様子をシミュレーションします。これに伴い、リバーブもソースやリスナー位置、複雑な地形情報にもとづいた方向情報を表現すべきです。

まとめ

リバーブのアルゴリズムをスペーシャル表現や没入表現を備えたツールにまで発展させるきっかけが、今までありませんでした。リニア型の通常のメディアでは、静的な出力を調整するだけで充分でした。ところが現在、VR（仮想現実）やMR（複合現実）という新たなメディアプラットフォームが出現して、アルゴリズムを見直す必要が出てきました。没入感をリバーブで表現する上で最も大きな課題となるのが、ダイナミックな反射時間やスペーシャルキュー（空間を示す手がかり）を導入してポジションや部屋形状の変化に対応させることです。今後の講演会やブログ記事などで、最新のリバーブアルゴリズムを検証して、課題にどう対処しているのか、また今後のスペーシャルサウンドデザインにとって何を意味するのかを、探っていきます。

 

写真提供: Audiokinetic スペーシャルオーディオチームの写真 - Bernard Rodrigue