前回の記事The Challenges of Immersive Reverberation in VR では、バーチャルリアリティで没入感のあるリバーブレーション（リバーブ）表現がなぜ難しいのかを説明しました。今回は、従来、現在、そして最新のリバーブテクニックを幅広く詳細に見ていきます。具体的には没入感やスペーシャル（空間）表現の観点から、様々な手法をおさらいします。

前回のまとめ

人工のリバーブは、オーディオ信号に空間的な広がりを加えるためのオーディオエフェクトの1つです。オーディオ信号は、音を減衰させたレコーディングスタジオで録音するのが一般的です。部屋の中の音の伝播の様子を部分的にシミュレーションすれば、音のある空間として聞こえる感触をリバーブエフェクトで制御できます。効率化のために、普通はシミュレーションする際に音響現象を大幅に簡素化しています。リバーブのアルゴリズムが開発された当初は没入感という要件はなかったので、多くのアルゴリズムでspatial cue（空間を示すキュー、手がかり）が省略され、出力はチャンネル毎に調音できてもそれ以外はスタティック（静的）となります。つまり、これらのアルゴリズムでインタラクティブ環境に対応するのは、難しい面があります。

 

スペーシャルオーディオ対応のWwiseの新機能やリリース予定の機能をテストする、Audiokineticのスペーシャルオーディオチーム

あらゆる方向から発せられる音をシミュレーションできる高度なオーディオ出力システムがVRなどの没入感あふれるプラットフォームで標準となり始めた今、このような最新テクノロージーでリバーブをどう表現するのかを、再考すべき時がきました。個々の反響を基にしたspatial cueは、仮想ジオメトリの音として、時間的にも方向性的にも納得できる音の伝播経路を通るべきです。例えばヘッドフォン再生の場合は、直接音にHRTF（Head Related Transfer Function、頭部伝達関数）という周波数特性やタイムディレイを再現するフィルター群を適用して、異なる方向や深さから耳まで到達する音のバイノーラル性を真似ることが、一般的な手法となっています。つまり理想のスペーシャルリバーブレーターは、個々の反響音、または少なくとも一部の反響音に、スペーシャル情報を十分に持たせ、1つ1つの反響に対してこのフィルター処理をかけるべきです。またリバーブのアルゴリズムも、音源やリスナーが複雑な形状の空間内を動き回るのに合わせて転調させなければなりません。最後に、このように新たに必要となる知覚的なキューによって、今までのリバーブアルゴリズムで慣れ親しんだような変化に富んだ表現力が犠牲となってはいけません。

驚くほど内容の濃いリバーブエフェクトが既に豊富に出回っている以上、今後も長い間、メディア制作の現場で重宝されることは間違いありません。完全に置き換えようとするのではなく、仮想ジオメトリからspacial cueを得られるエフェクトをサウンドデザイナーのツールボックスに入れることが目標となります。これを念頭に、今日頻繁に使われているリバーブの裏にあるリバーブ技法をいくつかおさらいして、spatial cueにどう利用できるかを考えます。

 

物理的なリバーブレーション

1930年代に導入されたエコーチェンバーは、スタジオ録音に人工リバーブを加える最初の試みでした。物理的な部屋を使い、ドライサウンドを単純にラウドスピーカーから再生して、マイクを使って再び録音しながら部屋のリバーブを捉える手法でした。部屋といっても、フラッターエコーを防ぐために平行壁のない作りとする必要がありました [5]。空間の物理的特性に制約されるため、リバーブを調整するには部屋の音響を変更しなければなりませんでした。そのためには、カーペットなど異なる素材を足すことでエフェクトの周波数特性とリバーブタイムの双方を変化させました。また、マイク位置を変えてドライ対ウェットの比率を調整することもあり、のちにマルチバンドイコライザーがウェット信号の周波数特性を補正するためによく使われるようになりました。当然、コストの高さや移動できないことが、このエフェクトの制約条件となりました。とはいえ本物の部屋で実現する音の伝播ほど自然に聞こえるリバーブを達成するのは難しいのです。エコーチェンバーが1970年代までよく使われ、現存する施設さえあるのも、このためでしょう。

 

平行壁のないエコーチェンバー [1]

  

 

ちょうど同じ時期に、スプリングリバーブ、そして続いてプレートリバーブが導入されました。これらも自然な音伝播を活用するもので、サウンドを狭い閉ざされた物理的空間に通します。鉄板やバネを媒体に音エネルギーを伝え拡散させます。音は金属を経由して伝達され、部材の端まで到達して、空間の場合と同じように前後へ反響します。このような機器は、密度の高い金属の方が音速がかなり早くなるという特質を上手く利用しています。例えば、空気中より鉄中の方が音速は20倍ほども速くなり、およそ6,096 m/秒（空気は340 m/秒）となります。また鉄の減衰特性は、部屋で予想されるリバーブ時間と似ています。これらの要素のおかげで、かなり小規模なユニットでも密度の濃いエコーをつくり出せます。また、独特の特性も有しています。例えば異なる周波数の音は、鉄内で異なる速さで伝わりますが、これを分散と呼びます。聞き取れる程度の小さな音の周波数チャープがリバーブ内に発生しますが、これは今では音楽制作で好まれるアーティファクトとなっています。エコーチェンバーを使った最初の音楽レコーディング [2][3] 

スプリングリバーブの周波数特性 [4]

 

 

モジュラーシンセサイザーのスプリングリバーブ

 

スペーシャル（空間表現）という観点からいうと、物理的なリバーブは、理想の方式とは到底言えません。それでも、可能性を検討してみましょう。コンテンツをバーチャルスペースを真似たスペースにストリーミングして、リスナー毎にスペースを1つ用意して、ラウドスピーカーがサウンドソースを追って動くようにして、バイノーラルマイクをリスナーのポジションや方向を表すように移動させることになります。ある程度のレイテンシは発生すると考えられ、かなり実用的でない面もありますが、空間化された環境のリバーブを理解する上で論理上の基準点となります。

自然でリアルなサウンド  演算が不要

正確な音響特性を有する物理的ユニットの必要性   インタラクティブでない 調音が困難

 

ディレイを使った方式

音楽制作の進化と共に、リバーブの方式が徐々に電子機器によるものに変わりました。ディレイとは信号を格納して少ししてから再生することができる継続的なメモリのことで、デジタルの世界でディレイラインと呼ばれます。最も単純な形式のディレイリバーブは、出力をディレイの入力に戻し、ディケイするエコーを連続して作り出します。一般的に、ディレイの長さや、ディケイを調整する減衰関数の一部などを、制御できます。ディレイを使ったリバーブユニットとして最初に出た商業機器の1つが、Roland Space Echoです。信号を磁気テープに録音して、調整可能なディレイの後に再生します。

  

 

Roland Space Echo - RE - 201

 

エコーの密度を上げるために、ディレイの出力をユニットに返してディレイを再循環させることもできます。また、複数のディレイを合わせることもできます。並行に並べて個別にコントロールしたり、連続に並べてエコーの密度を迅速に増加させたりできます。

 

このような種類のリバーブでは、システムの周波数特性を制御することが難題の1つです。理想的には異なる周波数のものが他のものよりも早く減衰することで、部屋の中の様々な材質の、周波数によって吸収率が変わる状況を、再現すべきです。しかし、オーディオ信号の近くでそれ自身をコピーすると、音の追加の性質のためコムフィルターが作成され、ディレイの長さに基づいて一部の周波数が減衰することになります。

 

長年の研究で様々な信号処理技術が開発され、出力の音色のテキスチャを制御しながらもディレイが使えるようになりました。近代の人工リバーブの先駆者であるManfred R. Schroederは、オールパスという新種のカスケードフィルターを使ったリバーブレーターの設計を発表しました。これらのフィルターは、信号を小さなディレイと共にコピーしても、元の信号の全周波数を保持できるという特性があります。リバーブレーターの周波数特性が別途制御できるようになり、革新的でした。これを発端に今日も使われている人工リバーブレーターの多くが開発され、様々なフィルターやディレイラインを自由に組み合わせてリバーブエフェクトがつくり出せるようになりました。

 

マルティチャンネルのディレイネットワークは、Gerzonによって1970年代に最初に導入されました。ディレイネットワークは1990年代初頭に音響のパイオニアであるJean-Marc Jotによって更に開発され [6]、ディレイリバーブとして最も人気の高い仕組みの1つであるFeedback Delay Network (FDN) に発展しました。元々は複数チャンネル向けの信号を同時に出せるデザインを作成することが目的でした。また、複数の再循環ディレイやトーン制御のデザインを効率化することもできました。このデザインはマルチチャンネルの観点から、音のポジションをローカライズしませんでした。その代りに各スピーカーに微妙に異なるオーディオ信号を送ることで、様々なスピーカーの同じ信号を位相をわずかにずらして再び組み合わせる時に発生する、コムフィルターのアーティファクトを最小限に抑えました。

 

今でも人気の高いFDNアルゴリズムの1つが、Wwise RoomVerbです。FDNの既知の制限の1つは、エコーの量を十分に蓄積するまで最初に時間がかかってしまうことです。これに対応するためにRoomVerbは、様々な部屋のアーリーリフレクション（初期反射）の既定パターンを使ってエフェクトを補充することもできます。これらは単なる複数の静的なエコーパターンであり、最初にアルゴリズムがディレイを自然に再循環させている間により密度の高いエコーを提供するものです。 

没入感という観点では、ディレイに基づくリバーブレーターはやや制限があります。数多くのエコーを蓄積するために導入された効率化の方式は出力をシステムの入力に送るため、個々の場所や時間を確定することができません。エコーが蓄積されるにつれ、それぞれを個別にとらえて位置を理解する人間の知覚的な能力が失われてしまうので、この制約は許容範囲内でしょう。実は密度が高い場合は信号を間をあけずに繰り返すと、融合して拡散されたテキスチャーとなり、レイトリバーブレーションまたは拡散リバーブレーションと呼ばれるものになります。つまり、一番の問題はアーリーリフレクションで、まだ個々を個別に聞き取れるほど密度が低い時です。これは鏡面反射と呼ばれます。詳しくは、今後の記事で説明します。

 

CPU負荷が低い 調音可能 異なるフレイバーが多数ある。 レイトリバーブレーションの納得できる表現となる。

スペーシャルキューがない。 インタラクティブでない。 使用するディレイラインの数が不十分だと金属的な音になってしまう。

 

部屋のインパルスレスポンスのコンボリューション

コンボリューションを通して、部屋のリバーブを効果的に録音して、あらゆる入力信号に適用できます。コンボリューションは2つの信号を合わせて3つめの信号を形成する数学的処理です。コンボリューションリバーブの場合は、ドライ信号を空間の録音済みインパルスレスポンスとコンボリューションして、結果としてその信号を全てのインパルス用に効果的にディレイ、ウェイト、コピーを行います。信号処理では、信号にインパルスを適用した時にシステムから出てくる信号のことをインパルスレスポンスと呼びます。ルームインパルスレスポンス（RIR）の場合は、部屋のエコーのパターンを録音する、ととらえることができます。比較的静かな部屋さえあれば、通常の録音機材で簡単に収録できます。RIRが実際の空間での録音からくるものなので、このリバーブ手法はかなり複雑でリアルなリバーブエフェクトを表現します。長いRIRは長いリバーブテールを示し、必要となる演算力やメモリが増えます。品質の良いディレイを使ったリバーブレーターには多くのディレイラインが必要なので、コンボリューションは短いリバーブに効率的に使え、ディレイを使ったリバーブは長いものに適切なソリューションだと一般的に考えられています。両者が今でもビデオゲームの制作現場で使われているのは、このためです。

 

 

インパルスレスポンスのグラフ [7]

 

インパルスレスポンスを録音するためによく使われる方式は、アンビエントノイズが少ない部屋にマイクをセットして、異なる周波数で部屋を活性化させるような、過渡信号の多いサウンドを大音量で録音することです。これには、大きい拍手音や風船の割れる音などが良く使われます。周波数スイープ（frequency sweep）を使って全ての周波数を確実に網羅することもできます。この場合は、あとで録音内容からインパルスレスポンスを再構築することができる簡単なプロセスがあります。インパルスレスポンスの録音方法については、2012年にVarun Nairが詳しい記事を書いています [8]。今では、Audioease [9]などインパルスレスポンスの充実したライブラリがあるので、空間を物理的に録音する必要は必ずしもありません。

 

コンボリューションリバーブが提供する可能性の一例として、最も反響する場所として知られているところのインパルスレスポンスを使って、次の録音が行われました。普段は一般公開されることがなく、色々な楽器を自由に弾いて録音することなど考えられないような場所です。

スコットランドの古いオイルタンクの中が、世界最長のリバーブ[10]

  

 

その本質からして、コンボリューションリバーブで提供されるリバーブのパターンは完全に静的です。ディレイ方式に似て、この方式も空間とのインタラクティブなやり取りに対応していません。長い廊下の真ん中を歩く音が、曲がり角の近くにいる時と同じに聞こえてしまいます。音源対リスナーのポジション毎に、それぞれのインパルスレスポンスを録音することは可能ですが、生成されるデータ量が、多くの適用例で許容範囲をすぐに超えてしまいます。

 

最近までインパルスレスポンスの録音はモノやステレオのマイクセットアップで行うことが一般的で、ランタイムに静的な空間化（spatialization）が得られました。録音時に左壁からくるエコーは、コンボリューション後に必ず左スピエーカーから出ます。しかし空間的オーディオデータを録音したり伝達したりするためにアンビソニックスを使う傾向が強まると、アンビソニックスマイクを使ってインパルスレスポンスを録音することも可能となりました。全方向からの音の伝搬が録音できるので、あとからリスナーの向きをインタラクティブに回転できます。これは、リバーブの空間的表現を大いに前進させるものです。とはいえ、重要な空間上の制約の1つが未解決のままで、つまりマイクやサウンドソースの録音中の位置が固定されているので、再生中にインタラクティブにそれらを動かすことができません。複数のリスナー・エミッターのポジションを録音しない限り、制限されます。

 

コンボリューションリバーブは実際の物理的空間以外にも適用できます。また、インパルスレスポンスは波の伝播を予測する様々なテクニックを使ってシミュレーションすることもできます。詳しくは、次の記事で説明しましょう。

自然に聞こえる 空間を表現できる（アンビソニック、回転）

インタラクティブでない（リスナー・エミッタ―のポジションが静止している） 場所によっては、良好な録音条件でアクセスすることが難しい

 

信号処理の観点から従来のリバーブアルゴリズムについてさらに知るには、Välimäki他のFifty Years of Artificial Reverberation [4] に詳しくまとめてあるので、お勧めです。

現在、ビデオゲームで最も使われているリバーブレーターの2つが、ディレイに基づいたものとコンボリューションリバーブレーターですが、どちらもインタラクティブなリバーブをレンダリングするための明解なソリューションが示されていません。リバーブレーションエフェクトに対して情報を送り、空間化を図るための手法を、新技術を通して探る必要があります。 次回は、最近のリバーブレーション技術に着目しながら、音の伝播をより高度なレベルで表現する方法を検証します。また、コメントや質問がありましたら、できれば今後の記事で取り上げるようにしますので、私に送ってください。

Footnotes: 

参考文献: 

[1] https://www.gearslutz.com/board/attachments/so-much-gear-so-little-time/306216d1345733523-sinatras-vocal-chain-chamber.jpg
[2] http://www.harmonicats.com/Press_circa_1947.html
[3] http://www.uaudio.com/blog/emt-reverb-history/
[4] V. Välimäki, J. D. Parker, L. Savioja, J. O. Smith, J. S. Abel, “Fifty years of artificial reverberation”, IEEE Transactions on Audio, Speech and Language Processing, vol. 20, no. 5, pp. 1421–1448, 2012年7月. URL: https://aaltodoc.aalto.fi/bitstream/handle/123456789/11068/publication6.pdf
[5] http://recordinghacks.com/2011/06/04/flutter-echo/
[6] https://ccrma.stanford.edu/~jos/cfdn/Feedback_Delay_Networks.html
[7] V. Välimäki, J. D. Parker, L. Savioja, J. O. Smith, J. S. Abel, “Fifty years of artificial reverberation”, IEEE Transactions on Audio, Speech and Language Processing, vol. 20, no. 5, pp. 1421–1448, 2012年7月. URL: https://aaltodoc.aalto.fi/bitstream/handle/123456789/11068/publication6.pdf
[8] http://designingsound.org/2012/12/recording-impulse-responses/
[9] https://www.audiokinetic.com/products/wwise-add-ons/audio-ease/
[10] https://acousticengineering.wordpress.com/2014/08/01/acoustic-analysis-of-playing-the-worlds-longest-echo/

写真提供: Audiokinetic スペーシャルオーディオチームの写真 - Bernard Rodrigue