AppAnnie2021のモバイルゲームに関するレポートによると、ソーシャルインタラクション要素の強いバトルロイヤル、シューティングゲーム、MOBAがジャンルとして最も人気があり、プレイ時間が伸びている主な原因になっています。『PUBG』、『CALL of DUTY』、『FreeFire』などの人気ゲームにおいて音声インタラクションはすでにプレイヤーにとって習慣になっており、新しいソーシャルゲームRoblox、Among usもZ世代に大人気です。

マルチゲームとソーシャルインタラクションが主流になると、音声とシーンの融合度合いによってプレイヤーに最大限に「臨場感を提供する」ことになりますが、難しいこともたくさんあります。

Wwise+GMEソリューションでは、ゲームが手軽にボイスチャットを受信するようにサポートするだけではなく、没入型ゲーム体験を最大限に向上させます。ここではソリューションのメリット、テクノロジーの実現、音声の利用方法の3つの段落でソリューション独自の魅力を紹介します。

Wwise+GMEソリューションとは。

Game Multimedia Engine（GME）は、ゲームシーンをカスタマイズするワンストップ音声ソリューションであり、複数のプレーヤー間でのボイスチャット、音声情報、音声文字変換、音声分析などの機能を提供します。開発者はAPI呼び出しでGME SDKにアクセスする必要があり、それによってゲーム内で音声機能を実現します。

従来の独立した音声SDKソリューションでは、アクセスプロセスがゲームサウンドと独立して設計されています。そのため、Wwiseオーディオエンジンを使用して開発したゲームは、Wwise+GMEソリューションで音声へのアクセスをゲームサウンドの設計過程に組み込むことができます。Wwiseの強力なオーディオ処理機能とオーディオ制御機能を音声に使用でき、音声品質の向上とともに、ゲームサウンドに更に豊富な音声利用方法の設計スペースを提供します。この基本プロセスアーキテクチャは次のとおりです。

上図では、GMEのプラグインがローカルの送信待ち音声（マイクで録音したローカルプレイヤー音声）とネットワークから受信した音声（ローカル再生待ちの他のチームメイトの音声）をすべてWwiseの処理パイプラインに送信し、GME音声ストリームがWwiseの基本音源として抽象化されて処理を行っています。このような斬新な設計であるからこそ、Wwise+GMEは従来の独立した音声SDKソリューションと比較して独自のメリットがあります。

Wwise+GMEソリューション独自のメリット

1. 音声とゲームサウンドの統一設計：

Wwiseプロセスでは、GME音声のオーディオストリームがWwiseのオーディオパイプラインにシームレスにアクセスします。音声にアクセスするプロセスはWwiseのオーディオ設計パイプラインと深く融合し、音声SDKへの単独アクセスによりオーディオの競合が発生することを回避します。ゲームプログラム端末では、GME音声の送受信操作に対して一つずつのWwiseイベントのトリガーとして抽象化されます。これらの操作はWwiseの標準開発プロセス体験と同じで、以前のAPI呼び出しのアクセス方式と比べてより直接的で、イメージしやすいです。

2. マイクオン後のゲームサウンド品質低下と音飛びの問題を効果的に解決：

従来の独立した音声SDKソリューションについて、マイクをオンにした後のゲームサウンド品質低下、音飛び、音声のかすれが以前は業界の弱点であり、特にマイクをオンにするとゲームのサウンド音質がすべて「電話音質」（低サンプルレートのシングルサウンドチャンネル信号）になり、プレイヤーのゲーム体験に大きく影響していました。しかし、Wwise+GMEはモバイルのマイクをオンにした後の音量タイプの切り替わりによって発生するサウンド品質低下の問題を効果的に解決しました。マイクをオンにした後の音質が大幅に向上し、楽しく会話をしながらでも元々のサウンドを維持でき、聞き分けることができます。

3. 利用方法のアイデアが無限に湧く強力な設計機能：

Wwise+GMEソリューションではゲーム音声の利用方法に非常に大きな設計スペースを準備し、音声ストリームをWwiseバスにすべて送るため、Wwiseの豊富なサウンド処理および制御を音声に使用でき、かつすべての音声ストリームをカスタム処理できます。それにより、ゲーム中の没入感と面白さを向上させて、プレイヤーのやり取りに「違和感を出さない」ようにします。

テクノロジーの実現

すべてのプレイヤーにとって、ボイスチャットは主に2つのオーディオストリームリンクに関わっています。1つはアップリンクで、ローカルマイクで自分が話す声をキャプチャし、サーバーによってリモートのチームメイトに分配されます。もう1つはダウンリンクで、サーバーからすべてのチームメイトの音声を受信し、ミックス後にローカルの再生デバイスから再生されます。

アップリンク：

プレイヤーのローカルのチャット音声ストリームはGMEキャプチャプラグインによってWwiseエンジンに送信され、Wwiseが提供する豊富なオーディオ処理機能によって、ゲーム端末がプレイヤーのいる実際の環境と要求に基づいて音声ストリームを処理できます。例えば、リバーブやボイスチェンジ処理などです。現在プレイヤーのキャラクターが教会にいると仮定した場合、処理後の教会のリバーブ付きの音声ストリームはGME送信プラグインによってサーバーに送信され、更にリモートのプレイヤーに送信されます。また、ゲームにボイスチェンジを設計した場合、リアルタイムボイスチェンジアルゴリズムによって処理された音声ストリームがリモートプレイヤーに送信されます。

アップリンク処理プロセス

ダウンリンク：

アップリンクの単路ローカル音声ストリームと比較すると、ダウンリンクは通常すべてのチームメイトのN路音声ストリームを受信し、これらの音声はGME受信プラグインによってWwiseエンジンに伝送されます。また、ゲーム端末は相対的なローカルプレイヤーの位置、距離、障害物ブロックの有無などの、それぞれの受信音声が対応するプレイヤーのゲーム内での実際のシーンに基づいて、対応するオーディオ処理を行い、処理後のデータはWwiseでミックスした後にローカルデバイスで再生されます。具体的なゲームシーンでは、例えばチームメイトAがローカルプレイヤーの左前にいる場合は左前から送信されたチームメイトAの音声が聞こえて、チームメイトBが岩石の後ろにジャンプすると岩石に阻まれ屈折されたチームメイトBの音声が聞こえて、チームメイトが近づいたり離れたりすると対応する音声も増幅したり減衰したりします。

ダウンリンク処理プロセス

ゲームシーンに基づいて処理されたこの音声は、従来の独立した音声SDKのように「音声ミーティング」のようなゲーム体験のみを提供するのではなく、音声体験をゲームシーンと融合した没入型音声体験という更に高いレベルに引き上げました。以下のビデオではWwise+GMEソリューションの基本使用方法を説明しています。携帯電話でDemoビデオを確認する場合は、バイノーラルテクノロジーを使用しているため、イヤホンを装着して視聴する必要があります。

ビデオ内であなたは第一人称の視点であり、他のチームメイトを表す対面のグレーのロボットがあなたとGMEで話すと、3D、ボイスチェンジ、リバーブなどがボイスチャット処理に使用されます（ビデオ内の音声はすべてリアルタイムで録音してリモートプレイヤーに送信した音声であり、後から合成して作られたものではありません）

（再生をクリック。Demo内では両耳の仮想サウンドフィールドテクノロジーを使用しているため、 イヤホンを装着して最良の効果を体験する必要があります）

様々な音声利用方法

Wwise+GMEソリューション独自の設計により、音声がゲームサウンド設計の一部として可能になります。ここで筆者が考える、使用する可能性がある音声処理を挙げていきます。様々な利用方法がサウンドデザイナーによって作られることを期待します。

環境音声または伴奏音の送信：

Wwise+GMEはプレイヤーの音声を送信する機能を提供しているだけでなく、他のオーディオストリームを音声サーバーに送信する機能も備えています。この機能の最もわかりやすいユースケースはカラオケです。ゲームで言うと、次のようなゲームシーンを仮定します——プレイヤーのゲーム内のキャラクターの位置で雨が降っているか風が吹いており、その状態でプレイヤーがチームメイトと通話している場合、没入型の体験としては雨または風の音を適切に音声にミックスする必要があります。もちろん他のユースケースもあります。例えば、プレイヤーのゲームの経過に基づいてサウンドEmojiを送信し、音声の面白さを向上させます。

シミュレーション音声の反射や回折などの処理：

没入型の音声体験は、音声のレンダリングとゲームの実際のシーンを合わせて考えます。本文の前に言及した品質、減衰、ボイスチェンジ、リバーブ、および基本的な3Dポジショニング処理は最初の段階の処理です。シミュレーションゲームシーンにおける話し手と聞き手の音声伝送ルートをより良好にするために、Wwiseが提供するモデルの反射、回折、オクルージョン、ブロックと同様にチームメイト間の音声の処理に使用できます。これらの処理の効果こそがメタバース（Metaverse）で追求される音声の究極の体験です。

人物の性格と状態の処理：

ゲーム音声の面白さを向上させるために、プレイヤーのゲーム内でのキャラクターと状態の変化に応じて、その音声に対して特定の設計のDSP処理を行うこともできます。例えば、ゲーム内のプレイヤーが相手から攻撃された際に音声に歪み、遅延、バイブレーション処理のいずれかが出るようにしてプレイヤーの苦痛の状態を表します。また、相手を倒すかアイテムを拾う場合に音声に対してハイパスフィルタまたは音声アクセラレーション処理を行い、それによってプレイヤーの興奮レベルを表したりします。

サイドチェーンの処理：

サイドチェーンはミックス音を作る際に必要不可欠な処理方法であり、信号が他の信号を制御するというのが基本原理です。ゲーム内への音声追加機能はゲームにおけるソーシャルな属性を強化するためであり、音声をはっきり聞き手に伝える必要があります。プレイヤーが話す際、ゲームサウンドのミックスの焦点はゲーム自体の音声ではなくボイスに合っていなければならず、これはラジオ放送局が行う手法です。DJは話す際に再生している音楽の音量を下げて、話し終わってからまた音量を戻す必要があります。Wwise+GMEソリューションは、音声ストリームをWwiseバスにすべて送ることでこのような処理をゲームシーンでも可能にしています。例えば、受信した音声の箇所にWwise Meterを設定してから、このMeterの値に基づいて他のオーディオの音量をアクティブ制御します。

以下のこのビデオはWwise+GMEの様々な機能を説明するDemoビデオであり、例えば音声の反射、ブロック、サイドチェーンなどのGME音声に対する処理を説明しています。ビデオは第一人称、第三人称、俯瞰図の視点を説明しており、チームメイトを表す緑のロボットがあなたとGMEで話すと、ロボットのいる位置と環境の変化に伴って対応する処理（処理の詳細字幕に説明あり）が音声に加えられます。このように処理されたボイスチャットを聞くとその場にいるような感覚になります。また、ビデオ内の音声はすべてリアルタイムで録音してリモートプレイヤーに送信した音声であり、後から合成して作られたものではありません。

（再生をクリック。Demo内では両耳の仮想サウンドフィールドテクノロジーを使用しているため、 イヤホンを装着して最良の効果を体験する必要があります）

総括

オーディオエンジンミドルウェアWwiseとゲーム音声ソリューションGMEの2つの製品はそれぞれ異なる角度からゲーム品質を向上させることができます。Wwiseオーディオエンジンはゲーム内のインタラクションオーディオの開発効率とゲーム内の音声体験を大幅に向上させます。GMEはゲームにおけるソーシャルな属性を強化し、それによってゲームプレイヤー同士のつながりも強くなります。オーディオエンジンWwiseがゲーム音声ソリューションGMEと組み合わされたとき、両者が一緒になることで必然的に1+1=2以上の効果が生まれます。これらの融合ソリューションWwise+GMEがゲームサウンドデザイナーの強力なツールになり、ゲーム内において最も素晴らしく最もリアルで最もアイデアが豊富な音声が作り出されることを期待します。