このホワイトペーパーでは、民間や教育機関の研究者たちの先駆的な取り組みを紹介し、自動車向けヒューマンマシンインターフェース（HMI）の強化と、ユーザーエクスペリエンス全体の改善のために、音を革新的な方法で取り入れた開発について説明します。また、ナビゲーションシステムや先進運転支援システム（ADAS）などの車載システムのデータを、サウンドキュー（音の合図）に変換して、複雑な運転状況でもより安全に運転できる環境を生む技術について検討します。

聴覚ディスプレイを確実に実現するための様々な技術的要素や、インフォテイメントHMI、安全、ガイダンスなど、いくつかのアプリケーションドメインを取り上げます。最後に、車両システムのソフトウェアスタックへ実際にインテグレートする際のソフトウェアのハイレベル要件を抽出します。

背景: 自動車の聴覚ディスプレイ

聴覚ディスプレイの詳細を検討する前に、まず基本的な用語の確認です。ソニフィケーション（sonification）とは、情報を提供する目的でデータを音響信号に変換するプロセス（アルゴリズムまたはテクニック）のことです。聴覚ディスプレイ（auditory display）とは、ソニフィケーションを利用するシステムのことですが、より広いとらえ方として、ユーザー、オーディオインターフェース（スピーカーやヘッドフォンなど）、現場の状況（バックグランドノイズやユーザータスクなど）も含まれます。

これを車内という条件で考えると、車載システムのリアルタイム情報から音を直接生成したり、ほかのオーディオストリームレンダリングに影響を与えたりして、ユーザーにリアルタイムデータの具体的な側面をダイナミックに変化する情報として提供することを意味します。この音響フィードバックにユーザーが反応して、適切な行動をとったり対応を変えたりすれば、それが車載システムから受信したデータに影響してフィードバックループが形成され、例えばユーザーの安全運転の習慣化などにつながります。

進化する車のヒューマンマシンインターフェース

自動車市場がコネクテッドカーやソフトウェアディファインドカーに移行しつつある中、車が孤立して閉鎖的な空間でなくなってきているのは明らかです。携帯メール、Eメール、ソーシャルネットワーク、天気予報、交通情報などが常に手元にある状況で、車載システムや、マルチメディアとナビゲーションに関連するアプリケーションとADASの組み合わせが急増して、ドライバーの注意を引こうと車内で多数の機能が競い合うことでしょう。

これらのシステムの大半で何らかの視覚的注目が必要な為、残念ながらドライバーの認知負荷がかなり増え、安全運転に影響を及ぼします。実際に、交通事故の78%は視覚的な注意を怠ったことが主な原因であり、未遂事故でも65%であると報告されています（米国運輸省道路交通安全局（NHTSA）, 2007）。

それでは、過度な視覚的負担を避けるために何ができるのでしょうか？答えは、タスクの一部を、認知能力に余裕のあるほかの感覚に転嫁することです。聴覚こそ、進行中の2次的な処理について1次的なタスクを妨げずにユーザーに情報伝達できる、効率的な形式です（Belz, 1999）。

「私達の五感は、それぞれが情報を受信して処理するための "チャンネル" だと考えることができます。そのチャンネルで、一度に通過できる情報量の上限が決まっています。」 (Auditory Display Wiki)

聴覚システムを理解する

聴覚ディスプレイを正しく設計する前に、まず聴覚システムの長所と短所の理解が必要です。

長所

視覚と比較して、聴覚システムは常にアクティブであり（睡眠中も）、特に前提条件はありません（視覚には光が必要）。聴覚的な認識のもう一つの強みは、視覚と違い、ユーザーの具体的な身体の向きや、視覚的な意識の集中などが不要な点です。

聴覚は周辺一体に対する感覚で、どの方向から音がきても、その場所や方向をかなり正確に把握できます。人間の進化の過程の証しかもしれませんが、私達の注意を引くには音が非常に効果的で、人類は常に耳で危険の到来を察知してきました。また、人間の聴覚システムは重要でない音を自然に除外できるので、ガヤガヤとしたり、音があふれたりする環境でも、重要な音の位置を特定して聞き取る能力があります。音は天然の注意喚起の方式なので、マルチモーダルディスプレイでオーディオ技術を使うアプリケーションも提案され、例えば複雑な視覚ディスプレイの中で肝心な部分に注目するように促したりします。

聴覚は、ほかの感覚（臭覚や味覚など）と比べて、極めて一時的です。刺激がなくなると、その音に関する知覚がすぐに消えるのです。聴覚はそれほど疲れを感じず、音は本来多次元であるため（ピッチ、ラウドネス、スペーシャルロケーション、音色など）、情報を簡単に何層にも重ねられます。

短所

ほかの感覚と同様に、聴覚も情報チャンネルとして使った場合のデメリットがいくつかあります。その限界を理解しておくことで、聴覚ディスプレイを設計する時に思わぬ落とし穴を避けられます。

音を理解するには当然、まず聞こえなければなりません。環境や同時進行する音声コミュニケーションからくる干渉音が、結果として期待される音のメッセージを隠してしまうこともあります。そのため推奨されるのは、様々な音を合わせて使う前に、例えば周波数、場所、音質などで音を分別して、聞こえづらくならないように合体したり正しく分けたりできるようにして設計することです。

人間は、数千種類の現実音を区別できても、抽象音に関しては記憶が制限されます。つまり、場面によって使用できる音の数の上限を設けることが推奨され、その音の数は5～8種類程度とされます (Jordan, 2009)。

人間の視覚を終了させるには目を閉じたり単純に他の方向を向いたりするだけですが、聴覚は簡単にオフにできないので、ある音を頻繁に使うとイライラしてしまうこともあります。優れた設計では、不快感を避けつつアラートなどの機能を持ったメッセージ音を維持します。

モダリティの選択肢と組み合わせ方

様々な研究で指摘されているのは、異なるモダリティが実は互いに補完し合うという事実です。多くの場合、伝えたいメッセージ（特にアラート）を複数のモダリティ（視覚、聴覚、ハプティックなど）にわたり強化した方が、まとまりのあるメッセージとしてユーザーに伝わり、正確に素早く理解される可能性が高くなります。

単一モダリティの場合では、それぞれのモダリティを、どのタスクまたは目的に使用するのかを理解することが重要です [Sanders 1993参照] 。サウンドデザインに緊急性を組み込むことは比較的簡単なので、聴覚のモダリティはすぐにユーザーの注意をひく必要のあるイベント（アラートなど）に適しています。聴覚ディスプレイは、時間重視の情報を伝達するシンプルで短いメッセージを中心にするのが良いと考えられます。

ソニフィケーションテクニック

よく使われる音

聴覚ディスプレイでよく聞く音は、いくつかのカテゴリーに分類できます。

最初に、オーディトリ―アイコンと呼ばれるタイプの音です。これは、レファレンス先の物理的オブジェクトとの関係が明確で、よく知られている音です。例えば、ほとんどのスマートフォンで写真を撮る時に聞こえるシャッター音は（もう物理的なシャッターなどないのに）、オーディトリ―アイコンのよい例です。この類のサウンドの利点は、ユーザーの習得がいらないことです。ただし設計上の柔軟性に限界があり（オブジェクトとの関連性を維持しなければならないので）、常にそのようなレファレンス関係が存在するわけではないのが、オーディトリ―アイコン採用のデメリットです (Stevens & Keller, 2004)。

聴覚ディスプレイでよく使われる2つ目のカテゴリーが、イアコン（earcon、視覚アイコンに対して、聴覚に訴えるアイコン）です。これらの音は抽象的（多くの場合は合成音）で、そのアプリケーション専用に設計でき、繰り返しのメロディーやリズムを単純なものから複雑なものまで、取り入れることができます。例えば、一般的なHMIフィードバックサウンドの全てがこれに該当して、タッチスクリーンとのインタラクション（ホーム、戻る、選択、決定、キャンセルなど）や、音声認識（リスニング機能のオン・オフ）などが含まれます。(Blattner, Greenberg, & Sumikawa, 1989)

もう1つの重要な音のカテゴリーに、音声フィードバック（通常はテキストスピーチ技術で実現）が含まれ、ナビゲーションや、その他求められる複雑な形式のユーザーガイダンスなどに使います。現場のエキスパート達はほかにも音のカテゴリーをいくつか考案しましたが、上述のものが自動車という分野で耳にする音の大部分に関係します。

スペーシャル聴覚ディスプレイ

人間は音の位置関係を正確に把握できるので、聴覚ディスプレイに3次元のサウンド配置アルゴリズムを取り入れれば、空間的な次元の情報を追加できます。例えば、音源定位キューをADASシステムと使用することにより、衝突回避のために車外の危険な位置を迅速に把握することができます。音のスペーシャル特性を利用して、車内の様々なシステムから出されるフィードバック音の位置を表わせば、ユーザーが今、相手をしているシステムがどれなのか（例えば、クラスターインストルメントなのか、ヘッドユニットなのか）を理解する手助けとなります。

アラート音に関しては、空間情報を取り入れることで音源定位の情報を提供できるだけでなく、ほかの音と区別しやすくなり、その信号の意味に合った位置から音を再生すればドライバーの注意を喚起しやすくなります (Jacko, 2012)。

車への応用例

HMIオーディオフィードバック

バックグランドで耳に入ってくる没入感現象としての音は、複数のサブシステムに統一感を持たせてまとまりのあるヒューマンマシンインターフェース（HMI）を提供するのに非常に適しています。単純に、複数の異なるアプリケーションに表現方法の共通する耳障りの無いフィードバック音を追加するだけで、より一体感のあるHMIユーザーエクスペリエンスが達成できます。

聴覚ガイダンスの事例

ナビゲーションシステムは、ドライバーに道順を教えるために音声合成（TTS）技術を頻繁に使用します。このような複雑な指示説明には音声の採用が理想的で、情報の認知を強化するためにパンニングも指示内容と一致させるべきです（例えば「左に曲がってください」は左側から聞こえるように）。効率的な聴覚ディスプレイを開発して、ドライバーとの重要なインタラクションを追加音で強調できます。例えば、ハンドル操作までの残り時間を継続的にフィードバックしたり、音源定位キューを効率的に活用したりすることで、道順情報をさらに明確に伝達できます。この拡張された聴覚的ガイダンスで提供される音のフィードバックを聞けば、ドライバーはナビゲーションシステムを見ることなく、どこで曲がるべきかを正確に判断できるはずです。高速で出口間隔が短い場合や複雑なラウンドアバウトがある場合などでは特に有効で、ナビゲーションタスクをかなり簡素化できるので、安全性も高まります。

同様に、車線ガイダンス情報や道路交通情報を具体的に設計された音響キューで提供して、過度に干渉せずエンターテイメントコンテンツと難なくブレンドするように設計すれば、ドライバーは常に目を道路から離さずに運転できます。

エンターテイメントプロセシング

開発されている1つの興味深いコンセプトとして、追加音の代わりに情報伝達に既存のエンターテイメントコンテンツを利用して、邪魔にならずに直感的に分かるようにすれば、ユーザーがこのようなシステムを簡単に受け入れられるようになるという考えがあります (Hammerschmidt, 2016)。例えばエンターテイメントコンテンツのフロントバックパンニングをドライバーが速度超過した時の通知に使えば、ユーザーが徐々に、より安全な運転習慣を身に付けられます。エンターテイメント信号の音質をわずかに劣化させれば（例えば高周波数を排除する）、より危険な状況を知らせることに使えます。同様の考え方でドライバーにエネルギー消費率の情報を伝えられれば、運転パフォーマンスの改善が促進されます。

アクティブセーフティアプリケーション

聴覚ディスプレイは、ユーザーガイダンスアプリケーションだけでなく先進運転支援システム（ADAS）など様々なアクティブセーフティシステムで重要な役割を担いますが、これは聴覚的な警報が視覚的な警報よりも人間の注意を喚起して引き付けるのに効率的だからです (Ho & Spence, 2005)。

衝突回避システムのリアクションタイム

異なる聴覚ディスプレイ信号を使った時のリアクションタイム（安全に関する重要な指数）の改善を調査した研究が、数多くあります。全体的な結論として、ドライバーの反応は、音を全く使わなかった場合に比べて一般的に100～200ミリ秒ほど速くなります。コリジョンワーニング（衝突警報）は、音声の方がトーン音よりも受け入れるのに時間がかかるので、素早く反応できるトーン音の方が推奨されます。

ADAS衝突回避システムの事例  

ブラインドスポットの警報システムでは、例えばインジケーターの方向指示表示に重なる聴覚ディスプレイで、追い越し車線（ブラインドスポット）に車両があることを聴覚的に知らせると、非常に効果が顕著です。ほかにスペーシャルロケーションを使えるシステムとして、レーンデパーチャー（車線逸脱）ワーニングやパークディスタンスコントロール（またはサラウンドビューアプリケーション）などがあります。

エンジン音の生成

長い間、内燃機関が一種の潜在的な聴覚フィードバックを自然と提供してくれ私達もそれを頼りに、歩行中に近づく車両に気づいたり、運転中に車の速度や加速度を感じ取ったりしました。このような聴覚フィードバックの多くは、エレクトリックドライブトレインの台頭と共に消えてしまいました。騒音や車内の快適性といった観点からはかなり魅力的ですが、同時に歩行者の安全やドライバーの環境意識など、新たな分野で課題が浮かび上がってきました。

車外音で人を守る（AVAS）

ある交通安全機関の発表によると、ハイブリッド車やEV車は歩行者との事故を起こす確率が37%、自転車との事故を起こす確率が57%高くなります (NHTSA, 2011)。対策として、多くの場所ですでに電気自動車にアコースティックビークルアラーティングシステム（AVAS）を搭載する規制が制定されています。これらのシステムに装備された外部スピーカーが、低速時に外部に向けて音を出して歩行者に警告します。これを行うには、まずリアルタイム情報（速度など）を車載システムから抽出して音を合成するインタラクティブアルゴリズムを稼働させてから、その車両モデル専用のサウンドシグニチャーを発信します。

快適な車内音

車両に対するユーザーの印象を形成する上で、音は重要な役割を担うので、電気自動車メーカー各社は車内の音生成テクノロジーを内燃機関が発した速度や加速度の音響フィードバックの代わりとして使い始め、その車種の要件に合ったサウンドシグニチャーでドライバーのエクスペリエンスを強化しています。

ソフトウェア要件

今回は車両環境における聴覚ディスプレイの応用方法を、いくつか取り上げました。これらのアプリケーションから、車両に正しく聴覚ディスプレイを統合するために共通する一連の技術要件を分析できます。

明らかに必要なのは、音合成ヒューリスティック（ループ、シーケンス、ボイス管理など）やDSPアルゴリズムを組み込んだ複雑なオーディオグラフを、ダイナミックにビルドすることです。組み込みシステムから提供され続けるリアルタイム情報のストリーミングを、オーディオレンダリングエンジンに送信するために、インタラクティブオーディオAPIが必要です。

メーカーがこのような新オーディオシステムを同業他社のそれと差別化するには、オーディオデザイナーが組み込みシステム内のエンジニアリングインテグレーションとサウンドデザインを、完全に切り離せるように、データ駆動型のシステムが必要です。車内チューニングと同様に、イテレーションサイクルを速める為、ワークフローを効率化するリアルタイム編集機能も必要となります。

最後に、このようなシステムのプロトタイプ化とシミュレーションを早い段階から組み込みプラットフォーム外でコンセプト開発することが必要になり、コンセプトを再実装せずに効率的に生産プラットフォームに移行する能力も求められます。

まとめ

車という条件で聴覚ディスプレイを実現するのに必要な新規要件に応えるには、自動車業界はこれまで同様の課題に取り組んできたほかの業界に目を向けるべきです。特にゲーム業界はインタラクティブオーディオ分野の先駆者として、15年も前からそのようなシステムを効率的に設計するためのソフトウェアツールやプロセスを開発してきました。

参考文献

• Auditory Display Wiki. (n.d.). http://wiki.csisdmz.ul.ie/wiki/Auditory_Display.
• Belz. (1999). A New Class of Auditory Warning Signals for Complex Systems: Auditory Icons.
• Blattner, M., Greenberg, R., & Sumikawa, D. (1989). Earcons and Icons: Their Structure and Common Design Principles.
• Eldridge, A. (2005). Issues in Auditory Display.
• Fagerlonn. (2011). Designing Auditory Warning Signals to Improve the Safety of Commercial Vehicles.
• Fung. (2007). The study on the Influence of Audio Warning Systems on Driving Performance Using a Driving Simulator.
• Hammerschmidt. (2016). Slowification: An in-vehicle auditory display providing speed guidance through spatial panning.
• Hermann. (2008). Taxonomy and definitions for sonification and auditory display.
• Hermann. (2011). Sonification Handbook.
• Ho, C., & Spence, C. (2005). Assessing the Effectiveness of Various Auditory Cues in Capturing a Driver's Visual Attention.
• Jacko, J. (2012). Human Computer Interaction Handbook: Fundamentals, Evolving Technologies, and Emerging Applications.
• Jordan. (2009). Design and Assessment of Informative Auditory Warning Signals for ADAS.
• Lundqvist. (2016). 3D Auditory Displays For Driver Assistance Systems.
• Moreno. (2013). The Value of Multimodal Feedback in Automotive User Interfaces.
• Nees. (2011). Auditory Displays for In-Vehicle Technologies.
• NHTSA. (2006). The Impact of Driver Inattention On Near-Crash/Crash Risk.
• NHTSA. (2007). Analyses of Rear-End Crashes and Near-Crashes in the 100-Car Naturalistic Driving Study to Support rear-Signaling Coutermeasure Development.
• NHTSA. (2011). Incidence Rates of Pedestrian And Bicyclist Crashes by Hybrid Electric Passenger Vehicles, .
• Sanders. (1993 ). Human factors in Engineering and Design.
• Stanton. (1999). Human factors in auditory warnings.
• Stevens, P., & Keller, C. (2004). Meaning from environmental sounds: types of signal-referent relations and their effect on recognizing auditory icons.