はじめに
ミライセンスの香田です。私はハプティクスの研究開発・事業開発を行うミライセンスの代表をしています。
ハプティクスについてはモバイル機器・車載・ゲームなどへの実装も増え、展示会での露出や記事に取り上げられる機会も増えてきています。ただしハプティクス編集がサウンド編集の延長で語られていることも多く、ハプティクスについての理解を深めてもらう目的もありこの記事を書いています。
このブログ記事ではハプティクスとはどういうものか、特にゲームにおいてどのように実装して行けばより良いハプティクスを作成できるかを、実際に弊社のハプティクスデザインツール（AMPTIX）とWwiseとの連携で手軽にインテグレートする手順をご紹介したいと思います。
目次
ハプティクスとは
なぜハプティクスが必要か
我々は何者か・どこを目指しているか
リアリティデバイス
AMPTIXを使ってリッチなハプティクスを作ってみよう
WwiseとAMPTIXの連携機能のご紹介
タイムライン再生手順のご紹介
RTPC再生手順のご紹介
最後に
ハプティクスとは
なぜハプティクスが必要か
今日のゲームの進化はすさまじく実物と見まがうほどのグラフィック、没入感の高いサラウンド音楽が一般的になってきています。翻ってハプティクスはどうでしょうか。ハプティクスとは一般的に利用者に力、振動、動きなどを与えることで皮膚感覚フィードバックを得るテクノロジーの事です。ゲームの世界ではコントローラの単純な振動から始まってきた歴史があります。その頃によく議論になっていたのは「コントローラの振動？ゲームに集中できないのでOFFにしてるよ。」とか「あってもなくても ゲーム性に大きな違いはない」という、いまいち受け入れられていなかったように思います。
昨今コントローラの性能が上がるにつれ、徐々にリアルなハプティクスに対する世間の受け止め方も変わってきていると感じますが、リアルな振動はどう作ればよ いのかというノウハウはまだ十分溜まりきっていない状況だと思います。
我々はハプティクスを主に研究・開発している企業として、この変わりつつある世論に対し大きなクサビを打ち込みたいと思っています。クリエイターが直観・感覚をフル動員してやりたいことがそのまま実現できるハプティクスツールの提供を目指しています。
「ハプティクスな しのゲーム？つまらなくて面白くないよね。」という世界を一緒に作っていきましょう。
我々は何者か・どこを目指しているか
我々ミライセンスはハプティクス専門の研究開発型ベンチャーとして世に出てきました。現在は株式会社村田製作所のグループ企業としてハード・ソフトの両面からよりリアルなハプティクスの社会実装活動に邁進しています。
ここで少しハプティクスの歴史に触れてみたいと思います。学術的な側面をみるとハプティクスはすでに 数十年の研究成果があり、人類はすでに触覚に関する大量の研究成果を得ていると言えます。
出典： https://gendai.ismedia.jp/articles/-/68269
一方で1980年代のVRへの応用から広く応用開発が進むものの 、汎用的な技術開発・大衆化はできて いないと考えられます。
ハプティクスの流派はいくつもありますが、大きく分けると「現実をそのまま再現するもの：リアルデバイス」と「本当ではないが現実のように感じられるもの：リアリティデバイス」の2つの流派に分かれます。
［リアルデバイスの例］
出典： https://www.dextarobotics.com
［リアリティデバイスの例］
リアリティデバイス
ことゲームに応用することを考えた場合、前者の「現実をそのまま再現する」とすると、ゲームセンターのシューティングゲームのように、実際に銃を打ってその反動を楽しむといった大規模な汎用性が乏しいものになりがちです。
後者の「本当ではないが現実のように感じられる」は、コントローラは同じ物を使いつつそれぞれのゲームが違った感触を作り出していくことになり、汎用的なゲームにも親和性が高いアプローチになります。
我々は後者のアプローチ、すなわち「リアリティデバイス」の探求を行っています。
リアリティを追い求めるリアリティデバイスは、旧来の「リズム（単周波数）型」から「リッチ型（広帯域型）」へ変わりつつあります。
我々の研究成果とも絡みますが、単調な単一周波数の皮膚への刺激は「振動している」というたんぱくなものですが、リッチ型が生み出す非線形の波形で刺激すると単に振動しているというよりは「なにかの感触に似ている」と知覚するようになってきます。
弊社としてはまだまでリッチ型のハード面の性能は発展途上にあると感じており、さらにリッチなデバイスを使って
より高度な感覚を呼び起こすことを最終目標としています。
AMPTIXを使ってリッチなハプティクスを作ってみよう
エレキギターを弾く場合を考えてみます。
アンプやエフェクタにつなぎ、よりリアルな音を作っていきます。もうちょっと歪ませると、もう少しクリアな音に…といったように、音の場合は実際に波形を見つつ、音を聞きながら理想の音に仕上げていくという作業を行っていくことになります。
一方ハプティクスの場合はどうでしょう。音声を使ってAudio Hapticsを作ってみるとしましょう。
まず思いつくのは効果音にローパスフィルターをかけて低音成分を抽出し感触とするといったものです。このアプローチはツールが何もない場合は悪くありませんが、実際はもこもこした感触（単純にブーンとなるだけの感じ）になりがちです。ここからさらにリッチな感触にしたいが、そもそも感じたことのない感触はどうやってつくっていくか？作れるのか？偶然面白い感触が作れるかもしれませんが、地道な試行錯誤が発生します。波形をどう歪ませれば良いか？高周波成分をちょっと付け足したいが？などなど…。
ミライセンスのハプティクス編集ツールでは、効果音をベースに触覚をシンセで作成するというアプローチをとります。ざらざら感、ゴトゴト感などを波形に足しこむ事になります。そう波形ではなく感覚を編集していくのです（感覚のライブラリから自分の欲しい感覚をミキシングしていく感じです）。
例えば一例としてDAWのシンセでズズズ感を作りこんでいくには
●粒度間→振動周波数
●とがり感→倍音成分
●乱雑さ→周波数と倍音成分に揺らぎを与える
といったことが直観的に可能になります。
さらにミライセンス独自の技術である「力覚感」を使うことで
●ズシンと重みを感じる力感覚
●左右に振られる力感覚
といった不思議な感触までコントローラの振動に入れ込むことができます。これは実際に触ってみないとは伝わらない感触で、ゲーム開発者の方にもこの記事を懐疑的にみられている方にも、その先のゲームを楽しむ多くの人々にも届けたい感触です。
［タイムライン編集の例］
［Tactile（表面材質感）編集の例］
■複数の表面材質感を実際に触りながら確認することが可能
WwiseとAMPTIXの連携機能のご紹介
普段サウンドの編集・開発をされている方々にとってWwiseはなくては ならないツールですがAMPTIXを含め他のツールと連携は生産性に直結する大切な課題です。
AMPTIXはWwiseを日常業務で使用されているサウンドデザイナーやゲーム企画の方でも最低限の連携部分の手順のみ理解していただくだけで、普段使用されているWwiseの編集作業を邪魔せずAMPTIXでリッチなハプティクス機能を実装できるという強みがあります。WwiseとAMPTIXの連携はWwiseにAMPTIXのプラグインを追加することで可能になります。以下はWwiseにAMPTIXプラグインを導入した状態の画像です。
それではWwiseとAMPTIXを連携する手順を具体的に見ていきましょう。
タイムライン再生手順のご紹介
まずはWwise側のプロジェクトに取り込み済みの音声データをAMPTIXで受け取ります。AMPTIXでWwiseプロジェクトのフォルダを開き、Haptics編集の元になるwavファイルを選択し[RUN]ボタンを押すことでAMPTIX側にデータを渡すことができます。wavファイルは1つづつ送りハプティクス編集することもできますが、もちろん複数まとめて送ることも可能です。その際[AutoGenerate]機能を使用することで、音声波形に応じて自動的にHaptics編集済みのデータを作成することもできます。AMPTIX上でHapticsを確認しつつ、さらに手動で編集も可能です。
［AMPTIXでWwiseのデータを取り込む］
［AutoGenerate機能］
［AMPTIXでハプティクスを編集］
［WwiseにHaptics付きデータを送り返す］
WwiseにHaptics付きデータを送り返すと、Wwise側でHapticsを再生が可能になります。
Wwise側では以下の図のようにデバイスやバスを接続します。
例えば上記4.の手順は以下のような設定になります。WwiseにAMPTIXプラグインを組み込むことでメニューにAmptix Bus など接続に必要な要素が表示されていますので、接続先を選ぶだけでAMPTIXの機能を利用することができます。
接続が完了するとHapticsを再生することができるようになります。コントローラを接続し、以下の図のPlayボタンを押すとコントローラが振動します。
RTPC再生手順のご紹介
次にHapticsをリアルタイムで変更するRTPC再生についてもみていきましょう。Wwise上でAMPTIXのリッチなForce（力覚感）、Tactile（表面材質感）再生が可能です。
使用するにはAmptixForce（またはAmptixTactile）の要素を選び、パラメータを割り当てます。
再生を[RTPCs]に切り替え、Playボタンを押すとコントローラが振動します。振動している状態でパラメータを変更するとリアルタイムに振動状態を変更することができます。
最後に
はじめにご紹介したように、弊社は長年ハプティクスを研究開発してきた企業であり昨今のハプティクスの広がりを大変嬉しく思っています。WwiseとAMPTIXの連携機能でハプティクス編集がより簡単・身近になり、いち早く市場に届けられる環境づくりに貢献できる自負があります。ご興味を持たれた方は以下のURL よりお問い合わせいただき、ぜひWwiseとAMPTIXの連携機能をお試しください。
コメント