PixelSoundというオーディオのおもちゃ

インタラクティブオーディオ / インタラクティブミュージック

私はいつも、創造力が求められる新しいプロジェクトを始めるときに、楽しむことだけの目的で、新しい「おもちゃ」として、例えばかっこいいプラグインとか、楽器とか、かっこいいマイクなどを手に入れます。あえて遊ぶ時間を確保することで、童心に返った新発見があり、そういったときにいいアイディアが生まれます。


"PixelSound"

PixelSoundは、マウスが指しているピクセルの色に応じて音が出るという、音のおもちゃです。UnityとWwiseを使ったプロジェクトで(優秀なプログラムであるPhotoSounderなどの影響を受けてます)、JPEGファイルを読み込むと、赤、緑、青、グレースケールの値と、画面上のXY座標に応じて、RTPCが設定されます。

また、Wwiseをサウンドデザインのツールとして利用する方法にもなります。ランダムコンテナ用に、互いに関連性のあるいくつかのバージョンを制作する必要があったとします。ステムを何種類か用意して、PixelSoundを実行しながら出力内容を録音して、その結果を切り分けて、気に入ったところを選ぶのです。よくある手法です...

ピクセルの色の値を使ってWwiseのイベントパラメータを設定するというのは、疑似乱数のバリエーションを生成する方法にすぎません。特定のエフェクトを引き起こす模様を自分でつくったり、飼い犬の写真を読み込んで試したりすることもできます。まるで偶然のようなのに、すべてが偶然というわけではないアルゴリズムは、ストカスティック(確率論的)ととらえることができ、この作曲の仕方は、興味深い音色をつくり出したクセナキスが用いたことで有名です。

遊んでみるには、Unityプロジェクトを起動して画面をクリックします。マウスを動かしながら、色や画面上の位置によってイベントの反応がどう変わるのか、聞いてください。停止するには、もう一度クリックします

プロジェクトは ここでダウンロード できます。

自分の .jpgファイルをAssets/Picturesフォルダにドロップしてから、ゲームオブジェクト "pictureSprite" に添付のGetPixelParametersスクリプトの、"Picture" フィールドにドラッグします。こうすると、画像のフォーマットやサイズが画面に合わせて変更され、選択したWwiseイベントが開始・停止され、RTPCが設定されます。

Wwiseプロジェクトにデモやテストイベントが入っているので、それでボリューム、ピッチ、トリガーレート、EQなどのパラメータを変えることができます。様々な音が出てくるので、そのまま遊んでもいいのですが、もちろん一番の目的は、自分のサウンドや画像を使ってあれこれ楽しむことです。Master Audio BusにWwise Recorderインスタンスがあるので、出力を録音してから編集したいときに使います。

PixelSound

**プロジェクト更新 "VPixelSound"**

VPixelSoundはPixelSoundと基本的に同じ考えですが、JPEGではなく動画を使います。1つの .movをドロップして、ポジションを自分で選びます(デフォルトは画面中央になっています)。RTPCが前と同じように赤、緑、青、グレースケールの値に対して設定されますが、私がステートの処理も追加したので、色の値が、Wwiseのステートを10段階に分けて設定します(例えば blue_00、blue_01、... blue_10 )。

このバージョンを使えば、マウスを動かすのではなく、動画の動きによってWwiseイベントを制御できます。オーディオを生成する一連の色はリピート可能なので、ある特定の順番に流れる画像のためのイベントを形づくりたいときに利用できます。複数のカーソルポジションや、色の平均化の設定も可能です。

ほとんどの動画が、音の実験になるおもしろい入力内容を提供してくれるはずです。私は、QuickTime Screen Recordingを使って同梱のサンプルを作成しましたが、ほかのキャプチャー手段でも問題ありません。サウンドトラックは不要で、Unityが対応する動画フォーマットであればどれも使えます。

なお、これは音響用の遊びのプロジェクトなので、自分の動画やWwiseイベントを入れて、どんな音が出てくるのかを試すことが重要です。さて、真面目なサウンドデザインのツールとして、役に立つでしょうか?さあ...。やってみると楽しい、ということだけは保証します!(クリエイティブな仕事にとって、大事なことだと思いませんか?

デモ動画:


"VPixelSound" プロジェクトは、 ここでダウンロード できます。

このテクニックは、以下のようにゲーム内でも使えるのでは、と思ってます。

  • プロシージャル生成された空の色に従い、アンビエンスを変化させる
  • シーンのグレースケール値に合わせて、フィルターの設定を変える
  • スクリーン内の位置によって、UIや選択のサウンドをランダム化する

もちろん気まぐれなテクニックなので、もしかしたらクリエイティブなオーディオソリューションに発展するかも、といったところです。でも一番肝心なのは遊んでいて楽しいということで、Wwiseをシンセサイザーとして使うと強力な機能がサウンドデザイナーに与えられるので、それを実験するのには、ぴったりです。

青は、今日のあなたにとって、どんな風に聞こえますか?

ピーター・ドレッシャー、別名 pdx(Peter "pdx" Drescher)

ピーター・ドレッシャー、別名 pdx(Peter "pdx" Drescher)

ゲームやモバイルデバイス向けに、オーディオコンテンツ制作、実装のプロデュース、そしてプログラミングを行う。優れたサウンドデザイナー、熟練したミュージシャン、コンポーザーである。出版の実績あり。経験豊かなプログラマー。卓越したオーディオエンジニア。彼のProToolsプロジェクトスタジオ Twittering Machine は、カリフォルニア・ベイエリア拠点。

www.twittering.com/

コメント

Replyを残す

メールアドレスが公開されることはありません。

ほかの記事

Krotos誕生の舞台裏

KrotosからリリースされるIgniter Live...

19.8.2020 - 作者 オルフェアス・ボテアス(ORFEAS BOTEAS)

インタラクティブオーディオを、ビジネスとしてとらえる

前回のWwise Interactive Music...

15.7.2021 - 作者 Audiokinetic

Impacterクロスシンセシスのバリエーションを可視化

2.9.2021 - 作者 ライアン・ダン(RYAN DONE)

インタラクティブミュージック 自分の選択肢で展開されるバラード

inXile Entertainmentは、2018年にクラウドファンディングに成功してゲーム『Wasteland 3』の制作を本格的に始めました。前作『Bard's Tale...

13.4.2022 - 作者 アレキサンダー・ブランドン(Alexander Brandon)

『Wwack-A-Mole』 | Wwiseの中にゲームをつくる

はじめに...

31.1.2023 - 作者 ダニエル・ニールセン

無限の残骸:Infinite Wreckage

これは『Wreckage Systems 』(65daysofstatic作)に関するブログです。『Wreckage Systems...

17.8.2023 - 作者 ポール・ウォランスキ