自己紹介

私はアーティスト兼クリエイティブプログラマーで、主にコンテンポラリーアートのプロジェクトに携わっています。プログラマーとしてはさまざまなクライアントと取り組み、ジェネレーティブアートというカテゴリのアートワークを制作しています。 

アーティストとしては Xenoangel というアーティストデュオで、マリヤ・アブラモヴィッチ（Marija Avramovic）とともに活動しています。

Xenoangel 

マリヤと私の取り組みは絵画や彫刻からリアルタイムアニメーションにいたるまで広範囲にわたります。私たちがつくるアニメーションはビデオゲーム用エンジン（Unity）で制作したシミュレーションされた世界です。私たちが作成するワールドにはノンプレイヤーキャラクターたち（精霊、スカベンジャー、クリッターなど）が住み、斬新な方法で互いや周りの環境とやり取りをしながらストーリーを表現します。

私たちはワールドの構築に興味を持ち、人間以外の知的生命体という発想や、曖昧なSlow Thinking（ゆっくりとした思考）という概念、つまり森、山、菌糸体ネットワーク、気象、ワールドなどと同じスピードで考えることに魅力を感じます。

この数年間にこのようなリアルタイムアニメーションのアートワークを複数つくり、その1つ1つがここで紹介するような独特のストーリーを語りかけています。

『Sunshowers』はアニミズムの夢であり、仮想世界のすべてのオブジェクトが1つの遊戯的なAIシステムを利用して互いにやり取りをします。黒澤明監督の映画『夢』の狐の嫁入りシーンに基づいています。英国バービカンで開催された「AI: More than Human」展の出展依頼を受けて作成しました。 

『The Zone』はストルガツキー兄弟の『Roadside Picnic』に登場する遺物や現象を探る実験的なオンラインエッセイです。執筆家でキュレーターのAmy Jones氏の寄稿文が含まれます。

https://scavenger.zone/ 

最新作の『Supreme』は架空のBeast（獣）の背中で展開される共生的な環境を表し、人間以外の古代のクリッターたちが鮮やかな物体の中にストーリーを見つけて先史時代を解明するSlow Thinkingのエコシステムです。『Supreme』は複数の作家やアーティストたちが「共生」と「共存」という共通の題材で作成した、触覚のように広がる文章を公開する場でもあります。

リアルタイムアニメーションという媒体を用いたコンテンポラリーアーティストとしての自分の経験を、このブログで共有したいと思います。本来ビデオゲームのために考案されたツールを用いてサウンドに重点を置いたアート作品を制作した際に、Wwiseをオーディオエンジンとしてどのように使用したかについてご紹介します。私たちの最新のリアルタイムアニメーション作品を例に説明しますが、それは... 

ケーススタディ『Supreme』

World Beastの背中からの光景

前述のとおり『Supreme』は架空のBeastの背中で展開される共生的なワールドです。この奇妙な空間は人間以外のさまざまなクリッターが互いに交流し、周りのワールドとやり取りをする場です。クリッターの世界観は自分たちの宇宙の仕組みを描いたさまざまな神話から成り立っています。

仮想の宇宙に存在する人間以外のすべての生命体はアニミズム的なニューラルネットワーク系を通して交流し、それによりネットワークの創発的な要素として生を受けます。これは生きた仮想共生エコシステムであり、無限に展開されるアニメーションストーリーという形で観察することができます。

World Beastの背中にいるクリッターの1種、Healer。 

二曲屏風のように配置された2つの画面がこの仮想世界への同期された窓を提供します。1枚の画面はこのワールドにクローズアップし、そこに居住する生命体にフォーカスします。2枚目の画面はワールドからズームアウトし、World Beast自体を映し出します。個体単位から超物体規模のワールド全体に至るまで、あらゆる視野を動的に表現する作品です。

フランスのアルルで開催されたFaire Monde展におけるインスタレーション『Supreme』

Photo by: Grégoire de Brevedent d'Ablon

使用したツール 

『Supreme』は本質的にはインタラクティブ性のないビデオゲームです。私たちは独立系の中小ゲーム制作チームにおなじみのツールを使用し、ゲームエンジンはUnity、3DモデリングとアニメーションはBlender、テキスチャの作成と編集はPhotoshop、サウンドデザインはAbleton、リアルタイムオーディオエンジンはWwiseを採用しました。 

展示方法 

『Supreme』は上のフランス・アルル展の写真から分かるようにセノグラフィーのアートインスタレーションの一部として、ギャラリーやアートスペースに展示するために設計されました。2枚組として2つの4Kディスプレイで表示し、スピーカーのステレオサウンドが伴います。セノグラフィーは会場によって変わることがありますが基本的なセットアップは同じです。

こちらはArtVerona 2021のブースにおけるWorld Beastとの出会いの1コマです。 

Photo by: Virginia Bianchi 

共生のサウンドスケープ　Beastの歌

私たちXenoangelがつくる各種ワールドはノンリニア（非線形）です。多くの場合ワールドの起点や終点は明確でなく、キャラクターがとる行動やそのタイミングはキャラクターが自ら決定します。このためワールドのサウンドスケープもノンリニアな設計とする必要があります。私たちは一般的にこれを実現するために、サンプルベースを基本とし、再編成してオーディオエンジン内でリアルタイムエフェクトと共にミキシングできるようなオーディオパイプラインを設定します。

『Supreme』の重要な要素の1つはWorld Beastとクリッターたちのコール＆レスポンス形式のやり取りで決定される共生サウンドスケープです。

World Beastは定期的に歌を歌います。オーディオの低周波数あたりを震わせるような腹の底からくる唸り声です。『Supreme』で歌が歌われるとすべてのクリッターがレスポンスを返そうとします。『Supreme』では特定のリズミカルなレスポンスが要求され、クリッターたちはニューラルネットワークまたは遺伝的アルゴリズムを用いてこのリズムを少しずつ学ぼうとします。期待されるリズムにクリッターたちが近づくにつれ、クリッターと周辺のワールドとの共時性が高まります。

共時性パラメータは『Supreme』のエコシステム全体を支えます。クリッターの取る行動はすべてこのパラメータ値を使用して決定されます。 

サンプルの作成

『Supreme』で使用したサンプルはサンプルパックやオリジナルの収録素材など複数の出所から集めました。私たちはプロジェクトごとに音素材を再利用し改善することが好きなため、今ではちょっとしたサウンドライブラリができあがり、新しい音が必要となるとそこから選びリミックスすることが可能です。

クリッターたちの音声には、人間の声とは思えなくなるまで声をストレッチして欲しいとシンガーに依頼して多様なエイリアン音声を出してもらった以前のレコーディングセッションの時のサンプルを主に使用しています。約5年前に収録したこの時の彼女のサンプルは、それ以降の私たちのほぼすべてのプロジェクトに登場しています。 

サウンドのデザイン

ソース素材を用意した後に、DAWとして私が信頼するAbletonを使用してサウンドをアレンジします。プロジェクトの工程の中で一番楽しい仕事だと思います。サンプルを重ねたり引き伸ばしたりしてオリジナルとはまったく異なるサウンドをつくり出します。エフェクトを適用したり、逆再生したり、リサンプルしたり、ピッチシフトを適用したり、自分を抑え込む必要がない場合はAbletonで実に多くの奇妙なサウンドをつくり出せます。この段階でAbletonのバーチャルインストゥルメントを使用した合成音も追加します。

ここで使用するお気に入りのもののいくつかは、u-he、iZotope Iris 2、Valhalla Shimmer、zplane Elastique Pitchなどのエフェクトやインストゥルメントです・・・他にもまだまだありますが。  

プログラミング 

『Supreme』のサンプルベースのサウンドスケープの作曲はリアルタイムで行われ、Unityの複数のC#クラスを使用して制御します。

World Beastの歌についてはBeastのための複数のコールオプションとそれぞれのコールに対する理想的なレスポンスを含むMIDIファイルを読み込むシーケンサクラスがあります。シーケンサで1つのコールが選択され多少のランダム性を用いたリミックスが行われ（ランダム性なしの人生などないため）、World Beastはそれを受け取り歌います。

Beastのコールを聞いた各クリッターは、聞こえた音符を自分たちのニューラルネットワークの頭に入力データとして送ります。

私たちのニューラルネットワークについて簡単に説明します。

私たちは『Sunshowers』プロジェクト以来AIについて思考を重ねてきました。このプロジェクトではMat Bucklandの2002年の著書『AI Techniques for Game Programming』に記載されたC++の例を応用し、Unity向けにC#の単純なニューラルネットワークと遺伝的アルゴリズムシステムを作成しました。

この陽気なニューラルネットワークの任務はゲームワールドに設定した風変りなパラメータの扱い方を学ぶことだけです。

ペースが遅く、ネットワークの進歩1歩がゲームワールドのイベント1つと重なります。ネットワークのトレーニングが展示期間の終わりまでかかる場合もあります。キャラクターたちが自分のワールドをリアルタイムで学ぶという考え方です。この仕組みを私たちはSlow Thinkingと呼びます。

このようにニューラルネットワークがブラックボックス的な魔法でクリッターの歌う音符を出力します。

以上が終わると音符はイベントとして、ピッチ、ベロシティ、デュレーションなどのパラメータ値とともにWwiseに渡されます。 

Wwiseによる処理 

特に2人だけでかなり大規模なプロジェクトのあらゆる面を担当するため、Wwise内のセットアップはできるだけシンプルにしています。

『Supreme』ではすべてのサンプルがActor-Mixer階層で整理され、ユースケースに応じてさまざまなコンテナ内（ランダムコンテナやスイッチコンテナなど）にネスト化されています。

以下はあるクリッターのボイス（Critter Voice）のセットアップ例です。 

イベントを利用してこれらを呼び出し、ローカルゲームパラメータやスイッチを使用してサウンドのパラメータを変化させます。

Wwise Authoringツール内でシンプルに整理しておくことで、UnityにおいてもAbletonやWwise上でサウンドデザインを行う観点においてもイテレーションがしやすくなります。オーディオのロジックの大半がUnityのクラスにより制御されているため、それに変更を加えた後はWwise側の設定を再構成することなくすぐにテストできます。

最後にWwiseのリアルタイムエフェクトを利用してサンプルに雰囲気やバラエティを追加したりオーディオのミックスダウンを行ったりします。初期ミキシングはスタジオ内で行いますが、作品を展示する際に現場で微調整を行います。 

インスタレーション現場

私たちの作品はギャラリーや展示会場のカスタムインスタレーションの一環として鑑賞するために設計されています。このため展示の仕方が毎回異なり、利用するスペースに合わせて調整する必要があります。これは音響の観点で特に重要であり、スピーカーや展示空間の物理的な大きさが作品の聞こえ方に大きな影響を与えます。

これを念頭に私たちは作品の設置作業の一環として、展示会場で音のミキシングやEQの編集にかなり多くの時間を割きます。Wwise Authoringを使用することで作品をリアルタイムで再生させながらエフェクトパラメータのミキシングや変更をとても簡単に行うことができるため、このような状況でWwiseをオーディオエンジンとして活用することは大きなメリットの1つとなります。

Wwise AuthoringツールのRemote Connection機能を利用して別のコンピュータから作品に接続します。次に展示スペースに座り、歩き回り、聞きながらミックスを調整して音に満足できるまで続けます。その後にこの展示会場専用のサウンドバンクを簡単に再構築することができます。

一部の作品ではUnityアプリのユーザインターフェースにミキシングとEQのUIを統合させたこともあります。これを設定する場合は開発時間が少し長くなりますが、サウンドバンクを毎回構築しなおす必要もなく私たちの作品を他人がインストールできるようになります。特にAIの巡回展の参加作品の1つであった『Sunshowers』ではこの点が重要でした。 

まとめと今後の予定 

Xenoangelの私の仕事内容や『Supreme』が生み出す音の世界について、このブログを通して理解を深めていただけたでしょうか。私たちにとって作品は探求であり、新しいプロジェクトはそれまでの学びをもとに築き上げられてゆきます。

私たちのような2人組の小さいチームであっても、現在あるツールのおかげでこのようなプロジェクトに挑むことができます。Ableton、Unity、Wwiseのように誰もが挑戦することが可能となるツールなしでは実現できませんでした。Unityベースのプロジェクトのリアルタイムサウンドのアイデアを自由に効率的に展開するための幅広い柔軟性をWwiseが提供してくれました。

今後はセノグラフィーインスタレーションを標準スピーカー構成以外で試してみたいと考えています。標準的なホームコンソールのセットアップで問題なく使用できるように計画されているゲームエンジンであれ、標準以外のインスタレーションではそれほど簡単に使用できないため、一筋縄ではいかないかもしれません。私はアンビソニック出力用のWwiseカスタムプラグインを作成し、すでに研究と開発に手を着けています。今は開発の初期段階ですが、魅力的で新しいサウンドのシミュレーションワールドの作成につながることを願っています。みなさんどうぞお楽しみに！