오브젝트 기반 오디오 작업하기

사운드 디자인 / 공간 음향 / Wwise에 대한 팁과 도구

오브젝트 기반 사운드 시스템

몰입형 오디오 경험에 대한 시장의 요구는 7.1을 훨씬 뛰어 넘어 수직적 규격뿐만 아니라 평면적 수용력도 향상시킨 스피커 배열 구성을 개발하도록 만들었습니다. 이로 인해 Dolby Atmos(돌비 애트모스)및 DTS:X와 같은 서라운드 사운드 시스템 뿐만 아니라 MPEG-H와 같은 새로운 배포 표준이 등장함에 따라, 공간 음향 콘텐츠를 렌더링하는 스피커 구성을 추상화하기 위한 오디오 오브젝트의 개념이 고안됐죠.

채널 기반 오디오와 오브젝트 기반 오디오 간의 가장 중요한 차이점은, 채널 기반 오디오는 제작에서부터 재생까지 고정된 개수의 채널을 사용하며 특정한 스피커 구성을 위해 오디오 믹스를 설계하거나 단순한 스피커 설정을 위해 다운믹스되어야 한다는 것입니다. 오브젝트 기반 오디오는 '오디오 오브젝트' (즉, 모노 음원 + 청자에 관한 3D 좌표)가 반드시 보존되어야 하며 사용자의 스피커 구성에서 공간화하기 위해 장치로 전달되어야 함을 의미합니다. 다시 말해 오브젝트 기반 오디오는 '오브젝트' 혹은 오디오 요소를 개별적인 스트림으로 유지하고 각 스트림이 스피커 구성에 상관없이 3차원 공간에서 재생되어야 하는 위치를 설명하는 메타데이터를 담을 수 있게 해주죠. 오디오 오브젝트는 제작 도중 개별적으로 특정 공간 안에 정확하게 배치할 수 있으며 각 오디오 오브젝트는 '적응형 렌더링(adaptive rendering)' (스피커 구성에 따라 변함) 이라는 과정을 통해 실시간으로 알맞은 스피커 구성에 렌더링됩니다. 또한 적응형 렌더링을 사용하면 수신하는 쪽에서 믹스를 조정할 수 있습니다.

이러한 오브젝트 양식은 오디오의 바이노럴 가상화에 아주 적합합니다 (흔히 VR에 사용됨). 이 처리 과정은 보통 각 오디오 오브젝트를 필터(HRTF, 머리전달함수)로 통과시킴으로써 구현됩니다. 주파수 반응은 청자에 대한 음원의 3D 위치에 따라 달라집니다.

 

오브젝트 보존의 단점

오브젝트 기반 오디오는 렌더링 품질의 최적화를 공간적인 시점에서 바라봅니다. 하지만 오브젝트를 보존할 경우 중요한 음향 저작 작업과 호환할 수 없기 때문에 음향 설계 과정이 제한되죠.

예를 들어 사운드 디자이너가 한 사운드 그룹의 동적 범위를 제어하고자 한다고 가정해봅시다. 이 경우 보통 입력을 합해주는 버스에 컴프레서를 추가합니다. 다시 말해 서브믹스를 만들죠. 서브믹싱은 다음과 같이 다양한 목적으로 사용됩니다.

  • 성능
  • 사이드 체인
  • 마스터링
  • 미터링, 라우드니스(주: 인간이 주관적으로 느끼는 감각적 음량) 미터링
  • 그룹화

Wwise에서 Master-Mixer Hierarchy(마스터 믹서 계층 구조)의 오브젝트는 이러한 목적을 위해 사용됩니다. 필요한 경우 버스를 믹싱 버스로 사용할 수 있죠. 

이제 두 개의 3D 음원을 믹싱 버스에 라우팅한다고 해봅시다. 이 버스의 출력에서 얻은 오디오 데이터는 여러 음원/오브젝트의 중첩(superposition)을 표시하는데 이 경우 구성 방향 요소를 잃게 됩니다.

Screen_Shot_2016-06-17_at_2.34.19_PM.png

그림 1 – 서로 다른 입사각을 가진 두 음원이 패닝되고 한 다채널 버스로 혼합되었습니다. 패닝 작업은 입력의 공간적 표현(여기서는 입사각 Ɵi으로 표현됨)을 출력의 공간적 표현으로 변환함 (예를 들어 신호를 7.1 스피커 구성에서 두 개 이상의 스피커로 배포)을 의미합니다. 패닝된 오브젝트의 혼합이 출력이 되며, 별도의 입사각을 갖지 않습니다 (이 출력은 앞에서 정의했던 오브젝트가 아닙니다).

 

그렇기 때문에 오브젝트 기반 오디오는 오브젝트가 믹싱 상류에만 존재하기 때문에 서브믹스와 호환할 수 없습니다. 이는 사운드 디자이너가 보통 서브믹스에 적용하는 저작 작업을 실행할 수 없게 제한해버리죠.

 

사례 살펴보기

Wwise의 믹서 플러그인 인터페이스는 오브젝트 기반 플러그인 구조를 하고 있습니다. 그 이유는 믹서 플러그인이 각 입력의 3D 위치에 접근하고 바이노럴화 된 음향을 제작하려면 각 음원이나 '오브젝트'를 사용해야 하기 때문입니다. 이러한 인터페이스가 바이노럴 가상화 장치에 구현하기에 아주 좋은 체계로 보이지만 사실 오브젝트 기반 오디오의 한계로 인해 설계 과정에 제약이 생깁니다.

1. 바이노럴 신호에는 Effect를 추가하지 않아야 합니다. 왜냐하면 이 경우 바이노럴 처리를 통해 구현하고자 하는 공간적 음향의 환상을 깨뜨릴 수 있기 때문이죠.

Screen_Shot_2016-06-17_at_2.46.12_PM.png

그림 2 – 믹서 플러그인의 출력에서 바이노럴 신호의 하류에 잘못된 컴프레서 Effect를 추가했습니다.

 

2. 믹서 플러그인의 상류에 믹싱 버스를 사용해서는 안되는데, 그 이유는 서브믹스가 바이노럴 처리에 필요한 3D 정보를 더 이상 담지 않게 되기 때문입니다.

Screen_Shot_2016-06-22_at_5.30.15_PM.png그림 3 –믹서 플러그인의 상류에서 오브젝트를 믹스하는 모습. 서브믹스된 신호는 단일 오브젝트를 전달하지 않기 때문에 플러그인으로 바이노럴화할 수 없습니다.

 

 

절충안

이 둘의 장점만 최대한 발휘할 수 있다면 얼마나 좋을까요? 오브젝트 기반 오디오의 단점 없이 제대로 된 공간적 정확도를 가진 오디오를 렌더링할 수는 없는 걸까요? 이러한 점을 앰비소닉이 어떻게 도와줄 수 있는지 기대해주세요!

Screen_Shot_2016-06-17_at_2.47.53_PM.png

그림 4 – 오브젝트가 자유롭게 서브믹스되고 다채널 공간 음향으로 패닝됩니다. 다채널 공간 음향은 모든 구성 요소의 방향적 강도를 전달하며 Effect같은 것을 추가하여 조작할 수도 있습니다.

 

  

LOUIS-XAVIER BUFFONI (루이-자비에 뷔포니)

R&D 디렉터

Audiokinetic(오디오키네틱)

LOUIS-XAVIER BUFFONI (루이-자비에 뷔포니)

R&D 디렉터

Audiokinetic(오디오키네틱)

루이 재비에는 Audiokinetic의 연구팀을 이끌고 있으며 공간 음향, 사운드 합성, 오디오 코딩, 기계 학습을 집중적으로 연구해왔습니다.

 @xbuffoni

댓글

댓글 달기

이메일 주소는 공개되지 않습니다.

다른 글

ABZÛ - 도전! 물고기 10,000 마리의 게임 오디오 만들기

이 이미지를 가장 처음 봤을 때 여러분은 어떤 생각이 먼저 드나요? 저는 어떻게 하면 이 월드에 현실적이고 진짜 같은 사운드를 만들 수 있는지, 그리고 이 장면의 중심으로 헤엄을...

30.7.2019 - 작성자: 스티브 그린 (Steve Green)

Wwise와 REAPER의 연결: Part 2 - ReaOpen

ReaOpen은 오디오 파일을 선택하고 원래의 REAPER 프로젝트를 쉽게 열 수 있는 무료의 가벼운 프로그램입니다. Windows와 Mac 모두에서 실행되며 Wwise,...

7.4.2020 - 작성자: 니콜라 루키치 (NIKOLA LUKIĆ)

UI 설계 관점에서 UI 오디오 접근하기 - 제 1부

어떤 게임에서는 사용자 인터페이스가 플레이어의 전체 경험에 궁극적으로 영향을 거의 미치지 않습니다. 수많은 모바일 게임과 같이 어떤 게임에서는 거의 전체 게임플레이 동안 UI를...

14.10.2020 - 작성자: 조셉 마척(JOSEPH MARCHUK)

Wwise 저작 쿼리 언어, WAQL을 소개합니다

“Wwise는 스프레드시트(표 계산 소프트웨어) 같아요”. 이 말은 제가 사용자 환경팀으로서 자주 듣는 말입니다. 사실 Wwise는 사운드 디자인 도구이지만 사실 안을 들춰보면...

24.6.2021 - 작성자: 베르나르 로드리그 (Bernard Rodrigue)

Wwise 2021.1 저작 플러그인 | 제 1부: 역사와 목표

Wwise 생태계에 대해 잘 알려지지 않은 특징 중 하나는 바로 확장성입니다. 프로젝트에 사용할 플러그인을 회사들이 직접 만들기도 하고 판매사는 (가끔은 저희 도움을 통해) 자체...

18.8.2021 - 작성자: 미셸 도네 (Michel Donais)

Wwise Spatial Audio 2023.1의 새로운 기능 | 개선된 Aux Send Model

Wwise 2023.1에서 새로 제공되는 수많은 기능의 목록을 살펴보셨다면 아마 '개선된 Aux Send Model'이라는 흥미로운 문구를 발견하셨을 겁니다. 도대체 이게 무슨...

14.12.2023 - 작성자: Nathan Harris

다른 글

ABZÛ - 도전! 물고기 10,000 마리의 게임 오디오 만들기

이 이미지를 가장 처음 봤을 때 여러분은 어떤 생각이 먼저 드나요? 저는 어떻게 하면 이 월드에 현실적이고 진짜 같은 사운드를 만들 수 있는지, 그리고 이 장면의 중심으로 헤엄을...

Wwise와 REAPER의 연결: Part 2 - ReaOpen

ReaOpen은 오디오 파일을 선택하고 원래의 REAPER 프로젝트를 쉽게 열 수 있는 무료의 가벼운 프로그램입니다. Windows와 Mac 모두에서 실행되며 Wwise,...

UI 설계 관점에서 UI 오디오 접근하기 - 제 1부

어떤 게임에서는 사용자 인터페이스가 플레이어의 전체 경험에 궁극적으로 영향을 거의 미치지 않습니다. 수많은 모바일 게임과 같이 어떤 게임에서는 거의 전체 게임플레이 동안 UI를...