이전 글인 VR에서 몰입형 잔향의 도전 과제에서는 가상 현실에서 몰입형 잔향을 성취하기가 힘든 이유를 알아보았습니다. 이 시리즈에서는 과거, 현재, 그리고 새로운 잔향 기술을 자세하게 살펴보는 시간을 가져봅시다. 특히 이 기술을 몰입적이고 공간적인 측면에서 검토해봅시다.
인공 잔향은 음향 신호가 분산된 느낌을 추가하기 위한 음향 효과의 종류입니다. 오디오 신호는 보통 음향적으로 건조한 녹음 스튜디오에서 녹음됩니다. 공간에서의 소리 전달을 어느 정도 시뮬레이션하면, 잔향 효과를 사용하여 청각적 공간의 미적 특성을 제어할 수 있습니다. 효율성을 위해 이 시뮬레이션은 보통 음향 현상을 굉장히 간소화하여 실행됩니다. 그 당시에는 몰입감이 그다지 중요하지 않았기 때문에, 조정할 수는 있지만 고정적인 출력을 각 채널에 전달할 수 있도록 대부분의 잔향 알고리즘에서 공간적 신호를 감소했죠. 그래서 이러한 알고리즘은 상호작용적으로 활용하기가 어려울 수 있습니다.
Audiokinetic의 공간 음향 팀이 곧 새롭게 제공되는 Wwise 공간 음향 기능을 시험해보고 있는 모습
이제 VR과 다른 몰입형 플랫폼에서 모든 방향에서 오는 사운드를 시뮬레이션할 수 있는 복잡한 오디오 출력 시스템이 표준이 되고 있기 때문에, 우리는 이 새로운 기술에서 잔향을 렌더링하는 방식을 재고해보아야 합니다. 별도의 반향에서 도출된 공간적 신호는 시간과 방향 면에서 모두 가상 지오메트리를 통과하는 현실적인 소리 전달 경로를 따라야 합니다. 예를 들어 헤드폰 재현의 경우 보통 직접 사운드를 Head Related Transfer Function (머리 전달 함수, HRTF)를 통해 필터링합니다. HRTF는 소리가 다양한 각도와 깊이로 귀에 전달되는 바이노럴 현상을 모방하기 위해 주파수 반응과 시간 지연을 재현하는 여러 필터입니다. 그렇기 때문에 이상적인 공간적 잔향기는 각 반사음에 동일한 필터 처리를 활성화하기 위해 개별적 반사음에서부터(혹은 적어도 그중 일부에서부터) 공간적 정보를 충분히 전달해야 합니다. 또한 잔향 알고리즘도 지오메트리가 복잡한 공간에서 음원과 리스너가 이동함에 따라 변경되어야 합니다. 마지막으로 새로운 요구로 떠오르고 있는 인지적 신호도 우리가 잔향 알고리즘에서 익숙해진 미적인 다양성을 희생하지 말아야 합니다.
현재 아주 놀랍고 풍부한 잔향 효과가 굉장히 많이 있으며, 앞으로 몇 년 동안 미디어 제작에서 분명히 중요한 역할을 하게 될 것입니다. 이러한 효과를 완전히 교체하는 것이 목표가 아닙니다. 궁극적으로 사운드 디자이너의 도구 상자에 가상 지오메트리에서 정보를 받아서 공간적 신호를 전달하는 효과가 들어 있어야 한다는 것이죠. 이러한 점을 염두에 두고 오늘날 가장 흔히 사용되는 잔향에서 사용하는 일부 잔향 기술을 살펴보고 이 기술이 공간적 신호를 어떻게 지원할 수 있는지 검토해봅시다.
물리적 잔향
1930년대에 소개된 반향실은 스튜디오 녹음에 인공적인 잔향을 추가하는 최초의 시도였습니다. 물리적 공간을 사용해서 원본 사운드가 라우드스피커를 통해 재생되고 마이크를 통해 이 소리가 다시 녹음되어서 처리 과정에서 공간의 잔향을 가져오는 방법이죠. 하지만 이 공간은 단순한 공간이 아니라 떨리는 반향(flutter echo)가 생기지 않도록 평행한 벽 없이 만들어져야 했습니다 [5]. 공간의 물리적 속성에 의한 제한 때문에 이 잔향을 변경하기 위해서는 공간의 음향을 변경해야 했죠. 이렇게 효과의 주파수 반응과 잔향 시간을 변경하기 위해서 카펫 같은 여러 가지 자재를 추가할 수 있었습니다. 또한 원본-변조 신호의 비율을 조절하기 위해 여러 가지 마이크 배치가 사용되었으며, 나중에는 변조 신호의 주파수 반응을 수정하기 위한 방법으로 다대역 EQ가 일반적인 방법으로 사용되었습니다. 예상할 수 있듯이 이 효과에는 비용과 휴대성이라는 제약이 있었습니다. 하지만 실제 공간에서의 소리 전달보다 더 자연스러운 잔향을 성취하는 것은 어렵습니다. 아마도 이런 이유 때문에 반향실이 1970년대에 일반적으로 사용되었고 지금까지도 여전히 일부가 남아있는 것이겠죠.
![Echo chamber with no parallel walls [1]](http://info.audiokinetic.com/hubfs/Picture1-14.png "Echo chamber with no parallel walls [1]")
평행한 벽이 없는 반향실 [1]
비슷한 시기에 스프링 잔향이, 그 이후에는 플레이트 잔향이 소개되었습니다. 이러한 잔향도 마찬가지로 자연스러운 소리 전달을 사용했지만, 이 경우에는 소리를 보다 작은 밀폐된 물리적 공간으로 전송했습니다. 금속 플레이트와 스프링은 소리의 에너지를 전달하고 흩어지게 하는 역할을 했습니다. 이 소리는 금속을 통해 전달되고 금속의 끝에 도달하면 다른 공간에서와 마찬가지로 다시 왔다 갔다 하며 반사됩니다. 이 장치는 밀도가 높은 금속에서 소리가 더욱 빠르게 이동한다는 사실을 잘 활용합니다. 예를 들어 강철에서는 소리가 공기에서보다 20배나 빠른 초당 6,096미터의 속도로 이동하죠 (공기에서는 340m/s). 강철도 공간에서의 잔향과 유사한 잔향의 시간을 가지도록 해주는 감폭 속성이 있습니다. 이 요인은 훨씬 더 작은 단위를 사용해서 풍부한 밀도의 반향을 생성할 수 있게 해줍니다. 이 요인도 자체적인 속성을 가집니다. 예를 들어 서로 다른 주파수의 소리는 강철에서 서로 다른 속도로 이동합니다. 이 현상은 분산(dispersion)이라고 부릅니다. 이 현상은 잔향에서 아주 작지만 들을 수 있는 주파수 변조 신호를 일으키는데, 이 신호는 음악 제작에서 아주 인기 있는 효과가 되었습니다. 반향실을 사용한 첫 음악 녹음 [2][3]
스프링 잔향의 주파수 반응 [4]
모듈식 합성에서의 스프링 잔향
공간적인 관점에서 볼 때 물리적 잔향은 분명 이상적인 방법이 아닙니다. 하지만 재미 삼아 이 아이디어를 살펴보죠. 콘텐츠를 공간을 모방하는 가상 공간으로 (리스너마다 한 공간씩) 스트리밍하고 리스너의 위치와 방향을 나타내도록 바이노럴 마이크를 옮기면서 라우드 스피커를 음원을 따라 옮길 수 있습니다. 일부 레이턴시가 생길 수 있으며 어떤 방면으로는 거의 실행 불가능하겠지만, 이렇게 공간적 잔향을 감지하는 이론적 기준을 설정합니다.
|
|
|
|
|
지연 기반 방법
음악 제작의 진화에 따라 잔향도 결국 전자 장치로 옮겨졌습니다. 지연(딜레이)은 디지털 세계에서 지연 선으로 불리는 지속적인 메모리이며, 신호를 저장하여 조금 뒤에 재생할 수 있습니다. 가장 간단한 형태인 지연 잔향은 출력을 지연의 입력으로 다시 제공하여 쇠퇴하는 여러 반향을 만들어내는 간단한 지연입니다. 이 지연에서는 보통 지연의 길이를 제어할 수 있는 컨트롤과 쇠퇴를 조절할 수 있는 일부 감쇠 요소에 대한 컨트롤에 제공됩니다. 이 잔향 단위를 기반으로 하는 최초의 상용화된 지연 중 하나는 바로 Roland Space Echo (롤랜드 스페이스 에코)입니다. 이 지연은 신호가 자기(magnetic) 테이프에 저장되며 조정 가능한 지연 후에 재생되는 방법을 사용합니다.
Roland Space Echo - RE - 201
반향의 밀도를 높이기 위해서 지연의 출력을 다시 자체적으로 제공하면 재순환하는 지연을 생성할 수 있습니다. 그리고 여러 지연을 함께 조합할 수도 있습니다. 여러 지연을 병렬로 배치하여 개별적으로 제어하거나, 순차적으로 배치해서 반향의 밀도를 빠르게 높일 수 있습니다.
이 종류의 잔향이 가진 문제 중 하나는 바로 시스템의 주파수 반응을 제어하는 것입니다. 이상적으로 공간에서 소리 여러 물질의 주파수에 따른 흡수를 모방해내기 위해, 주파수에 따라 감쇠되는 속도를 다르게 해야 합니다. 하지만 오디오 신호를 자체 신호에 가깝게 복사하면, 소리의 추가적인 본성으로 빗형 필터가 생성되어서 지연의 길이에 따라 일부 주파수가 감쇠됩니다.
수년에 걸쳐 출력의 음색을 제어하면서 지연을 사용할 수 있는 여러 가지 신호 처리 기술이 개발되었습니다. 1958년에는 현대 인공 잔향의 선구자인 맨프레드 R. 슈로더(Manfred R. Schroeder)가 올패스(all-pass)라는 새로운 유형의 계단식 필터를 사용하는 잔향 설계를 출시했습니다. 이 필터는 심지어 작은 지연으로 복사한 후에도 원본 신호의 모든 주파수를 유지하는 특별한 속성을 가지고 있습니다. 이 설계는 잔향의 주파수 반응을 개별적으로 제어할 수 있게 해주는 획기적인 기술이었습니다. 이로 인해 오늘날 여전히 사용되고 있는 대부분의 인공 잔향기가 제작되어 무제한의 다양한 필터와 지연 선을 서로 조합하여 잔향 효과를 만들어낼 수 있게 되었죠.
다채널 지연 네트워크는 거르존(Gerzon)에 의해 1970대에 처음으로 소개되었습니다. 이 지연 네트워크는 1990년대 초반에 오디오 선구자인 쟌 마르크 잣(Jean-Marc Jot)에 의해 계속해서 개발되었으며 [6] 가장 인기 있는 지연 잔향 설계 중 하나인 Feedback Delay Network (피드백 지연 네트워크, FDN)로 공식화되죠. 원래의 의도는 여러 채널에 대한 신호를 한 번에 생성할 수 있는 지연 설계를 제작하는 것이었습니다. 또한 이 설계는 재순환하는 여러 지연과 톤 제어를 간소화해주었습니다. 이 설계의 다채널 방면은 소리의 위치를 정위하려는 것이 아닙니다. 대신 각 스피커로 약간씩 다른 오디오 신호를 전달해서 여러 스피커에서 오는 동일한 신호가 다시 조합되면서 위상에 약간씩 빗나감으로 인해 생기는 빗형 필터링 효과를 최소화하는 것을 목표로 합니다.
Wwise RoomVerb는 오늘날에도 여전히 인기 있는 FDN 알고리즘의 좋은 예시입니다. FDN에서 알려진 제약 중 하나는 처음에 충분한 반향을 축적하는 데에 느릴 수 있다는 것입니다. 바로 이 이유로 RoomVerb는 다양한 공간의 미리 정의된 초기 반사 패턴을 사용해서 효과를 보충해 주는 옵션을 제공해 줍니다. 이 패턴은 알고리즘이 지연을 자연스럽게 재순환하는 도중 초반에 반향의 밀도를 높여주는 여러 개의 고정적 반향 패턴입니다.
몰입형 측면에서 지연 기반 잔향기는 어느 정도 제약적일 수 있습니다. 여러 반향을 축적하기 위해서 출력을 시스템의 입력으로 제공하는 효율적인 절충안은, 공간과 시간 안에서 반향을 개별적으로 배치하지 못합니다. 반향이 축적되면서 우리는 서로 다른 반향을 구별하고 위치를 파악하는 지각 능력을 잃기 때문에 이 제약은 어느 정도 수용할 수 있습니다. 사실 밀도가 높을 때 신호의 가까운 반복이 서로 합쳐져서 분산되는데, 우리는 이 현상을 후기 잔향이나 분산된 잔향이라고 부릅니다. 그렇기 때문에 초기 반사음의 주요 문제는, 밀도가 낮아서 우리가 각 반향을 개별적으로 인지할 수 있을 때입니다. 이 현상은 거울 반사(specular reflection)라고 부릅니다. 여기에 대해서는 다음 글에서 더욱 자세하게 알아보도록 하겠습니다.
 |
|
 |
|
공간 임펄스 반응 중첩
중첩을 사용하면 공간의 잔향을 효과적으로 녹음하고 어떤 입력 신호로든지 적용할 수 있습니다. 중첩은 두 개의 신호를 조합하여 세 번째 신호를 형성하는 수학적인 작업을 말합니다. 중첩 잔향의 경우 원본 신호가 미리 녹음된 공간의 임펄스 반응과 중첩됩니다. 이 임펄스 반응은 각 '임펄스'에서 신호를 효과적으로 지연하고, 무게감을 주고, 복사합니다. 신호 처리에서 임펄스 반응은 신호에 임펄스를 넣은 다음에 시스템에서 나오는 신호를 말합니다. 공간 임펄스 반응(RIR)의 경우 공간의 반향 패턴을 녹음한 것이라고 생각하시면 됩니다. 이 공간 임펄스 반응은 일반 녹음 장비로 쉽게 캡처할 수 있으며 상대적으로 조용한 공간에 접근할 수 있게 해줍니다. RIR이 실제 공간의 녹음에서 나오기 때문에 이 잔향 기술은 보다 더 복잡하고 현실적인 잔향 효과를 렌더링 해 낼 수 있습니다. RIR이 더 길수록 잔향의 꼬리가 더 길어져서 계산이 더 많이 필요하며 메모리가 더 소비됩니다. 고품질의 지연 기반 잔향기를 위해서는 수많은 지연 선이 필요하기 때문에, 짧은 잔향에서는 중첩이 더욱 효율적이며 긴 잔향에서는 지연 기반 잔향이 더욱 효율적입니다. 바로 이러한 이유로 오늘날 게임 제작에서 두 가지 방법이 모두 여전히 많이 사용되죠.
임펄스 반응 표현 [7]
임펄스 반응을 캡처하기 위해 흔히 사용되는 방법은 환경 소음이 거의 없는 공간에 마이크를 설치하고, 서로 다른 주파수로 공간을 자극할 수 있는 일시적인 큰 신호를 녹음하는 것입니다. 이를 위해, 보통 큰 박수 소리나 풍선이 터지는 소리를 사용하죠. 모든 주파수를 포함시키기 위해 주파수 스위프를 사용할 수도 있습니다. 이 경우 간단한 처리를 통해 녹음에서부터 임펄스 반응을 재구성할 수 있습니다. 임펄스 반응 녹음하기에 대한 더 많은 정보는 바룬 네어(Varun Nair)가 2012년에 쓴 글을 참고해 주세요 [8]. 요즘에는 Audioease(오디오이즈) [9] 와 같은 좋은 임펄스 반응 라이브러리가 있기 때문에 공간을 항상 직접 녹음할 필요는 없습니다.
다음은 중첩 잔향이 제공하는 기능 중 한 예시입니다. 이 녹음은 가장 잔향이 많은 장소의 임펄스 반응을 사용하여 제작되었습니다. 이 장소는 일반적으로 대중의 접근이 제한되어 있으며 여기에서 다양한 악기를 연주하거나 녹음할 수 없습니다.
![Longest reverberation in the world in an old oil tank in Scotland [10]](http://info.audiokinetic.com/hubfs/Screen%20Shot%202017-02-06%20at%209.56.17%20AM.png "Longest reverberation in the world in an old oil tank in Scotland [10]")
스코틀랜드의 오래된 기름 탱크 안에서 세계에서 가장 긴 잔향 [10]
본질적으로 중첩 잔향에 의해 제공되는 잔향 패턴은 완전히 고정적입니다. 지연 기반 방법과 마찬가지로 이 기술은 공간과의 상호작용이 불가합니다. 긴 복도의 중앙에서 걷는 것과 모서리에 가깝게 걷는 소리가 같게 들리죠. 이 경우 원하는 각 음원-리스너 위치에 대해 여러 개의 임펄스 반응을 녹음할 수 있지만, 생성되는 데이터의 양이 엄청나게 많아집니다.
최근까지는 모노나 스테레오 마이크 구성으로 임펄스 반응을 녹음하는 것이 표준이었지만, 이 경우 런타임 때 공간화가 고정적이게 되어버립니다. 녹음할 당시 왼쪽 벽에서 들려온 반향은 중첩 후에 항상 왼쪽 스피커에서 들려오게 되죠. 하지만 앰비소닉을 사용하여 공간 음향 데이터를 녹음하고 전달하는 유행을 따라서, 임펄스 반응도 앰비소닉 마이크로 녹음할 수 있습니다. 이 경우 모든 방향에서의 소리 전달을 녹음해서, 나중에 리스너의 관점에 따라 상호작용적으로 회전할 수 있죠. 이 방법은 잔향의 공간적 표현에서 엄청난 발전을 가져다주었습니다. 그럼에도 불구하고 이 방법에도 한 가지 중요한 공간적인 제약이 있습니다. 녹음 도중 마이크와 음원의 위치가 고정적이기 때문에 재생 도중 상호작용적으로 옮길 수 없다는 것이죠. 여러 개의 리스너-이미터 위치가 녹음되지 않는 한에서는요.
중첩 잔향은 실제 물리적 공간에 제약되지 않습니다. 임펄스 반응도 역시 파형이 전달되는 방식을 추정하는 다양한 기술을 통해 시뮬레이션될 수 있습니다. 여기에 대해서는 다음 글에서 더 자세히 알아보도록 하겠습니다.
|
|
|
|
신호 처리의 관점에서 기존의 잔향 알고리즘에 대한 더 많은 정보를 알아보려면 발리마키 엣 알(Välimäki et al)이 저작한 Fifty Years of Artificial Reverberation [4] 검토 글을 추천해드립니다.
지연 기반과 중첩 잔향은 오늘날 게임에서 가장 흔히 사용되는 종류의 잔향기이지만, 두 방법 모두 상호작용적인 잔향을 렌더링하는 분명한 솔루션을 제공해 주지는 않습니다. 잔향 효과를 더욱 잘 전달하고 공간화하는 새로운 기술을 계속해서 탐구해봐야 할 것입니다. 다음 글에서는 훨씬 더 복잡한 수준에서 소리 전달을 근사화하기 위한 현대적인 잔향 기술을 집중적으로 살펴보겠습니다. 그때까지 댓글로 궁금한 점을 알려주세요. 다음 글에서 질문에 대한 답을 제공해 드리도록 노력하겠습니다.
각주:
[1] https://www.gearslutz.com/board/attachments/so-much-gear-so-little-time/306216d1345733523-sinatras-vocal-chain-chamber.jpg[2] http://www.harmonicats.com/Press_circa_1947.html
[3] http://www.uaudio.com/blog/emt-reverb-history/
[4] V. Välimäki, J. D. Parker, L. Savioja, J. O. Smith, J. S. Abel, “Fifty years of artificial reverberation”, IEEE Transactions on Audio, Speech and Language Processing, vol. 20, no. 5, pp. 1421–1448, 2012년 7월. Available at: https://aaltodoc.aalto.fi/bitstream/handle/123456789/11068/publication6.pdf
[5] http://recordinghacks.com/2011/06/04/flutter-echo/
[6] https://ccrma.stanford.edu/~jos/cfdn/Feedback_Delay_Networks.html
[7] V. Välimäki, J. D. Parker, L. Savioja, J. O. Smith, J. S. Abel, “Fifty years of artificial reverberation”, IEEE Transactions on Audio, Speech and Language Processing, vol. 20, no. 5, pp. 1421–1448, 2012년 7월. https://aaltodoc.aalto.fi/bitstream/handle/123456789/11068/publication6.pdf에서 제공됨
[8] http://designingsound.org/2012/12/recording-impulse-responses/
[9] https://www.audiokinetic.com/products/wwise-add-ons/audio-ease/
[10] https://acousticengineering.wordpress.com/2014/08/01/acoustic-analysis-of-playing-the-worlds-longest-echo/
사진 크레딧: 버나드 로드리그(Bernard Rodrigue) - 'Audiokinetic 공간 음향 팀 페이지
댓글