Part 1: Distance Modeling and Early Reflections
Part 2: Diffraction
Part 3: Beyond Early Reflections
소리는 파동으로 전달되며 이 파동의 작동 방식에 따라 바뀌게 됩니다. 그 중 하나는 '장애물의 모서리나 구멍을 통해 파동이 굽어지는' 회절(diffraction)입니다 [14]. '회절의 양은 파장과 장애물의 크기에 따라 달라집니다. 파장에 비해 장애물이 작을 경우 회절은 장애물에 방해받지 않습니다. 반면, 보다 큰 장애물 뒤에 있을 경우 아무 소리도 들리지 않게 됩니다. 결론적으로 저주파의 파동은 고주파의 파동보다 모서리에서 더 큰 각도로 퍼집니다. 목소리가 옆 방에서 들려올 때 둔한 소리로 들리는 것이 바로 이 때문이죠' [15].
.png)
그림 1 -회절로 인해 파동이 모서리에서 구부러집니다.
사운드 디자이너가 실용적인 관점에서 회절을 사용할 수 있는 이유와 방법을 고려해보기 전에 먼저 회절이 무엇인지 더 자세히 살펴봐야 합니다.
파동 기반과 레이 기반 소리 전달 시뮬레이션
제 동료였던 브누아 알라리(Benoit Alary)가 작성한 블로그에서는 회절이 무엇인지와 레이 기반과 파동 기반 소리 전달 시뮬레이션이 서로 어떻게 다른지를 설명해줍니다 [16]. 짧게 말해 파동 기반 방법은 파동의 복잡한 모든 작동 방식을 자연스럽게 시뮬레이션하기 때문에 원리적으로 더욱 정확합니다. 하지만 파동 기반 방법으로 소리 전달을 시뮬레이션할 경우 종종 모든 위치와 시간에서 파압(pressure)을 알아야 하기 때문에 CPU와 메모리가 아주 많이 소비됩니다. 반대로 레이 기반 모델은 리스너에게 도달할 파면의 단일 지점을 나타내기 위해 레이를 사용하기 때문에 계산이 훨씬 간단합니다. 기존의 레이 기반 모델은 레이를 캐스팅하여 표면에서 레이가 반사되도록 해서 반사를 모델링하지만 보통 회절과 같은 소리의 파동 속성은 무시합니다 [17].
파동 기반 모델을 검토하여 기존의 레이 기반 모델이 어떤 면에서 부족한지를 확인해보는 것이 좋습니다. 예를 들어 브누아의 블로그에 있는 파동 기반 시뮬레이션에서 생성된 브라이언 해밀턴(Brian Hamilton)의 소리 전달 애니메이션 한 프레임을 살펴봅시다 [18]. 이 멈춰진 시뮬레이션에서는, 주황색 X의 위치에서 섭동(perturbation)이 발생했으며 결과적인 파면은 왼쪽 벽에 부딪히고 반사되며 모서리를 넘어 전달되기까지 밖으로 전달됩니다. 이 시점에서는 모서리에서 나오는 원형의 희미한 파면이 보입니다. 이 파면은 회절의 결과입니다.
그림 2 - [18 ] 파동 시뮬레이션 애니메이션에서 찍은 이미지. 이 이미터는 주황색 X로 표시되었으며 바깥쪽 테두리는 '직접음'의 파면에 해당합니다. 안쪽에 있는 반 테두리는 벽에서 반사된 것이며, 빨간색 원으로 표시된 희미한 섭동은 모서리의 회절에 해당합니다..
레이 기반 회절
위의 예시에서는 시뮬레이션되지 않았지만 기존의 레이 기반 방법 위에 명시적인 회절 모델을 추가할 수도 있습니다. 이러한 모델에는 여러 종류가 있습니다. 관심 있으시다면 위에서 언급한 사비오하 엣 알(Savioja et al) 의 개요를 살펴보세요. 이 개요는 이러한 모델을 자세하게 조사합니다. 게임의 경우, 칭고스(Tsingos)는 2001년 Uniform Theory of Diffraction (UTD, 회절의 균일 이론)을 사용하여 레이 기반 소리 전달 모델을 제안했습니다 [19]. UTD는 빛과 전자기파의 회절을 모델링하며 모서리에 도달한 후 레이의 진폭과 위상을 예측합니다. 이 모델은 무엇보다도 쐐기 모양, 레이 입사각과 주파수를 염두에 둡니다. 물론 다른 모든 모델과 마찬가지로 이 모델도 몇 가지 가정에 의존합니다. 예를 들어 모서리는 무제한적으로 길어야 합니다. 실제로는 그럴 수 없기 때문에 이 모델은 모서리가 짧을 경우 정확도가 떨어지게 됩니다.
그림 3 - [19] 칭고스(Tsingos)가 발표한 UTD의 매개 변수: 음원 E가 쐐기의 끝에서 회절하고 UTD는 리스너 위치 L에서 이 회절의 크기와 위상을 예측합니다. 이 예측은 입사 거리와 입사각 ρ와 αi, 회절된 거리와 각도 r과 αd, 쐐기 모양 nπ에 따라 다릅니다.
UTD는 주어진 쐐기와 이미터 위치에 대해 그림자 영역, 뷰 영역, 반사 영역이라는 세 가지 영역을 정의합니다. 이 세 가지 영역은 위에서 사용한 멈춰진 애니메이션의 상단에서 볼 수 있습니다. 주황색 X는 음원의 위치를 표시합니다.
.png)
그림 4 - 회절 영역. 주황색 X는 음원의 위치를 표시합니다. 그림자 영역은 이미터와 리스너 사이에 시선이 없는 곳에 정의되고, 반사 영역은 시선과 쐐기에 인접한 표면으로 인한 시선과 정반사가 모두 있는 곳에 정의되며, 시야 영역은 시선이 있는 곳에만 정의됩니다. 노란색 원은 시야 영역에서 회절을 강조 표시해 줍니다.
회절의 실제 사용 사례
장애물 뒤에 있는 소리 듣기- 직접 경로의 그림자 영역 회절
회절 레이를 계산하기 위해 소중한 CPU 주기를 소비해야 하는 이유는 과연 무엇일까요? 이 계산이 필요한 가장 명백한 첫 번째 이유는 직접 경로의 그림자 영역 회절을 해결하기 위해서입니다. 기존의 레이 기반 방법에서는 그림자 영역에 아무 소리도 있지 않습니다. 칭고스는 '특히 음원과 수신자가 사이에 잇는 직접 경로가 차단될 경우 음향 환경의 올바른 해석을 위해 회절이 정말 중요하다'라고 말합니다 [19]. 실제로 우리가 모서리 뒤에 있는 소리도 들을 수 있는 이유는 회절 덕분입니다. 아무 소리도 들리지 않는 것과 비교하면 이 효과는 아주 중요하죠. 게임은 이 문제를 다양한 수준의 정교함으로 해결하며, 보통 레이 캐스팅을 기반으로 방해 요인을 구동하는 통계적 접근 방식을 사용합니다.
초기 반사 롤 오프 - 시야 영역 회절
시야 영역에서의 회절은 그림자 영역에서의 회절보다 훨씬 미묘합니다. 왜냐하면 이미터와 리스너 사이에 이미 시선이 존재하기 때문이죠. 이미터로부터 직접 오는 파면은 모서리에서의 회절로 인한 파면보다 훨씬 큽니다. 이 때문에 레이 기반 방법을 사용하는 일부 음향 엔진은 심지어 이 파면을 모델링 하지도 않습니다.
하지만 이 모델링은 실용적으로 사용할 수 있습니다. 그림 4를 다시 보세요. 시야 영역에서는 리스너가 회절 없이 직접음만 듣게 됩니다. 하지만 노란색 원으로 강조 표시된 것처럼 회절로 인해 반사된 파면이 시야 영역 안으로 확장됩니다. 실제로 정반사 영역과 반사가 없는 영역 사이의 전환은 무제한으로 선명하지 않으며, 영역 사이를 매끄럽게 롤 오프하는 방법으로 시야 영역 회절을 사용할 수 있습니다. 레이의 관점에서 볼 때 시야 영역 회절은 그림 5에서처럼 '회절된 반사 레이'로 표현될 수 있습니다.
.png)
그림 5 - 시야 영역 회절의 레이 기반 표현: W에 인접한 표면의 반사 레이는 반사-시야 경계선에서 시야 영역으로 '회절'합니다. 각도 α는 반사 영역과 시야 영역 사이의 매끄러운 전환을 제어하기 위해 사용할 수 있습니다.
반사 영역 회절
회절은 또한 회절 영역에서 일어날 수 있습니다. 하지만 이 회절은 직접음 및 정반사와 경쟁하기 때문에 시야 영역 회절보다도 덜 중요합니다. 그리고 간섭 패턴이 어느 정도 생겨나기 때문에 렌더링에 현실감을 더해주거나 그러지 않을 수도 있습니다.
모든 현상을 모델링하기 위해서는 분명 비용이 들게 되며, 여기서 볼 수 있듯이 모든 현상을 모델링함으로써 잃게 되는 것도 있습니다. 이렇게 이 블로그 시리즈의 제 1부에서 다룬 거리 감쇠의 주관성에 대해 저희가 찾아낸 것과 마찬가지로 중요한 질문이 생겼습니다. 얼마나 정확한 모델링이 필요한 걸까요?
Wwise에서의 회절
심지어 거리 감쇠와 같은 간단한 현상 조차도 원하는 심미적인 효과를 얻고 시각적인 요소와 맞추기 위해서는 디자이너가 볼륨과 필터로 매핑되는 다양한 곡선을 사용하여 '재해석'해야 한다는 것을 보았습니다. 저희는 회절에도 동일하게 창작자에게 힘을 실어주는 논리를 사용하기로 했습니다. 저희는 사운드 디자이너가 방해나 유한한 지오메트리를 사용하고 모서리에서 소리가 얼마나 롤오프되는지 정의할 수 있는 도구를 제공해주고 싶었습니다. 그래서 저희는 UTD의 복잡한 공식 (이미 근사값)을 계산하기 위해 CPU를 낭비하는 대신 Wwise Spatial Audio가 추상적인 '회절 계수 (diffraction coefficient)'를 구동하도록 했습니다.
현재 이 계수는 그림자 영역 회절을 위해서 그림자 영역 경계선이 있는 레이의 각도에서 직접 계산됩니다. 다시 말해 입사각, 쐐기 모양, 모서리의 길이와 같은 요인이 무시되죠.
.png)
그림 6 - Wwise에서의 회절 계수. (직접 경로의) 그림자 영역의 각도는 그림자 경계선으로부터 가져오지만 시야 영역 회절 (즉, 반사의 회절)은 반사 경계선으로부터 가져옵니다.
예: 방해를 사용한 직접 경로의 그림자 영역 회절
게임으로 구동되는 방해 시스템 대신 Wwise Spatial Audio를 사용하여 인식한 지오메트리의 모서리 주변의 회절 경로를 계산할 수 있습니다. 그렇게 하려면 원하는 사운드에서 'Enable Diffraction (회절 활성화)' 체크 상자를 선택하세요. 계산된 회절 계수는 방해나 기본 게임 매개 변수인 특수 Diffraction을 구동하기 위해 사용할 수 있습니다 (그런 다음 원하는 대로 볼륨과 필터링으로 매핑할 수 있습니다).
.png)
(a)
.png)
(b)
.png)
(c)
.png)
(d)
그림 7 - Wwise에서 직접 경로의 그림자 영역 회절 구성하기. (a) Positioning 탭에서 Diffraction을 활성화함. (b) Diffraction은 원할 경우 프로젝트 범위에서 Obstruction 곡선을 구동합니다 (기본 초기화 설정). (c) 3D Viewer: 각각 ~34%와 17%의 회절각 (보이지 않음). 전체 회절 계수는 계단식 모서리의 회절의 합입니다 (~51.8%). 노란색 이미터는 게임에 의해 설정된 실제 이미터 위치와 상응하기 때문에 장애물을 통한 소리의 전달과 연관됩니다. 보라색 이미터는 입사 회절 레이의 원점을 표시합니다. (d) Voice Inspector에서 Obstruction에 의해 구동되는 Bus Volume과 LPF가 표시됨. Obstruction 자체는 Diffraction에 의해 구동됨.
예시: 골목 끝에서의 시야 영역 회절
벽으로 둘러 싸인 골목을 상상해보세요. 리스너가 골목을 나가면 방사되는 소리에서의 정반사 경로가 더 이상 없습니다. 이 경우 잔향 에너지의 급격한 감소로 이어질 수 있으며, 1차 반사음만 시뮬레이션할 경우 초기 반사음이 부족할 때 볼륨을 과장하는 경향이 있기 때문에 이 블로그 시리즈의 제 1부에서와 같이 이 현상을 훨씬 쉽게 인지할 수 있게 됩니다. 위에서 설명한 것과 같이 시야 영역 회절은 이런 에너지가 낮은 영역을 채워주고 반사 밀도가 높고 낮은 영역 간을 매끄럽게 전환할 수 있게 해주며, Reflect에서는 회절로 구동하는 볼륨과 필터 곡선을 편집할 수 있게 해줍니다.
(a)
.png)
(b)
.png)
(c)
.png)
(d)
그림 8 - (a) 3D Viewer에서 표시된 골목의 중간에서 방사하는 리스너. (b) Reflect에서의 허음원. (c) 골목 끝에서 방사하는 리스너. 오른쪽 벽에 있는 회절된 반사음은 24.5%의 회절로 리스너에게 도달합니다. (d) Reflect에서 회절 종속 곡선 위로 표시된 곡선 허음원 (image source). 회절된 반사는 추가적으로 저대역 필터링을 거치게 됩니다.
회절 vs. 그 외 다른 현상
보다 높은 반사 차순
회절과는 별도로, 보다 높은 반사 차순을 활성화하면 에너지가 낮은 영역을 채우는 데에 도움이 될 수 있습니다. 2차 이상의 반사는 1차 반사가 도달할 수 없을 경우에도 리스너에 도달할 수 있습니다. 음질과 CPU 비용 측면에서 어떤 방법이 여러분에게 가장 적합한지 실험해보아야 합니다.
.png)
.png)
.png)
그림 9 - 보다 높은 반사 차순은 회절과 더불어 혹은 회절 대신 골목 안팎 사이의 전환 효과를 매끄럽게 만들어줄 수 있습니다. 리스너가 골목으로부터 멀어지면서 눈에 보이는 레이의 개수가 점점 줄어드는 것을 보세요.
산란 (Scattering)
실제로 위의 골목 예시에서는 벽의 표면이 완전히 매끄럽지 않을 가능성이 높기 때문에 반사된 파동이 완전히 반사되지 않을 수 있으므로 골목의 끝에 있는 리스너의 경우 반사음도 들을 수 있게 됩니다. 레이 기반 방법에서는 이 현상을 산란을 통해 모델링합니다. 이 산란은 물질의 속성이며 거친 정도와 관련이 있습니다. 정반사에 비해 분산 반사를 생성하는 에너지의 비율을 정의하죠 (그림 10 참조). 표면이 거칠수록 더 많은 에너지가 분산 반사로서 반사됩니다. Wwise Spatial Audio는 현재 산란을 모델링하지 않기 때문에 보통 디자이너가 회절의 기여도를 과장하게 됩니다.
.png)
그림 10 - 산란: 얼마만큼의 입사 레이가 여러 분산 반사 (랜덤 방향) 혹은 하나의 정반사가 되는지의 정도를 정의합니다.
지오메트리의 효과
이제까지 다양한 음향 모델을 어떻게 사용 혹은 남용하여 부자연스러운 전환 효과나 에너지가 낮은 영역과 같은 문제를 해결하거나 모델링이 되지 않은 현상을 보완할 수 있는지를 알아보았습니다. 하지만 회절과 같은 음향 매개 변수를 볼륨과 필터링으로 자유롭게 매핑할 수 있더라도 여전히 한계가 존재합니다. 곡선의 볼록한 표면을 예로 들어봅시다. 컴퓨터에서 이 부분은 항상 부분적으로 평평한 표면으로 근사화됩니다. 그렇기 때문에 정반사가 없는 영역이 생길 수 있습니다. 이 차이를 회절이 채울 수 있습니다. 주어진 곡선 표면의 경우 구성된 삼각형의 수에 따라 결과가 약간 달라질 수 있습니다.
다음은 또 다른 예시입니다. 책장이나 그림 혹은 장식이 있는 벽 앞에 서있다고 상상해보세요. 모든 작은 모서리가 회절 레이를 만들어내겠죠. 이제 이러한 상세 정보가 모두 모여 결국 표면의 물질이 완전히 매끄럽지 않게 보일 정보가 되었다고 상상해보세요. 이전에 본 것처럼 이 현상은 보통 산란을 사용해서 모델링됩니다. 통계적으로 벽의 미세한 부분의 상대적인 방향때문에 여러 개의 (분산) 레이가 생겨나게 됩니다. 직관적으로 산란은 미시적 수준에서 발생하는 회절의 거시적인 관점이라고 볼 수 있습니다.
하지만 적어도 Wwise에서는 미시적 수준에서의 회절 모델링만으로 만족스러운 산란 효과를 만들어낼 수 없는 두 가지 이유가 있습니다.
1. 최고 수준으로 세밀하게 만든 게임 지오메트리도 현실 세계에서의 소리를 현실적으로 만들어주는 작은 불완전함을 완전히 재현해내지 못합니다.
2. 회절 모델이 아주 많이 단순화되었으며 이 효과가 자유롭게 해석됩니다.
대신 저희는 게임에서 전반적으로 세부 수준에 있어서 소리 전달 지오메트리를 일정하게 유지하고 합리적으로 간단하게 만드는 것을 권장합니다. 정반사가 너무 부자연스럽고 약간 흐려지기를 원한다면 대신 DSP 접근 방식을 사용하여 비용을 줄이는 것으로 더 나은 결과를 얻을 수 있습니다. 예를 들어 Wwise Reflect로 여러 필터를 추가해서 여러분만의 특제 소스를 만들어보세요!
이 블로그 시리즈의 마지막인 다음 글에서는 Wwise Spatial Audio의 후기 잔향과 추후 개발 계획에 대해 알아보겠습니다.
댓글