2채널 스테레오 시스템에서 객체 트래킹 및 엘리베이션 구현
양성원 (사)무대음향협회 기술위원
- (사)무대음향협회 기술위원이자 부천문화재단 음향감독인 양성원 감독은 이번 박람회 중 9월 5일에 <2채널 스테레오 시스템에서 객체 트래킹 및 엘리베이션 구현> 이라는 주제로 강의를 진행햐였다. 다양한 방식을 통한 공간감의 구현 방식에 대해 세미나를 진행해준 양성원 감독을 만나보았다.
안녕하세요! (사)무대음향협회 협회지 SSM입니다. 본인 소개 부탁드립니다.
안녕하세요. (사)무대음향협회의 기술위원 양성원입니다. 현재 부천문화재단의 무대음향 감독으로 있습니다.
“2채널 스테레오 시스템에서 객체 트래킹 및 엘리베이션 구현”이라는 주제로 세미나를 준비하셨습니다. 객체 트래킹을 구현할 때 가장 중요한 요소는 무엇이며, 추가적인 채널을 도입하거나 다채널 시스템을 사용하지 않고도 효과적으로 구현할 방법은 어떤 것이 있을까요?
이번 발표의 핵심은 일반적으로 가장 많이 사용되고 있는 2채널 스테레오 시스템 안에서 소리의 좌우패닝과 상하 엘리베이션 효과를 배우, 강연자, 무용수, 오브제 등의 위치 변화에 연동하여 능동적으로 구현하는 것입니다. 이를 위해 필요한 기술, 응용, 장비에 관한 내용을 다루었습니다.
객체 트래킹 구현에서 가장 중요한 것은 연출의 의도, 작품의 해석, 그리고 예술적인 표현에 가장 효과적인 객체의 선택이며, 객체의 행위, 동선, 패턴과 같은 움직임이 그것에 도움이 되느냐일 것 같아요. 예를 들면 과도한 모션과 그에 따른 소리의 변화로 극적인 효과를 연출할 수 있더라도 작품의 서사와 플롯을 방해해서는 안 됩니다.
그 지점을 이해하고 기술을 활용하는 것이 무엇보다 중요합니다. 사운드의 퀄리티와 효과 측면에서 보면 전형적인 3D 입체음향 시스템이 가장 사실적이고 풍부하죠. 다만, 2채널 스테레오 시스템에서도 상하 엘리베이션 효과와 같은 입체적인 사운드의 변화를 구현할 수 있다면 더 많은 사람들이 입체음향의 매력을 체감하게 되고 실제 3D 사운드에 대한 니즈(Needs)가 높아질 것입니다.
실제로 애플뮤직에서 Spatial Audio서비스가 처음 공개되었을 때 바이노럴 오디오만으로도 쉽게 입체음향을 들을 수 있다는 사실이 큰 반향을 일으켰던 것을 예로 들 수 있죠. 또한, 추가적인 채널을 도입하지 않고도 엘리베이션을 구현하는 방법으로는, 노치필터(Notch Filter)와 위상(Phase)변화를 활용하는 방식이 있습니다. 이 접근은 프로세스를 단순화하고 단 두 가지 요소만으로도 고도 각 변화를 체험할 수 있다는 점에서 효과적입니다.그러나 본질적으로 소리의 왜곡에 의존한다는 한계가 있습니다.
이번 강연에서 사용된 프로그램/프로세싱은 무엇인지, 해당 기술을 구현하면서 발생할 수 있는 주요 기술적 문제나 한계가 있으셨다면 무엇인가요? 또 이를 극복한 과정이 있으실까요?
객체 트래킹을 구현하기 위해서는 먼저 배우의 특정 신체를 분석할 수 있는 3D 뎁스 카메라가 필요합니다. 여기서부터 진입장벽이 느껴질 수 있겠지만 게임을 좋아하시는 분에게 친숙한 MS XBOX360의 동작 인식 센서인 Kinect v2를 사용하였습니다. 이것으로 각 신체의 위치 데이터를 분석하였습니다. 그리고 이렇게 수집된 위치 데이터를 기반으로 Derivative의 TouchDesigner를 사용하여 사운드를 변화를 컨트롤하였습니다. 이것은 노드 기반의 실시간 비주얼 프로그래밍 툴로, 오디오 비주얼 미디어 아트 분야에서 널리 사용되며 6종의 오퍼레이터(Operator)라는 모듈형 프로그래밍 언어를 조합하여 원하는 방식으로 오디오 및 비주얼을 편집할 수 있습니다.
다만, Kinect v2는 소공연장의 무대 규모의 공간 분석에는 적합하지만, 대공연장이나 더 큰 무대 환경에서는 한계가 존재합니다. 물론 퍼포먼스 공간을 특정 구역으로 한정한다면 이러한 문제는 일정 부분 해결할 수 있습니다. 현재는 이보다 성능이 우수하고 정확도가 높은 Luxonis의 OAK-D 카메라(Long Range 버전)로 연구하고 있습니다. OAK-D는 자율주행 분야에 응용되는 3D 카메라로, AI 기반의 분석 기능이 포함되어 있어 더 넓은 공간에서도 안정적이며 정밀한 연구가 가능합니다.
2채널 스테레오 시스템에서 엘리베이션 구현 기술을 사용함으로써 라이브 공연이나 녹음 환경에서 어떤 기대효과가 있을까요? 그리고 이 기술이 특히 유용하게 활용될 수 있는 공연 유형은 어떤 것이 있을까요?
사운드의 수평적 변화는 ID(Interaural Intensity Difference)나 ITD(Interaural Time Difference)로 쉽게 표현할 수 있습니다. 그러나 수직적 변화는 인간의 청각적 특성상 2채널 스테레오 시스템만으로 구현하기가 어렵습니다. 따라서 음질의 저하나 왜곡의 문제를 차치하더라도 사운드적으로 상하좌우의 변화를 줄 수 있는 것만으로도 충분히 액티브한 사운드 연출이 가능하고 관객은 이러한 변화를 통해 더욱 흥미로운 청취 경험을 얻게 되며, 나아가 특정 객체의 시각적인 움직임과 청각적인 움직임을 일치시켜 감각의 일치화로 감상과 몰입을 크게 높일 수 있습니다. 대표적으로 동적 요소가 많은 뮤지컬, 무용과 같은 공연에 유용할 것입니다.
이번 세미나 이후 기술적으로 개선을 위한 추가적인 계획이 있으실까요? 추가로 연구하고자 하시는 부분이 있으신지 궁금합니다.
현재는 PC 기반의 TouchDesigner를 활용하여 객체 데이터의 분석과 사운드 컨트롤을 프로그래밍하고 있지만 상용화까지 생각해서 이를 일체형 모듈로 발전시킬 계획입니다. 카메라 개발까지는 어렵더라도 Raspberry Pi 4, Teensy 4.1, ESP32-S3 등과 같은 소형 프로세서를 조합하여, 별도의 복잡한 환경 설정 없이도 바로 응용하여 사용할 수 있는 단계까지 일단 고려하고 있습니다. 이를 위해선 정말 공부도 많이 해야 하고 많은 시행착오를 거쳐야 하겠죠.
끝으로 (사)무대음향협회 회원과 협회지 SSM 독자분들에게 전하고 싶은 말씀 부탁드립니다.
올해 KOSOUND+STAGETECH도 많은 참여와 관심으로 성황을 이룬 것에 축하드리며 준비하신 이사장님, 사업국장님, 감독님께 감사드립니다. 여러 가지로 지원을 아끼지 않으신 협력사에게도 감사드립니다. 고생 많으셨습니다. 좋은 정보가 가득한 SSM에도 많은 발전을 기원합니다. 
