몸은 어떻게 실시간 인터페이스가 되는가
다이토 마나베(Daito Manabe)의 작업을 볼 때 가장 먼저 눈에 들어오는 것은 기술이다. 전기 자극을 받은 얼굴, 움직임을 따라 반응하는 빛, 무용수와 드론이 동시에 움직이는 무대, AI와 모션 캡처가 결합된 안무. 하지만 이 작업들을 “최신 기술을 쓴 공연”으로만 읽으면 핵심은 사라진다. 마나베가 반복해서 묻는 것은 더 근본적이다. 몸은 어디까지 입력 장치가 될 수 있는가. 감각은 어디까지 제어 신호가 될 수 있는가. 무대는 언제부터 이미지가 아니라 실시간 시스템이 되는가.
그의 작업에서 몸은 더 이상 표현의 출발점으로 안정되어 있지 않다. 몸은 센서로 읽히고, 데이터로 분해되고, 전기 자극으로 다시 움직이며, 빛과 소리와 영상의 제어값으로 번역된다. 즉 몸은 감정을 표현하는 자연스러운 기관이 아니라, 읽고 쓰고 매핑하고 동기화할 수 있는 인터페이스가 된다. 이 전환이 마나베를 동시대 미디어아트에서 중요한 작가로 만든다.
얼굴은 감정의 표면이 아니라 회로가 된다
마나베의 초기 얼굴 전기 자극 작업은 이 문제를 가장 직설적으로 보여준다. 얼굴은 보통 내면 감정이 밖으로 드러나는 장소로 여겨진다. 우리는 표정을 보고 기쁨, 고통, 놀람, 불안을 읽는다. 그런데 외부 전기 신호가 얼굴 근육을 움직이는 순간, 표정은 더 이상 순수한 내면의 표현이 아니다. 얼굴은 회로와 전극과 타이밍에 의해 작동하는 출력 장치처럼 보인다.
이 장면이 불편한 이유는 단순히 낯설어서가 아니다. 그것은 우리가 인간적이라고 믿어 온 신체의 마지막 표면이 얼마나 쉽게 기술적 제어의 장으로 바뀔 수 있는지 보여주기 때문이다. 마나베의 얼굴은 사이보그적 은유가 아니라 실제 인터페이스다. 신체는 기계에 의해 확장되는 동시에, 기계에 의해 침범된다. 그의 작업은 이 양가성을 숨기지 않는다.
그래서 초기 신체 실험은 테크 데모가 아니라 신체 자율성에 대한 미디어아트적 질문으로 읽힌다. 표정은 누가 만드는가. 몸의 움직임은 어디까지 내 의지인가. 감각이 신호로 변환되는 순간, 인간은 표현하는 주체인가, 아니면 시스템의 일부인가. 마나베의 작업은 이 질문을 설명하지 않고 직접 작동시킨다.
무대는 사전 제작된 이미지가 아니라 동기화된 시스템이다
마나베의 작업은 얼굴 실험에 머물지 않고 대형 공연과 무대공학으로 확장된다. Perfume, Björk, Squarepusher, ELEVENPLAY와의 협업은 그의 시스템 미학이 어떻게 대중 공연의 규모로 옮겨갈 수 있는지를 보여준다. 여기서 무대는 단순히 영상을 틀고 조명을 비추는 장소가 아니다. 모션 캡처, 카메라, LED, 프로젝션, 사운드, 조명, 무용수의 움직임이 하나의 실시간 제어 구조 안에서 맞물린다.
이때 중요한 것은 화려함보다 동기화다. 이미지가 아무리 아름다워도 신체, 소리, 빛, 카메라, 센서가 어긋나면 작업의 힘은 사라진다. 마나베의 미학은 스크린샷보다 타이밍에 가깝다. 정확한 순간에 입력이 읽히고, 처리되고, 출력되고, 다시 퍼포머의 몸과 관객의 감각으로 돌아오는 과정이 작품의 본체다.
이 점에서 그는 연구실의 프로토타입과 엔터테인먼트 산업의 스펙터클을 분리하지 않는다. 실험적 센서 매핑은 공연 연출이 되고, 무대에서 검증된 기술은 다시 설치와 연구 프로젝트로 돌아간다. 많은 미디어아트가 전시장 안에서 기술을 보여준다면, 마나베는 기술이 관객 앞에서 실패 없이 작동해야 하는 라이브 조건 속으로 들어간다. 그 긴장이 그의 작업을 더 날카롭게 만든다.
안무는 데이터가 되고, 데이터는 다시 춤이 된다
discrete figures와 morphecore 같은 작업에서 마나베는 몸을 더 복잡한 방식으로 다룬다. 움직임은 단순히 촬영되거나 기록되는 것이 아니라, 포즈와 궤적과 리듬의 데이터로 분해된다. 모션 캡처, 포토그래메트리, 머신러닝, 3D 스캔, 뇌 디코딩 같은 기술은 여기서 시각효과의 보조 장치가 아니다. 그것들은 안무가 무엇인지 다시 묻는 장치다.
무용수의 몸은 데이터셋이 되고, 데이터셋은 다시 비인간적 움직임이나 아바타, 시뮬레이션, 증강현실 이미지로 돌아온다. 이 순환 속에서 춤은 더 이상 인간 몸의 순수한 표현만이 아니다. 춤은 분해되고, 예측되고, 합성되고, 다시 무대화되는 계산 가능한 사건이 된다. 하지만 이것이 곧 인간 퍼포머의 소멸을 뜻하지는 않는다. 오히려 마나베의 무대에서는 훈련된 인간 몸과 알고리즘 제어가 서로를 밀어내며 새로운 긴장을 만든다.
그 긴장은 생성형 AI 시대에 특히 중요하다. 오늘의 AI 시스템은 이미지와 소리뿐 아니라 움직임과 몸의 스타일도 학습하고 재조합한다. 이때 마나베의 작업은 단순한 “AI 안무”보다 더 정교한 기준을 제공한다. 문제는 기계가 춤을 만들 수 있는가가 아니다. 어떤 몸의 데이터가 어떤 조건에서 수집되고, 어떤 규칙으로 분해되며, 어떤 무대 환경에서 다시 감각화되는가가 문제다.
한국 미디어아트와 공연 기술이 읽어야 할 지점
마나베의 작업은 한국 맥락에서도 유용한 참조점이다. 서울미디어시티비엔날레에 소개된 Particles처럼 그의 작업은 이미 한국의 제도권 미디어아트 안에서 수용된 바 있다. 더 넓게 보면 한국의 공연·K-pop 제작 환경은 정밀한 군무, LED 무대, XR 배경, 실시간 카메라 연출, 무선 제어 장치를 빠르게 흡수해 왔다. 이 환경에서 마나베의 작업은 단순한 해외 레퍼런스가 아니라, 기술과 안무를 하나의 시스템으로 설계하는 방법론으로 읽을 수 있다.
다만 여기서 배워야 할 것은 장비 목록이 아니다. 센서를 쓰는가, 드론을 띄우는가, AI를 붙이는가보다 중요한 것은 입력-처리-출력의 구조가 작품의 논지와 어떻게 연결되는가다. 몸을 데이터로 만들었다면, 그 데이터화가 무엇을 드러내는가. 무대를 실시간 시스템으로 만들었다면, 그 실시간성이 관객의 감각을 어떻게 바꾸는가. 기술이 많아질수록 이런 질문은 더 필요해진다.
남는 판단 기준
마나베의 작업이 남기는 가장 강한 기준은 “몸을 이미지로 보여주는가, 아니면 몸이 시스템 안에서 어떻게 작동하는지 드러내는가”다. 전자는 시각효과에 머물 수 있다. 후자는 몸과 기술의 관계를 다시 묻게 만든다.
동시대 미디어아트가 AI, 센서, XR, 로봇, 실시간 엔진을 더 많이 사용할수록 이 구분은 중요해진다. 좋은 기술 기반 작업은 장비를 자랑하지 않는다. 그것은 장비가 몸, 감각, 시간, 제어권을 어떻게 다시 배열하는지 보이게 만든다. 마나베의 작업은 그 배열이 아름답고 불안하며, 때로는 위험할 수 있다는 사실을 동시에 보여준다. 그래서 그의 무대에서 몸은 표현하는 주체이자, 제어되는 장치이자, 아직 완전히 이해되지 않은 인터페이스로 남는다.