로크비의 소리는 몸을 다시 움직이게 한다

데이비드 로크비의 《Very Nervous System》에서 몸의 움직임이 소리로 바뀌고 다시 다음 몸짓을 이끄는 과정을 살피며, 상호작용을 조작의 성공보다 감각적 관계의 형식으로 읽습니다.

표지는 글의 주제를 표현한 AI 생성 개념 이미지입니다. 로크비의 실제 작품이나 전시 공간을 재현한 이미지가 아닙니다.

음악을 들으며 몸을 움직일 때 우리는 소리를 따라간다고 생각한다. 박자가 먼저 있고, 발과 어깨가 그 뒤를 잇는다. 그런데 몸을 움직여야 소리가 생기는 방에서는 이 순서가 바뀐다. 손을 뻗어 소리를 만든 뒤, 방금 들린 소리 때문에 손의 속도를 바꾸면 누가 누구를 이끈다고 말해야 할까. 시작한 것은 내 몸이지만 다음 동작의 이유까지 혼자 만든 것은 아니다.

데이비드 로크비(David Rokeby)의 《Very Nervous System》은 이런 관계를 다룬다. 카메라와 컴퓨터, 음향 장치를 통해 신체의 움직임을 소리로 바꾸는 설치다. 겉으로 보면 몸을 악기처럼 사용하는 작업이지만, 작가는 원하는 결과를 정확히 통제하는 일보다 참여자와 시스템 사이에 생기는 복잡한 관계에 관심을 둔다. 작가의 설명과 미술관의 전시 기록을 따라가면, 이 작품의 중요한 재료가 센서의 존재보다 응답을 들은 뒤 달라지는 몸이라는 점을 읽을 수 있다.

비어 있는 방에 인터페이스가 있다

칼턴대학교 아트갤러리(CUAG)의 2010–2011년 전시 소개는 관객이 처음에는 빈방처럼 보이는 공간에 들어온다고 설명한다. 카메라가 움직임을 포착하고, 영상 신호가 보이지 않는 컴퓨터로 전달되며, 처리된 결과는 음향 장치를 통해 공간에 돌아온다. 관객 앞에 건반이나 조작 패널이 놓이지 않아도 몸과 장치 사이에는 구체적인 연결이 존재한다. CUAG의 전시 기록

로크비는 이 작품의 인터페이스를 넓은 공간에 퍼져 있는 것으로 설명한다. 하나의 버튼처럼 위치와 기능이 또렷하지 않지만, 시간과 공간을 탐색하면서 만남의 언어가 형성된다는 것이다. 또한 컴퓨터를 사용할수록 몸이 멀어지는 경향에 맞서 몸을 적극적으로 끌어들이고, 작은 회로 안의 계산을 인간 크기의 공간에서 만나게 하려 했다고 밝힌다. 이는 컴퓨터의 보편적 본질에 대한 결론이라기보다, 작가가 작업을 시작하며 세운 대립과 방향이다. 로크비의 작품 설명

여기서 눈에 보이지 않는다는 말은 아무 매개도 없다는 뜻이 아니다. 카메라가 무엇을 감지하고, 움직임의 차이가 어떤 소리의 차이로 번역되는지는 여전히 장치의 구성에 달려 있다. 관객이 그 계산을 모두 보지 못한다고 해서 몸이 소리와 직접 합쳐지는 것은 아니다. 다만 매개의 위치가 손에 쥔 도구에서 움직일 수 있는 공간 전체로 옮겨 간다.

이 변화는 작품을 만나는 태도에도 영향을 준다. 조작 패널 앞에서는 대개 먼저 기능을 읽고 목적에 맞는 버튼을 고른다. 반면 공간 안에서 응답을 찾아야 한다면 동작 자체가 알아보는 방법이 된다. 팔을 뻗거나 몸의 방향을 바꾸는 행위는 결과를 실행하는 명령인 동시에, 이 공간이 어떻게 반응하는지 묻는 탐색이다. 몸은 미리 완성한 뜻을 전달하는 통로로만 머물지 않는다.

소리를 만든 몸이 소리에 답한다

움직임이 소리를 만든다는 설명만으로는 작품의 절반만 드러난다. 남은 절반은 소리를 들은 참여자가 다음 움직임을 달리한다는 데 있다. 로크비는 이를 빠르고 복잡한 피드백의 순환으로 설명하며, 사람과 컴퓨터가 서로의 반응에 관여하는 동안 관계가 계속 달라진다고 쓴다. 그의 관심은 참여자가 장치를 완전히 지배하는 상태보다 그 관계에 관여하는 경험에 있다. 작가의 피드백 설명

이 순환을 생각하기 위해 간단한 장면을 가정할 수 있다. 팔을 크게 움직였는데 예상보다 거친 소리가 들리면, 다음에는 속도를 늦춰 차이를 확인할 수 있다. 반대로 작은 동작에서 흥미로운 소리를 발견하면 그 움직임을 되풀이해 볼 수도 있다. 특정 몸짓에 특정 음색이 반드시 연결된다는 작품의 규칙을 말하는 것은 아니다. 응답을 듣는 행위가 곧 다음 입력의 조건이 된다는 구조를 보여 주는 예다.

따라서 작품을 잘 다룬다는 말도 조심해서 써야 한다. 원하는 음을 안정적으로 재현하는 숙련과, 익숙하지 않은 반응을 들으며 몸의 가능성을 탐색하는 경험은 서로 다르다. 로크비가 몸으로 연주하는 악기라는 비유를 쓰면서도 통제의 의미를 경계한 이유가 여기에 있다. 작품의 목적을 정확한 연주에만 두면, 예측과 어긋난 소리가 열어 주는 행동의 여지를 실수로 처리하기 쉽다.

그렇다고 불규칙한 반응이면 무엇이든 깊은 상호작용이 되는 것은 아니다. 내 움직임과 소리 사이의 관계를 전혀 짐작할 수 없다면, 응답은 나와 무관한 배경음처럼 들릴 수도 있다. 중요한 긴장은 모든 규칙을 즉시 알아내는 상태와 아무 관계도 찾을 수 없는 상태 사이에 있다. 무엇인가 연결되어 있다는 감각은 남기면서, 그 연결을 계속 시험하게 하는 정도다.

또한 서로 반응한다는 표현을 오늘날의 기계학습과 곧바로 연결해서는 안 된다. 여기서 확인되는 것은 참여자의 움직임이 소리에 관여하고 그 소리가 다시 움직임에 영향을 주는 관계다. 공개된 설명만으로 작품이 관객별 데이터를 축적하거나 스스로 새 모델을 학습한다고 결론 낼 수는 없다. 관계가 달라진다는 미학적 설명과 프로그램이 학습한다는 기술적 주장은 구분해야 한다.

작은 소리가 바꾸는 몸의 크기

《Very Nervous System》을 하나의 고정된 장치로만 상상하면 전시 기록 사이의 차이를 놓친다. 작가의 작품 페이지는 제목에 1986–1990을 표기하고, CUAG와 로버트 매클로플린 갤러리의 기록은 1986–2004라는 기간을 사용한다. 이를 단일한 완성 연도로 묶기보다, 발전과 변형이 이어진 작업으로 읽을 필요가 있다. 작가 기록, CUAG 기록

로버트 매클로플린 갤러리의 2015년 전시 소개는 그 변화를 구체적으로 설명한다. 이전 버전이 크고 극적인 몸짓에 더 잘 반응했다면, 당시 전시 버전은 미세한 움직임에도 반응했다고 한다. 초기의 전통적인 음악을 연상시키는 신시사이저 소리에서, 종이를 구기거나 덕트 테이프를 풀어내는 듯한 촉각적인 소리로 무게가 옮겨 갔다는 설명도 있다. 이 기록은 해당 전시 버전에 관한 것이며 모든 시기의 소리가 같았다는 뜻은 아니다. 로버트 매클로플린 갤러리의 전시 기록

감도가 높아졌다는 말을 기술 성능의 향상으로만 받아들이면 경험의 변화를 놓친다. 어떤 움직임까지 응답을 얻는지에 따라 관객이 주의를 기울이는 몸의 범위도 달라질 수 있다. 큰 팔 동작을 찾던 사람이 손목의 작은 변화에 귀를 기울이게 되는 식이다. 더 정밀한 감지는 단순히 더 많은 데이터를 얻는 일이 아니라, 어떤 행동을 탐색할 가치가 있는 것으로 만드는 일이기도 하다.

소리의 재료 역시 같은 역할을 한다. 익숙한 악기 소리는 연주나 박자를 떠올리게 할 수 있고, 종이가 구겨지는 소리는 압력과 마찰을 상상하게 할 수 있다. 이 차이는 작가가 관객에게 한 가지 감정을 주입했다는 증거는 아니다. 다만 소리를 고르는 일이 관객이 움직임을 이해할 어휘를 고르는 일과 이어진다는 해석은 가능하다. 같은 신체 입력이라도 무엇으로 돌아오느냐에 따라 몸이 자신을 읽는 방식은 달라진다.

이 때문에 작품을 다시 전시할 때 카메라가 켜지고 소리가 나는지만 확인해서는 충분하지 않을 수 있다. 어떤 크기의 동작이 들리는 차이를 만들고, 그 차이가 다시 탐색을 부르는지까지 살펴야 한다. 장치의 정상 작동과 작품이 형성하는 관계의 보존은 연결되어 있지만 같은 검증 항목은 아니다. 이 오래된 설치가 오늘의 제작자에게도 남기는 구체적인 과제다.

반응을 많이 만드는 것 너머

오늘의 체험형 전시에는 관객의 움직임에 따라 화면이나 소리가 바뀌는 장면이 익숙하다. 이때 상호작용을 설명하는 가장 쉬운 방식은 입력과 출력의 목록을 만드는 것이다. 손을 들면 빛이 켜지고, 가까이 가면 소리가 커지는 식이다. 필요한 설명이지만, 그 목록만으로 관객이 왜 다음 행동을 해 보고 싶어지는지까지 알기는 어렵다.

로크비의 작업을 기준으로 삼으면 질문의 방향이 달라진다. 무엇이 작동하는지를 확인한 다음, 그 응답이 참여자의 주의와 동작에 무엇을 되돌려 주는지 물을 수 있다. 관객은 효과를 한 번 확인하고 떠나는가, 차이를 들으며 속도와 자세를 바꾸는가. 작품이 요구하는 행동을 수행하는 데서 끝나는가, 자신의 움직임을 전과 다르게 알아차릴 여지가 생기는가. 이는 관객 모두가 같은 반응을 보인다는 단정이 아니라 작품을 살펴볼 관점이다.

참여의 크기를 몸짓의 크기와 혼동하지 않는 것도 중요하다. 크게 움직여야만 적극적인 관객인 것은 아니다. 작은 차이를 들으려고 움직임을 줄이거나 멈추는 행동도 탐색의 일부가 될 수 있다. 전시의 반응을 화려하게 늘리는 일과 참여자가 차이를 느낄 시간을 남기는 일은 때로 다른 설계를 요구한다.

《Very Nervous System》의 의미는 몸을 새 입력 장치로 발명했다는 데만 있지 않다. 몸이 만든 소리가 다시 몸에 질문을 돌려주는 관계를 작품의 형식으로 삼았다는 데 있다. 상호작용은 내가 무엇을 바꿀 수 있는지 보여 주면서, 그 변화가 나의 다음 행동을 어떻게 바꾸는지도 드러낸다. 소리가 몸을 따라오는 순간과 몸이 소리에 답하는 순간 사이에서, 작품은 계속 새롭게 구성된다.