시스템을 보는 사람도 시스템 안에 있다

2차 사이버네틱스를 통해 관객, 작가, 센서, 큐레이터와 기관이 작품을 관찰하면서 동시에 그 시스템을 바꾸는 방식을 살핀다.

관객이 설치 앞을 지나가자 카메라가 움직임을 읽고 벽면의 빛이 바뀐다. 흔히 여기까지 설명한 뒤 "관객과 작품이 상호작용한다"고 말한다. 작동 방식은 맞다. 다만 중요한 부분이 빠져 있다. 카메라는 어떤 몸과 움직임을 잘 읽는가. 감지 임계값은 누가 정했으며, 어떤 반응을 성공으로 판단하는가. 전시가 끝난 뒤 입력 기록은 남는가.

이 질문을 따라가면 작품의 경계가 장치 밖으로 넓어진다. 작가의 코드, 기술 운영자의 보정, 큐레이터의 설명, 기관의 촬영 정책과 관객의 행동이 같은 사건에 들어온다. 작품을 바라보는 사람들도 이미 작품의 다음 상태를 바꾸고 있다.

2차 사이버네틱스는 이 빠진 부분을 다루는 언어다. 시스템을 외부에서 관찰하는 중립적인 시점을 가정하지 않고, 누가 무엇을 시스템이라고 부르며 어떤 차이를 신호로 선택하는지까지 분석에 포함한다.

시스템 밖의 중립적 시점은 없다

초기 사이버네틱스의 대표적인 질문은 시스템이 어떻게 제어되고 피드백을 주고받는가였다. 센서가 입력을 받고, 규칙이 값을 처리하고, 출력이 다음 행동에 영향을 주는 순환을 그리면 작품의 작동 구조가 보인다. 이런 분석은 여전히 필요하다. 반응형 설치의 신호 경로나 네트워크 지연을 모르면서 관계와 참여만 말하면 작품은 금세 추상적인 은유가 된다.

2차 사이버네틱스는 그 회로를 그린 사람의 위치를 다시 묻는다. 하인츠 폰 푀르스터가 널리 알린 구분을 빌리면, 1차 사이버네틱스는 observed systems, 2차 사이버네틱스는 observing systems를 다룬다. 1968년 마거릿 미드가 사용한 "cybernetics of cybernetics"와 폰 푀르스터가 편집한 1974년 동명 저작은 사이버네틱스가 자신의 관찰 방식과 사회적 효과를 되돌아보게 된 계보를 보여 준다. 이 흐름은 Klaus Krippendorff의 정리와 American Society for Cybernetics의 역사 자료에서도 확인할 수 있다.

여기서 관찰자는 세계를 그대로 복사하는 눈이 아니다. 무엇을 작품으로 묶을지, 무엇을 환경이나 잡음으로 밀어낼지 결정한다. 센서의 범위, 설문 문항, 로그의 항목, 전시 동선과 비평의 어휘가 모두 구분을 만든다. 관찰 도구가 달라지면 보이는 시스템도 달라진다.

그렇다고 모든 해석이 똑같이 옳다는 뜻은 아니다. 오히려 반대에 가깝다. 누가 어디에서 어떤 도구로 관찰했는지 밝히면 주장과 증거의 범위를 더 정확하게 따질 수 있다. "관객이 몰입했다"는 문장보다 관찰 시간, 확인한 행동, 빠진 인터뷰와 알 수 없는 부분을 적은 기록이 훨씬 쓸모 있다.

관객은 입력값이면서 판정자다

센서 기반 작품에서 관객은 시스템 안으로 쉽게 들어온다. 몸의 위치나 목소리, 심박, 표정이 입력이 되고 화면과 소리의 상태를 바꾼다. 하지만 입력을 제공한다는 사실만으로 관객이 작품의 규칙을 함께 정하는 것은 아니다. 관객은 효과를 바꿀 수 있어도 센서가 무엇을 측정하는지 모르거나, 자신의 기록을 지울 권한이 없을 수 있다.

이때 관객에게는 여러 역할이 겹친다. 작품을 해석하는 사람이고, 시스템을 움직이는 참여자이며, 경우에 따라서는 데이터의 주체다. 어느 역할이 앞서는지는 작품 설명만으로 알 수 없다. 실제 입력 경로와 저장 정책, 운영 절차를 함께 봐야 한다.

기술 운영자도 작품 바깥의 보조 인력이 아니다. 사람이 몰리면 센서 감도를 낮추고, 오인식이 늘면 임계값을 조정하며, 시스템이 멈추면 재시작한다. 이 판단은 관객이 만나는 작품의 상태를 바꾼다. 보존 과정에서도 마찬가지다. 오래된 카메라를 새 장치로 교체하고 소프트웨어를 에뮬레이션하는 순간, 보존자는 과거의 작품을 그대로 꺼내는 대신 새로운 실행 조건을 만든다.

큐레이터와 기관도 경계를 설정한다. 벽면 글은 관객에게 무엇을 참여로 읽어야 하는지 알려 주고, 촬영과 데이터 정책은 어떤 행동을 허용하거나 막는다. 전시 동선과 접근성, 인력 배치, 예산, 운영 시간은 시스템의 실제 가능 범위를 정한다. 작품은 코드와 장비만으로 닫히지 않는다.

이 복잡함을 "모두가 연결되어 있다"는 말로 뭉개면 정작 권한과 책임은 사라진다. 2차 사이버네틱스는 누가 관찰하고 어떤 구분을 만들었는지, 무엇을 바꿀 수 있고 결과에 얼마나 책임질 수 있는지 역할별로 나눠 보게 한다.

AI가 보는 것이 아니라 관찰이 분산된다

"AI가 본다"는 표현은 편하지만 너무 많은 것을 숨긴다. 기계 시각이 작동하려면 카메라나 센서가 장면을 포착하고, 입력이 특정 형식으로 바뀌며, 모델이 특징과 범주를 계산한다. 임계값이 판정을 가르고, 인터페이스가 그 결과를 점수나 경고로 보여 주며, 운영자가 다음 행동을 선택한다. 관찰은 한 모델의 능력이 아니라 여러 장치와 규칙, 사람과 기관에 분산된 과정이다.

얼굴이나 몸짓을 읽는 설치가 "관객을 이해한다"고 설명될 때는 감지 체인부터 펼쳐 봐야 한다. 프레임에 들어오지 못한 몸은 누구인가. 어떤 피부톤과 이동 속도, 키와 보조기구가 기준에서 벗어나는가. 오인식은 화면의 흥미로운 변이로 끝나는가, 아니면 특정 관객을 계속 작품 밖으로 밀어내는가.

생성형 AI의 프롬프트 반복도 관찰의 순환을 만든다. 사용자는 결과를 보고 다음 문장을 고치고, 인터페이스의 예시와 안전 정책은 가능한 요청의 범위를 정한다. 사용자가 무엇을 선택하고 폐기했는지는 다음 시도에 영향을 준다. 다만 이 상호작용이 실제 모델 학습에 쓰이는지는 서비스 정책과 증거를 따로 확인해야 한다. 피드백이 있다는 사실과 모델이 그 피드백으로 훈련된다는 주장은 같지 않다.

모든 관찰에는 맹점이 남는다. 기록되지 않은 거부, 센서가 읽지 못한 몸, 로그 밖의 유지 노동과 알려지지 않은 외부 서비스 정책은 분석에서 빠지기 쉽다. 맹점이 없다고 우기는 대신 무엇을 보지 못했는지 적어야 한다. 그 빈칸이 판단을 뒤집을 가능성도 함께 남긴다.

작품을 볼 때 달라지는 질문

2차 사이버네틱스로 작품을 읽을 때는 먼저 입력, 처리, 출력과 피드백을 그린다. 그다음 경계를 누가 정했는지 확인한다. 장치와 관객만 포함했는지, 서버와 운영자, 데이터 정책과 기관의 판단까지 넣었는지에 따라 같은 작품의 설명이 달라진다.

관찰 도구도 기록해야 한다. 카메라, 센서, 설문, 인터뷰, 로그, 모델, 비평 언어는 서로 다른 장면을 보여 준다. 관객 반응을 화면 기록만으로 판단했다면 감정과 이해를 안다고 말할 수 없다. 반대로 인터뷰가 있어도 실제 시스템 상태와 지연, 오작동을 확인하지 않았다면 작동에 관한 결론은 제한적이다.

여기서 책임의 경로가 드러난다. 임계값을 바꿀 사람은 누구인지, 관객이 기록을 확인하거나 삭제할 수 있는지, 오류가 반복될 때 작품을 멈출 권한은 어디에 있는지 묻는다. 관찰자가 시스템 안에 있다는 통찰은 책임을 흐리지 않는다. 구분과 판단에 개입한 만큼 설명하고 수정할 몫이 생긴다.

나는 인터랙티브 작품이 "관객을 작품 안으로 초대한다"는 설명을 만나면 한 가지를 더 묻는다. 관객이 들어온 뒤 시스템을 함께 볼 수 있는가, 아니면 시스템만 관객을 보고 있는가. 이 차이를 설명하지 못한다면 상호작용에 대한 설명은 아직 절반만 끝난 셈이다.