보이지 않는 좌표 위에서 그려지는 이미지: 잠재공간을 이해하는 법

생성형 AI를 이야기할 때 잠재공간은 종종 신비한 방처럼 묘사된다. 어딘가 보이지 않는 공간 안에 무수한 이미지 가능성이 숨어 있고, 프롬프트가 그 방의 문을 열어 준다는 식의 설명이다. 하지만 잠재공간은 그런 비유보다 훨씬 건조하고, 그래서 더 흥미롭다. 그것은 이미지가 저장된 창고가 아니라, 데이터 사이의 관계와 유사성이 압축된 추상적 좌표계에 가깝다.

잠재공간이라는 말이 중요한 이유는 AI 이미지가 어떻게 "그럴듯한" 것을 만들어 내는지 설명해 주기 때문이다. 모델은 세계를 이해하는 것이 아니라, 학습한 데이터들 사이의 거리와 패턴을 계산 가능한 형태로 정리한다. 프롬프트는 마법 주문이라기보다 그 좌표계 안에서 특정 방향으로 움직이라는 신호에 더 가깝다.

숨겨진 방이 아니라 압축된 관계

잠재공간을 이해하는 가장 좋은 방법은 그것을 저장소가 아니라 지도라고 보는 것이다. 이 지도는 우리가 바로 읽을 수 있는 형태가 아니지만, 모델은 그 안에서 무엇이 서로 비슷하고 무엇이 멀리 떨어져 있는지 계산한다. 고양이와 호랑이, 유화와 사진, 밤과 어둠, 웃음과 입꼬리 같은 특징들이 고정된 실체로 있는 것이 아니라 관계의 배열로 존재한다.

그래서 AI는 외부 세계를 직접 복사하지 않는다. 대신 데이터 사이의 유사성과 차이를 압축한 공간 위에서 이미지를 샘플링한다. 결과가 놀랍게 느껴지는 이유도 여기에 있다. 우리는 개념과 감각의 중간 어딘가를 다루는 계산된 추상을 보고 있기 때문이다.

왜 편향과 cliché가 반복되는가

잠재공간은 창의성의 무한 공간처럼 보이기도 하지만, 동시에 학습 데이터의 편향을 압축해서 되풀이하는 구조이기도 하다. 특정 얼굴, 특정 인체 비율, 특정 문화권의 배경, 특정 미학적 cliché가 반복해서 나오는 이유는 모델이 이미 학습된 유사성의 지형 안에서 움직이기 때문이다.

그래서 잠재공간은 가능성의 장소이면서 동시에 한계의 장소다. 무한해 보이지만, 실제로는 무엇이 충분히 데이터화되어 있었는지에 의해 강하게 규정된다.

미디어아트에서 잠재공간을 다루는 법

미디어아트에서 중요한 것은 잠재공간을 신비화하는 것이 아니라, 그 추상적 좌표가 어떤 미학과 정치성을 갖는지 드러내는 일이다. 어떤 작업은 프롬프트 실험을 통해 잠재공간의 감각을 보여 주고, 어떤 작업은 편향과 데이터 편중을 노출한다. 좋은 작업은 결과 이미지의 화려함보다, 그 결과가 어떤 확률적 지형에서 왔는지 생각하게 만든다.

잠재공간은 AI 시대의 상상력에 가까운 개념처럼 보이지만, 실은 데이터 인프라와 모델 구조에 아주 구체적으로 연결된 기술적 개념이다. 그 둘을 동시에 볼 때만 AI 이미지의 미학을 제대로 읽을 수 있다.

끝내 남는 질문

• 잠재공간은 창의성의 원천인가, 학습 데이터의 압축본인가.
• 우리는 프롬프트로 이미지를 만드는가, 아니면 기존 관계망을 항해하는가.
• AI 예술은 이 좌표계를 비트는가, 아니면 그 안의 cliché를 더 매끈하게 반복하는가.