잠재공간이란 무엇인가: AI 이미지는 어디에서 오는가
생성형 AI를 설명할 때 많은 사람이 프롬프트에 집중한다. 어떤 문장을 넣었는지, 어떤 스타일을 지정했는지, 어떤 모델을 골랐는지가 중요해 보이기 때문이다. 하지만 실제로 이미지를 만들어 내는 핵심은 프롬프트 그 자체가 아니라, 모델 내부에 형성된 "잠재공간(latent space)"에 있다.
잠재공간은 기술적으로는 신경망이 학습한 패턴을 압축해 저장하는 고차원 수학적 공간을 뜻한다. 하지만 미디어아트의 관점에서 보면, 이것은 단순한 엔지니어링 용어가 아니다. 잠재공간은 오늘날 이미지가 어떻게 생겨나고, 작가가 무엇을 "만든다"고 말할 수 있는지를 다시 정의하는 미학적 개념이기도 하다.
잠재공간을 가장 쉽게 설명하면
AI 모델은 수많은 이미지와 텍스트를 학습하면서, 그것들을 그대로 저장하는 대신 패턴의 관계를 압축해 내부 구조를 만든다. 잠재공간은 바로 그 관계의 지도 같은 것이다. 여기에선 "고양이", "도시 야경", "유화 스타일", "저녁빛", "인물 초상" 같은 특성이 고차원적으로 엮여 있다.
이미지 생성은 이 공간 안의 한 점을 선택하거나, 여러 점 사이를 이동하거나, 특정 방향으로 조정하는 과정에 가깝다. 즉 AI는 빈 화면에 붓질을 하는 것이 아니라, 이미 학습된 가능성의 공간 안을 탐색하며 출력을 꺼내 오는 셈이다.
이 때문에 잠재공간은 단순한 데이터베이스가 아니다. 데이터베이스가 이미 존재하는 항목들의 목록이라면, 잠재공간은 아직 실제로 꺼내지지 않은 가능성까지 포함하는 연속적 공간이다.
왜 이 개념이 미디어아트에서 중요해졌을까
잠재공간이 중요한 이유는, AI 이미지 생성이 더 이상 "한 장의 이미지를 만든다"는 감각으로 설명되지 않기 때문이다. 작가는 이제 이미지를 직접 제작한다기보다, 잠재공간을 탐색하고 특정 좌표를 선택하며, 그 선택을 다시 시퀀스와 맥락으로 조직한다.
이 점에서 작가의 역할도 달라진다. 작가는 단순한 제작자가 아니라 탐색자, 큐레이터, 조율자, 때로는 모델 훈련자에 가깝다. 어떤 모델을 선택하고, 어떤 데이터셋을 쓰고, 어떤 프롬프트와 파라미터로 어떤 영역을 탐색할지가 곧 작업의 핵심이 된다.
그래서 잠재공간은 기술적 개념인 동시에 새로운 저작 개념이기도 하다.
잠재공간은 어떻게 작동하나
아주 단순하게 말하면 네 가지 움직임으로 이해할 수 있다.
인코딩
이미지나 텍스트 같은 입력은 잠재 벡터라는 압축된 수치 표현으로 바뀐다. 이 단계에서 복잡한 시각 정보가 고차원적 관계 구조로 번역된다.
샘플링
모델은 잠재공간 안의 특정 점을 선택해 출력의 출발점으로 삼는다. 생성형 AI의 "무한한 변주"는 바로 이 샘플링에서 나온다.
보간
두 점 사이를 부드럽게 이동하면 서로 다른 이미지들 사이의 변형 과정을 만들 수 있다. AI 영상에서 자주 보는 몽환적 전환이나 얼굴이 서서히 다른 얼굴로 바뀌는 장면은 대부분 이 원리와 관련 있다.
조건부 생성
프롬프트, 마스크, 스케치, 참조 이미지 같은 입력은 잠재공간의 특정 영역을 더 강하게 탐색하도록 조건을 건다. 즉 프롬프트는 직접 그림을 그리는 명령이라기보다, 잠재공간 탐색의 방향을 잡는 장치라고 보는 편이 정확하다.
잠재공간은 왜 그렇게 매혹적으로 보일까
많은 AI 이미지가 묘하게 매혹적인 이유는, 그것이 익숙한 것과 낯선 것의 경계에 있기 때문이다. 잠재공간은 학습 데이터의 통계적 관계를 바탕으로 작동하기 때문에, 충분히 익숙한 시각 문법을 공유하면서도 실제로 존재하지 않는 조합을 끝없이 만들어 낸다.
그래서 잠재공간은 종종 "이미지의 우주"처럼 느껴진다. Vilém Flusser가 말한 기술적 이미지의 우주, Lev Manovich가 말한 변이성의 미학이 오늘날 실제 기술적 구조로 구현된 장면이라고 볼 수도 있다.
이 지점에서 잠재공간은 하나의 매체처럼 읽힌다. 회화나 사진처럼 표면에 바로 주어지는 매체가 아니라, 가능성의 장 자체가 매체가 된 것이다.
어떤 작가들이 잠재공간을 작업으로 만들었나
GAN 시대에는 Mario Klingemann 같은 작가가 잠재공간 탐색을 미술로 전면화했다. Refik Anadol은 더 거대한 스케일에서 이 개념을 밀어붙였다. 그의 작업은 잠재공간을 하나의 환경처럼 시각화하면서, 관객이 데이터와 학습된 패턴의 흐름 속을 걷는 듯한 경험을 만들었다.
이런 작업이 흥미로운 이유는 잠재공간이 보통은 인간에게 직접 보이지 않는 계산 구조이기 때문이다. 작가들은 그 보이지 않는 내부 구조를 다시 감각적 경험으로 번역한다. 미디어아트의 역할이 바로 여기서 드러난다. 계산을 시각적 환경으로, 통계를 정동으로 번역하는 것이다.
잠재공간은 객관적인가
전혀 그렇지 않다. 잠재공간은 중립적인 수학적 공간처럼 보이지만, 실제로는 학습 데이터의 편향과 누락을 그대로 품고 있다. 어떤 얼굴이 "전형적"으로 나타나고, 어떤 풍경이 "아름답다"고 분류되고, 어떤 문화적 요소가 중심에 놓이는지는 모두 데이터셋의 구조에 영향을 받는다.
즉 잠재공간은 가능성의 우주이지만, 동시에 이미 정치적으로 구성된 우주이기도 하다. Trevor Paglen, Kate Crawford, Wendy Hui Kyong Chun 같은 비평가들이 중요한 이유는 바로 이 점을 드러내기 때문이다. AI 이미지는 단지 기술적 산출물이 아니라, 분류와 배제의 체계가 시각화된 결과이기도 하다.
작가성은 어디에 남는가
잠재공간이 넓어질수록 자주 나오는 질문이 있다. "그렇다면 작가는 무엇을 만든 것인가?" 모델을 만든 사람인가, 프롬프트를 쓴 사람인가, 좋은 출력을 골라낸 사람인가, 아니면 전체 시퀀스를 구성한 사람인가.
이 질문에 정답은 없다. 하지만 분명한 것은, 잠재공간 시대의 작가성은 손기술 중심의 단일 제작 모델로 설명하기 어려워졌다는 점이다. 오히려 작가성은 선택, 편집, 탐색, 조정, 맥락화의 능력으로 이동하고 있다.
그래서 잠재공간은 이미지 생성 기술의 개념이면서, 동시에 창작 노동이 어떻게 재정의되는가를 보여 주는 개념이기도 하다.
한국에서 잠재공간은 어떤 의미를 갖는가
한국의 AI 미디어아트와 시각문화에서 잠재공간은 빠르게 실천적 개념이 되었다. K-팝 비주얼, 패션 이미지, 전시 그래픽, 생성형 영상, 브랜드 아트웍, 교육 현장까지 이미 이 개념의 영향을 받고 있다.
특히 강의와 워크숍에서 잠재공간을 설명할 때 가장 중요한 것은 "AI는 단지 그림을 잘 그리는 기계가 아니다"라는 점을 이해시키는 일이다. AI는 가능성의 공간을 학습하고, 그 안에서 새로운 조합을 샘플링하는 시스템이다. 이 관점을 이해하면 프롬프트만 바라보던 태도에서 벗어나, 데이터와 모델과 맥락 전체를 더 넓게 보게 된다.
잠재공간의 비용도 함께 봐야 한다
잠재공간의 시적 비유에만 빠지면 놓치기 쉬운 문제가 있다. 거대한 모델을 훈련하고 유지하는 데는 막대한 전력, 물, 서버 인프라, 노동이 필요하다. 즉 잠재공간은 추상적 가능성의 장이면서 동시에 매우 물질적인 산업 구조 위에 놓여 있다.
그래서 잠재공간을 미학적 개념으로 말할 때도, 그것의 환경 비용과 데이터 추출 구조를 함께 봐야 한다. 그렇지 않으면 "무한한 가능성"이라는 말은 쉽게 기술 낙관주의로 흐를 수 있다.
마무리
잠재공간은 생성형 AI를 이해하는 가장 중요한 개념 가운데 하나다. 그것은 단지 모델 내부의 수학적 구조가 아니라, 오늘날 이미지가 어떻게 발생하고 작가가 어떤 방식으로 선택하며 미디어아트가 계산을 어떻게 감각으로 번역하는지를 보여 주는 핵심 장면이다.
AI 이미지는 프롬프트 한 줄에서 갑자기 탄생하지 않는다. 그 뒤에는 이미 학습된 가능성의 우주가 있고, 작가의 일은 그 우주를 어떻게 탐색하고 어떻게 의미 있는 형식으로 끌어오느냐에 달려 있다. 잠재공간을 이해한다는 것은, 바로 그 새로운 창작 지형을 이해하는 일이다.