환각이라는 말이 오류와 예술을 뒤섞을 때

AI 환각을 출처 오류, 시각 생성의 은유, 미디어아트의 재료로 나누어 보고, 비사실성이 책임 있는 작품이 되기 위한 조건을 살펴본다.

언어 모델이 존재하지 않는 논문을 정확한 서지 형식으로 제시한다. 이미지 모델은 한 번도 없었던 도시를 그린다. 미술관에서는 생성 시스템이 만든 유동적인 장면을 "기계의 환각"이라고 소개한다. 세 경우를 모두 hallucination이라고 부르지만, 같은 실패를 가리키지는 않는다.

논문을 꾸며낸 답은 검증 대상이다. 허구의 도시 이미지는 창작 과제의 결과일 수 있다. 미디어아트의 "기계의 꿈"은 모델이 인간처럼 꿈꾼다는 사실 진술이 아니라, 학습된 표현과 낯선 출력을 읽기 위한 은유에 가깝다. 이 차이를 놓치면 기술적 오류는 신비한 창의성으로 포장되고, 작품의 비사실성은 사실 검증의 잣대로만 재단된다.

출처 오류와 기계의 꿈은 다른 문제다

Ziwei Ji 등이 정리한 자연어 생성 연구에서 hallucination은 출력이 주어진 출처와 모순되거나, 출처에서 확인할 수 없는 내용을 덧붙이는 문제로 다뤄진다. 이때 기준은 둘로 갈린다. 출처 충실성(faithfulness)은 출력이 제공된 자료에 충실한지 묻고, 사실성(factuality)은 외부 세계의 사실과 맞는지 묻는다. 출처에 없지만 외부 검증으로 참인 내용과, 출처에도 없고 사실 확인도 되지 않는 내용을 같은 오류로 묶어서는 안 된다.

생성 이미지에서는 기준이 달라진다. 이미지 설명이 사진에 없는 물체를 말하면 이미지 근거와 어긋난다. 반면 "존재하지 않는 풍경을 만들어 달라"는 요청에서 허구의 풍경은 실패가 아니다. 무엇을 사실로 재현해야 했는지, 참조 조건이 있었는지, 결과가 기록물이나 증거처럼 유통되는지를 먼저 확인해야 한다.

"환각"은 인간의 임상 경험을 가리키는 말이기도 하다. 모델의 출력 오류를 인간의 감각 경험과 같은 현상으로 취급하면 기술은 의인화되고 사람은 낙인의 언어로 환원된다. 오류를 다룰 때는 source contradiction, unverifiable addition, citation fabrication, object hallucination처럼 무엇이 어긋났는지 구체적으로 쓰는 편이 낫다.

DeepDream에서 Unsupervised까지

Google Research가 2015년에 공개한 Inceptionism 글은 DeepDream의 출발점을 신경망이 학습한 특징을 시각화하는 실험으로 설명한다. 특정 층이 감지한 형태를 이미지에서 더 강하게 만들고, 무작위 노이즈에서 학습된 표현을 증폭했다. 반복되는 눈과 동물 형태는 무에서 생긴 자유로운 상상이라기보다 데이터, 모델 표현, 최적화가 만난 흔적이다. "꿈"은 이 과정을 전달하는 은유이지 기계 의식의 증거가 아니다.

Refik Anadol의 Unsupervised를 소개한 MoMA 전시 페이지는 다른 사용법을 보여 준다. MoMA는 공개된 미술관 컬렉션 데이터로 학습한 머신러닝 모델이 200년이 넘는 미술을 해석하고 변형한다고 설명한다. 디지털 작품은 실시간으로 전개되며, 현장의 빛과 움직임, 음향, 날씨가 계속 바뀌는 이미지와 사운드에 영향을 준다. 전시 문면은 fantasy, hallucination, irrationality를 작품의 질문으로 제시한다. 여기서 hallucination은 자연어 답변의 사실 오류 분류가 아니라 전시를 해석하는 틀이다.

그렇다고 "기계의 환각"이라는 이름만으로 작품의 비판성이 증명되지는 않는다. 어떤 데이터가 쓰였는지, 작가가 출력을 어떻게 선택하고 편집했는지, 관객에게 합성 상태와 사실성의 규칙이 보이는지 따로 확인해야 한다. 미술관의 설명은 작품의 시스템과 의도를 파악하는 근거지만, 모든 관객이 같은 감정을 경험했다거나 생성 시스템이 실제로 기억하고 꿈꾼다는 주장을 지지하지는 않는다.

오류가 작품의 재료가 되려면

기술적 오류도 작품의 재료가 될 수 있다. 다만 "오류도 예술"이라는 선언만으로는 부족하다. 글리치 작업에서는 구체적인 파일, 신호, 코덱, 인터페이스의 실패를 어떻게 조직했는지 본다. AI 환각을 다루는 작업이라면 출력이 어떤 출처나 사실 주장과 어긋나는지, 그 어긋남이 관객에게 어떻게 표시되는지도 확인해야 한다.

작품이 먼저 밝혀야 할 것은 사실성 계약이다. 허구 세계를 만드는지, 실제 기록을 재구성하는지, 모델의 오인을 드러내는지에 따라 검증 기준이 달라진다. 실제 인물과 장소, 역사적 사건을 사용한다면 "예술적 환각"이라는 말로 잘못된 귀속을 덮을 수 없다.

작가의 개입도 확인해야 한다. 모델명만 적는 것으로는 충분하지 않다. 사용한 데이터셋, 모델과 버전, 프롬프트와 입력, 선별, 편집, 후처리, 전시 조건을 기록해야 결과가 모델의 기본값인지 작품의 선택인지 판단할 수 있다.

공개 방식은 피해 경계와 함께 봐야 한다. 생성·합성·미검증 상태를 언제 알리는지, 관객이 사실과 허구를 구분할 단서가 있는지, 취약한 사람이나 집단의 정체성과 기록을 허위로 귀속하지 않는지 확인해야 한다. 낯선 이미지가 아름답다는 사실은 이 책임을 대신하지 않는다.

보존 문제도 남는다. API가 종료되거나 모델이 업데이트되면 같은 출력과 경험을 다시 만들기 어렵다. 결과 이미지뿐 아니라 모델과 버전, 출처, 프롬프트, 시드, 검색 상태, 후처리와 전시 조건을 남겨야 작품의 변화와 검증 범위를 나중에 설명할 수 있다.

남는 판단

AI 환각을 볼 때 "기계가 왜 이런 상상을 했을까"라고 묻기 전에 기준부터 정해야 한다. 출처를 요약하는가, 세계의 사실을 말하는가, 허구를 생성하는가, 모델의 오인을 작품으로 드러내는가. 기준이 달라지면 같은 출력의 책임도 달라진다.

미디어아트는 비사실성을 금지할 필요가 없다. 생성 시스템이 현실과 기록을 어떻게 어긋나게 만드는지 감각적으로 보여 줄 수도 있다. 다만 작품이 그 어긋남의 출처와 제작 개입, 공개 방식, 피해 가능성을 숨긴다면 환각은 비평의 재료보다 신비화의 장식에 가까워진다. 작품 설명과 리뷰에는 최소한 기준이 된 출처, 생성·편집 과정, 합성 상태를 알리는 시점, 보존 방법이 남아야 한다.

직접 읽은 자료

• Ziwei Ji et al., Survey of Hallucination in Natural Language Generation.
• Alexander Mordvintsev, Christopher Olah, Mike Tyka, Google Research, Inceptionism Going Deeper into Neural Networks.
• Museum of Modern Art, Refik Anadol Unsupervised.