기계의 시선은 모두를 똑같이 보지 않는다

조이 부올라미니의 Gender Shades와 예술 실천을 통해 평균 정확도가 가리는 얼굴 분석의 격차, 알고리즘 감사의 공적 역할, 더 정확한 감시가 답이 아닐 수 있는 이유를 살핀다.

카메라 앞에 섰는데 소프트웨어가 얼굴을 찾지 못한다. 조명이나 자세 탓처럼 보일 수 있다. 조이 부올라미니가 MIT 대학원 프로젝트에서 겪은 일은 달랐다. 얼굴 분석 소프트웨어는 그의 얼굴을 제대로 감지하지 못했지만 흰 가면을 쓰자 반응했다. 그는 이 실패를 개인적인 불편으로 넘기지 않았다. 기계가 누구를 표준으로 보고 누구를 예외로 처리하는지 조사하기 시작했다.

부올라미니는 컴퓨터 과학자이자 예술가다. 논문으로 성능 격차를 측정하고, 스포큰 워드와 영상으로 그 격차가 사람의 삶에서 무엇을 뜻하는지 보여 준다. 그의 작업은 AI 윤리를 추상적인 선의가 아니라 측정과 증언, 사용 정당성의 문제로 바꾼다.

평균 정확도가 지우는 사람

부올라미니와 팀닛 게브루가 2018년에 발표한 《Gender Shades》 논문은 상용 얼굴 분석 서비스 세 개의 젠더 분류 성능을 피부 유형과 젠더 집단별로 나누어 평가했다. 밝은 피부 남성 집단의 최대 오류율은 0.8%였지만, 어두운 피부 여성 집단에서는 오류율이 최대 34.7%까지 올라갔다. 전체 평균만 보면 사라질 수 있는 차이다.

이 연구가 남긴 가장 단단한 교훈은 "AI도 편향될 수 있다"는 일반론이 아니다. 평균값이 누구의 실패를 숨기는지 확인해야 한다는 점이다. 데이터셋에 어떤 얼굴이 포함되었는지, 제품이 어떤 범주를 정상으로 삼았는지, 오류의 비용이 누구에게 돌아가는지를 함께 보지 않으면 높은 정확도는 공정성의 증거가 되지 못한다.

경계도 분명히 해야 한다. 이 연구는 당시 상용 젠더 분류 시스템을 평가한 것이다. 모든 얼굴 인식 기술의 현재 성능을 한 번에 판정한 조사도 아니고, 사람의 젠더를 이분법으로 분류하는 일 자체를 정당화한 연구도 아니다. 오히려 벤치마크가 어떤 범주를 선택하고 배제하는지까지 감사 대상에 넣어야 한다는 쪽에 가깝다.

오류율을 공적 장면으로 옮기기

성능표는 문제를 증명하지만, 그것만으로 피해의 감각까지 전달되지는 않는다. 부올라미니는 「AI, Ain't I A Woman?」에서 유명한 흑인 여성들의 얼굴을 잘못 분류하는 AI의 출력을 스포큰 워드와 영상으로 엮었다. 숫자로 읽던 오류가 누가 보이고 누가 오인되는가의 문제로 바뀐다.

이 작업이 미디어아트에 주는 힌트는 꽤 실용적이다. 기술의 실패 화면을 크게 투사한다고 비평이 저절로 생기지는 않는다. 어떤 데이터와 분류 규칙이 그 결과를 만들었는지, 당사자가 오류에 이의를 제기할 수 있는지, 시스템을 운영하는 기관이 무엇을 책임지는지까지 작품의 구조에 들어와야 한다. 데이터는 장식이 아니라 책임의 경로를 추적하는 재료가 된다.

부올라미니가 세운 Algorithmic Justice League는 연구, 예술, 교육과 정책 개입을 같은 활동 안에 둔다. 여기서 감사는 기술팀 내부의 품질 점검으로 끝나지 않는다. 측정 결과를 공개하고, 영향을 받는 사람의 경험과 연결하며, 기업과 공공기관이 답하도록 만드는 사회적 절차가 된다.

더 정확한 감시는 답이 될 수 있는가

편향을 발견하면 흔히 더 많은 데이터와 더 좋은 모델을 해법으로 제시한다. 필요한 개선일 수 있다. 그러나 얼굴 분석이 출입 통제, 치안, 학교나 직장의 관리처럼 권리와 이동에 영향을 주는 곳에 들어가면 정확도만으로는 충분하지 않다. 성능이 고르게 좋아진 시스템은 차별을 줄일 수도 있지만, 동시에 더 많은 사람을 더 정교하게 추적하는 감시 장치가 될 수 있다.

따라서 질문은 두 갈래로 나뉜다. 시스템은 집단별로 얼마나 다르게 실패하는가. 그리고 그 시스템을 이 장소에서 사용해도 되는가. 두 번째 질문을 빼면 알고리즘 정의는 감시 기술의 성능 개선팀으로 축소된다.

한국의 전시와 공공 기술 환경에서도 같은 기준을 적용할 수 있다. 관객 얼굴이나 몸을 읽는 설치를 만든다면 인식률 시연보다 먼저 수집 동의, 저장 기간, 삭제 경로, 오인식 대응을 설계해야 한다. 얼굴 인증이나 영상 분석을 도입하는 기관이라면 평균 정확도 대신 집단별 실패와 이의 제기 절차를 공개해야 한다. 어떤 용도는 개선보다 중단이 더 책임 있는 답일 수 있다.

끝내 남는 판단

부올라미니의 작업은 질문의 초점을 "기계가 무엇을 보는가"에서 책임의 문제로 옮긴다. 기계의 시선은 누구에게 더 자주 실패하는가. 그 실패를 누가 측정하고 설명하는가. 당사자는 결과를 고치거나 사용을 거부할 수 있는가.

새로운 시각 AI를 작품이나 서비스에 넣기 전에는 평균 성능 아래 감춰진 집단별 오류부터 확인해야 한다. 오류를 겪은 사람이 결과에 이의를 제기할 수 있어야 하며, 정확도 개선보다 사용 중단이 나은 경우를 판단할 기준도 필요하다. 오류율과 이의 제기 절차, 중단 기준을 공개하지 않는 시스템에 공공의 신뢰를 맡기기는 어렵다.

이 글은 MIT Media Lab의 Gender Shades 프로젝트 설명, 부올라미니와 게브루의 2018년 논문, Algorithmic Justice League의 공식 소개를 바탕으로 썼다.