사람과 AI의 협업은 무엇과 비교해야 하는가

AI를 쓴 사람이 이전보다 잘했다고 해서 협업의 이점이 모두 확인된 것은 아니다. 인간-AI 협업 메타분석을 바탕으로 사람 단독, AI 단독, 결합 조건을 구분하고 업무 평가의 비교 기준을 설계한다.

GPT Image 2로 생성한 개념 이미지입니다. 실제 연구 장치나 실험 결과를 재현한 사진이 아닙니다.

AI의 제안을 본 담당자가 예전보다 정확하게 문의를 분류했다. 도입 효과를 보여 주는 반가운 결과다. 그런데 같은 문의를 AI만 분류했을 때의 성과는 측정하지 않았다면, 사람의 검토가 무엇을 보탰는지는 아직 알 수 없다. 담당자가 AI의 오류를 고쳤을 수도 있고, 잘 맞힌 답을 바꾸면서도 전체적으로는 이전보다 나아졌을 수도 있다.

AI 도입을 평가할 때 비교 기준 하나가 질문을 바꾼다. 사람의 업무를 돕는 효과와 두 주체가 결합해서 생기는 효과는 따로 측정할 수 있다. 어느 쪽을 알고 싶은지 먼저 정해야 점수가 올랐다는 보고 다음에 업무를 어떻게 바꿀지 판단할 수 있다.

같은 결과에도 두 개의 비교가 있다

가상의 문의 분류 시험을 생각해 보자. 정답을 미리 정한 문의 100건을 사람 단독, AI 단독, AI의 제안을 본 사람이 최종 판단하는 조건으로 평가한다. 아래 숫자는 비교 방식을 설명하기 위한 예시이며 실제 조직이나 연구의 성과가 아니다.

결합 조건은 사람 단독보다 정답률이 8%p 높다. 동시에 더 잘한 단독 조건인 AI보다는 4%p 낮다. 사람에게 도움이 됐다는 설명과, 더 잘하는 쪽의 성과를 충분히 살리지 못했다는 설명이 함께 성립한다.

이 구분은 AI를 도입하지 말자는 판단으로 곧장 이어지지 않는다. 기존 사람 중심 업무를 개선하는 것이 목적이라면 첫 번째 비교는 의미가 있다. 다만 사람의 검토가 품질을 얼마나 높였는지 주장하려면 AI 단독 결과도 있어야 한다. 반대로 AI 단독의 정답률이 높다는 사실만으로 실제 업무에서 사람의 역할을 없앨 수 있는 것도 아니다. 시험에 포함하지 않은 예외 처리, 설명, 책임과 실행 조건이 남기 때문이다.

연구가 보여 준 평균과 그 평균의 범위

미셸 바카로, 압둘라 알마투크, 토머스 말론은 2024년 《Nature Human Behaviour》에 발표한 체계적 문헌 검토와 메타분석에서 이 두 비교를 구분했다. 사람 단독보다 결합 조건이 나아지는 것을 인간 능력의 증강으로, 사람과 AI 단독 중 더 나은 조건까지 넘어서는 것을 인간-AI 시너지로 다뤘다. 연구 원문

분석 대상은 2020년 1월부터 2023년 6월까지 발표된 74개 논문에 담긴 106개 실험, 370개 효과크기였다. 포함된 실험은 사람 단독, AI 단독, 결합 조건의 성과를 모두 보고해야 했다. 전체 평균에서 결합은 사람 단독보다 좋은 성과를 냈지만, 두 단독 조건 중 더 좋은 쪽과 비교하면 낮았다. 같은 자료에서도 어떤 기준을 사용하느냐에 따라 결론의 방향이 달라졌다. 분석 결과

논문은 이 차이를 Hedges’ g라는 표준화 효과크기로 합성했다. 사람 단독 대비 값은 0.64, 더 나은 단독 조건 대비 값은 −0.23이었다. 이는 서로 다른 과제의 차이를 비교하기 위한 척도다. 앞의 예시처럼 정답률의 차이가 아니며, 생산성이 64% 늘거나 23% 줄었다고 읽을 수 없다.

평균만 남기면 또 다른 오해가 생긴다. 연구 간 차이가 컸고, 결정 과제와 콘텐츠 생성 과제의 양상도 달랐다. 생성 과제의 시너지 추정값은 양수였지만 신뢰구간이 0을 포함했다. 생성 작업이면 시너지가 확실히 생긴다고 단정할 근거는 아니다. 또한 분석 기간 뒤의 최신 모델 성능이나 현재 조직의 장기 운영을 이 결과가 직접 평가한 것도 아니다. 혼자서는 할 수 없고 함께해야만 가능한 과제는 세 조건을 요구한 포함 기준상 분석 밖에 있다. 결과와 한계

이 연구에서 업무로 가져올 핵심은 평균 효과의 숫자를 우리 조직에 대입하는 일이 아니다. 비교하려는 세 조건을 실제로 갖추고, 어느 과제와 절차에서 무엇이 달라지는지 묻는 방식이다.

검토가 바꾼 답을 남겨야 역할이 보인다

다음은 연구가 검증한 표준 절차가 아니라, 비교 기준을 실제 업무 시험에 옮기기 위한 제안이다. 문의 분류처럼 정답과 오류를 확인할 수 있는 작은 업무부터 시작한다면, 실제 고객에게 결과를 보내지 않는 오프라인 시험에서 세 조건을 나란히 관찰할 수 있다.

먼저 무엇을 맞힌 것으로 볼지 정한다. 문의의 담당 부서를 맞히는 문제와 긴급 대응이 필요한 문의를 놓치지 않는 문제는 같은 점수로 처리하기 어렵다. 전체 정답률을 보되, 놓쳤을 때 영향이 큰 오류를 별도 항목으로 남긴다. 사람과 AI가 사용할 자료의 범위, 업무 지침, 시간 제한도 정하고 기록한다. 실제로 제공한 정보나 허용 시간이 다르면 그 차이를 결과 해석에 포함해야 한다.

사람 단독 답은 AI 제안을 보기 전에 확정한다. 결합 조건에서는 AI의 원래 답, 사람이 채택하거나 바꾼 답, 최종 결과를 따로 보존한다. 같은 사람이 같은 문제를 반복해서 풀면 앞선 답을 기억하는 효과가 생기므로, 무작위로 조건을 나누거나 비슷한 난도의 다른 문제 묶음을 배정하는 방식으로 시험을 설계할 필요가 있다. 소규모 시험이라 그 영향을 충분히 통제하지 못했다면 한계로 남긴다.

그 다음에는 합계와 함께 답이 바뀐 방향을 살핀다. AI의 오답을 사람이 고친 경우, AI의 정답을 사람이 오답으로 바꾼 경우, 오류를 그대로 받아들인 경우를 구분하면 검토 단계가 하는 일이 보인다. 예컨대 담당자가 현장의 예외 규칙을 알고 오류를 고쳤다면 그 지식을 다음 지침에 반영할 수 있다. 반대로 특정 부류의 올바른 AI 제안을 반복해서 바꾼다면, 검토 화면이나 판단 기준을 다시 살펴볼 이유가 생긴다.

이 기록만으로 사람이 왜 그렇게 판단했는지까지 입증되지는 않는다. 설명을 믿어서인지, 입력 자료가 빠졌는지, 시간이 부족했는지는 추가로 확인해야 한다. “사람이 방해했다” 또는 “AI를 과신했다”는 원인을 성급히 붙이면 고쳐야 할 절차를 놓친다.

평가할 때는 우연한 차이도 고려한다. 예시의 100건에서 몇 건이 달랐다는 사실만으로 다른 문의에도 같은 효과가 반복된다고 확신하기 어렵다. 새 문제 묶음에서 다시 확인하고, 오류 유형과 검토 시간도 함께 본다. 문장이나 기획안처럼 정답이 하나가 아닌 작업은 어느 조건에서 나온 결과인지 가린 평가와 명확한 품질 기준이 필요하다. 작은 평가 사례집을 만드는 방법은 AI 업무 배포 전 평가 설계와 이어 읽을 수 있다.

비교 결과를 다음 업무 설계로 연결한다

세 조건을 측정하는 목적은 항상 한쪽을 탈락시키는 데 있지 않다. 사람이 AI보다 약한 평균 점수를 얻더라도 특정 오류를 발견하는 데 강점이 있을 수 있다. 그 강점이 드러나는 단계에 검토 시간을 배치하는 가설을 세울 수 있다. 다만 예외를 잘 알아볼 것이라는 기대도 실제 시험을 통과해야 한다. 사람이 어려운 사례를 골라낼 수 있다는 가정 자체가 틀릴 수 있기 때문이다.

시너지가 확인되지 않아도 사람의 참여가 필요한 업무는 있다. 이 경우에는 검토가 맡는 목적을 품질 향상, 승인, 맥락 확인처럼 구체적으로 적고 각각 확인해야 한다. 최종 결과에 사람이 관여했다는 사실을 모든 품질 문제의 해결 근거로 삼으면 검토 비용과 남은 오류가 가려진다.

평가 결과가 좋아도 적용 범위를 지켜야 한다. 문의 분류에서 얻은 결과는 답변 작성이나 실제 처리 완료의 성과와 다르다. 모델이나 업무 지침이 바뀌면 비교의 기준도 다시 확인해야 한다. 결합 절차를 바꿨다면 그 절차의 새 결과를 측정하고, 이전 시험의 성공을 그대로 이어 붙이지 않는다.

AI를 쓴 뒤 일이 나아졌다는 관찰은 출발점이 될 수 있다. 그 다음에는 무엇과 비교해 나아졌는지, 사람의 개입이 어떤 오류를 바꿨는지까지 물어야 한다. 그래야 협업이라는 말이 역할을 미리 정하는 구호를 넘어, 실제로 검증하고 고칠 수 있는 업무 설계가 된다.