AI 답변의 평가가 갈릴 때 팀이 남겨야 할 것
AI 답변에 대한 평가가 엇갈릴 때 개별 점수와 이유를 보존하고, 기준의 모호함·근거 부족·사용 맥락의 차이를 나눠 다음 개선으로 연결하는 방법을 살펴본다.

서로 다른 평가 관점을 표현한 생성 이미지다. 실제 평가 실험을 촬영한 사진이 아니다.
AI가 만든 행사 안내문을 네 명이 검토했다고 하자. 두 명은 바로 보내도 좋다고 하고, 두 명은 다시 써야 한다고 한다. 담당자는 점수를 평균 내서 ‘보통’으로 저장한다. 다음 주에 프롬프트를 고치려는데 무엇을 고쳐야 하는지 알 수 없다. 내용이 틀렸는지, 설명이 부족했는지, 독자를 다르게 생각했는지 기록하지 않았기 때문이다.
사람의 피드백을 모으는 일은 평가자를 늘리는 데서 끝나지 않는다. 어떤 질문에 답하게 했고, 판단의 이유를 무엇과 연결해 남겼는지가 이후 개선의 범위를 결정한다. 특히 팀이 처음 AI를 업무에 들이는 시기에는 의견이 갈린 사례를 살펴보며 완료 기준 자체를 구체화할 수 있다.
이 글의 출발점은 간단하다. 개별 평가와 최종 결정을 별도로 남긴다. 그러면 이번 답변을 사용할지 결정하면서도, 그 결정을 내릴 때 놓치기 쉬웠던 조건을 다음 평가에 가져갈 수 있다.
같은 평균 안에 다른 문제가 들어 있다
다음은 실제 실험 결과가 아닌 설명용 점수다. 동일한 질문에 1점부터 5점까지 답한다고 가정하자.
| 개별 점수 | 계산상 평균 | 기록을 더 읽어야 할 이유 |
|---|---|---|
| 3, 3, 3, 3 | 3 | 모두 비슷한 중간 평가를 했지만, 같은 이유인지는 알 수 없다 |
| 1, 1, 5, 5 | 3 | 평가가 양끝으로 갈렸으며, 차이를 만든 조건을 확인해야 한다 |
평균 하나만 저장하면 두 상황이 같은 데이터가 된다. 점수 간 간격을 같다고 보고 평균을 내는 것 자체도 평가 설계의 선택이다. 이 예에서 확인하려는 것은 평균의 우열보다, 개별 응답이 사라졌을 때 복원할 수 없는 정보다.
2024년 TACL에 발표된 FLEAD 연구는 모호하거나 주관적인 자연어 처리 과제에서 여러 평가자의 주석을 하나의 정답으로 합치면 개인별 관점이 사라진다는 문제를 다룬다. 연구진은 평가자별 의견을 학습에 활용하는 방법을 제안했다. 여기서 가져올 수 있는 좁은 교훈은 불일치 자체에도 분석할 정보가 있다는 점이다. 이 연구가 모든 업무에서 다수결보다 특정 운영 방식이 낫다고 입증한 것은 아니다.[1]
팀의 평가에서도 동의율과 정확성을 따로 물어야 한다. 모두 같은 낡은 자료를 보고 동의할 수도 있고, 한 사람이 최신 근거를 찾아 반대할 수도 있다. 반대로 평가가 갈렸다는 사실만으로 모든 의견에 같은 근거가 있다고 볼 수도 없다. 다음 행동을 정하려면 점수 옆의 이유를 읽어야 한다.
불일치의 이유가 다음 작업을 바꾼다
행사 안내문 사례로 돌아가 보자. 운영 담당자는 필수 정보가 빠짐없이 들어가서 높은 점수를 줬다. 처음 참석하는 사람의 입장에서 읽은 검토자는 입구를 찾을 수 없어서 낮은 점수를 줬다. 평가 질문이 단지 ‘좋은 안내문인가’였다면 두 사람은 서로 다른 대상을 평가했을 수 있다. 질문을 ‘필수 정보가 있는가’와 ‘처음 온 사람이 행동할 수 있는가’로 나누면 차이를 구체적으로 확인할 수 있다.
다른 경우에는 사실 확인이 먼저다. 공지에 적힌 시간이 원문 일정표와 다르다면 그 차이는 취향으로 처리할 수 없다. 어떤 자료를 기준으로 검토했는지, 그 자료가 해당 행사에 적용되는지 확인해야 한다. 확인할 근거가 부족하면 ‘판단 보류’와 필요한 자료를 남기는 편이 근거 없는 찬반을 강요하는 것보다 유용하다.
사실과 필수 조건을 확인한 뒤에도 선호는 갈릴 수 있다. 처음 오는 참가자는 자세한 길 안내를 원하고, 매주 오는 참가자는 짧은 공지를 원할 수 있다. 이때 모든 독자를 한 점수에 섞으면 서비스가 누구에게 맞춰졌는지 흐려진다. 독자 조건을 붙여 결과를 나누거나, 짧은 공지와 상세 안내를 연결하는 방식으로 요구를 함께 반영할 수 있다.
이 구분은 연구에서 확정한 만능 분류표가 아니라, 팀이 사례를 읽기 위한 운영 제안이다. 한 사례에 여러 원인이 겹칠 수 있다. 중요한 것은 ‘평가자들이 안 맞는다’에서 멈추지 않고, 다음에 기준을 고칠지, 자료를 보강할지, 독자별 출력을 나눌지를 정하는 것이다.
최종 판정 옆에 원래 판단을 보존한다
기록은 작게 시작해도 된다. 같은 입력과 같은 AI 답변을 가리키는 식별자를 두고, 평가자별 응답을 연결하면 된다. 답변이 수정됐다면 새 버전을 구분해야 한다. 서로 다른 초안을 본 사람들의 점수를 한 답변에 대한 불일치로 집계하지 않기 위해서다.
이런 구조는 실제 도구에서도 볼 수 있다. Argilla의 Response 문서는 한 질문에 사용자별 응답을 여러 개 둘 수 있다고 설명한다. 공개 코드에서도 질문 이름, 응답 값, 사용자 식별자를 함께 다룬다. 이는 개인별 판단을 보존하는 데이터 구조의 사례다. 사용자 식별자가 있다는 사실이 그 판단의 전문성이나 정확성을 보증하지는 않는다.[2][3]
팀이 직접 기록한다면 다음 정도를 한 묶음으로 남길 수 있다.
| 구분 | 남길 내용 |
|---|---|
| 평가 대상 | 입력 자료, 답변 버전, 적용하려는 독자와 사용 상황 |
| 평가 기준 | 질문과 척도의 의미, 필수 통과 조건, 기준의 버전 |
| 개별 응답 | 평가자 식별자, 항목별 판단, 이유와 근거, 판단 보류 여부 |
| 조정 결과 | 사용할지에 대한 결정, 결정자와 이유, 남은 이견, 필요한 후속 작업 |
평가자 식별자는 같은 사람의 응답을 구분할 수 있는 최소 범위면 된다. 불필요한 개인정보를 모을 이유는 없다. 실무 기록을 공개 학습 데이터로 옮기는 문제도 별도 권한과 검토가 필요한 일이다.
조정 회의에서 결론이 바뀌더라도 최초 응답은 남기고, 변경된 판단과 이유를 이어 붙인다. 처음에는 정보가 부족했는지, 기준을 잘못 읽었는지, 새로운 근거 때문에 바뀌었는지를 나중에도 확인할 수 있어야 한다. 최종 라벨 하나가 필요한 평가나 학습 과정에서는 어떤 조정 규칙으로 그 라벨을 얻었는지도 함께 남긴다.
팀의 피드백이 다음 실험으로 이어지려면
작은 평가 묶음으로 시작한다면 검토자들이 먼저 각자 판단하고, 이후 차이가 큰 사례를 함께 읽는 순서를 제안할 수 있다. 처음부터 다른 사람의 점수를 보며 결론을 맞추면 어디에서 관점이 갈렸는지 관찰하기 어렵기 때문이다. 이 순서가 해당 팀의 성과를 얼마나 높이는지는 별도로 확인해야 한다.
회의가 끝났을 때는 합의 여부와 함께 다음 실험이 남아야 한다. 안내문의 필수 항목이 문제였다면 누락 사례를 평가 묶음에 추가한다. 출처가 부족했다면 검색과 자료 전달 단계를 고친다. 독자 요구가 달랐다면 같은 답변을 계속 평균 내기보다 독자 조건을 나눠 검토한다. 수정 전후에는 같은 평가 기준으로 비교하고, 기준까지 바꿨다면 그 변화도 표시한다.
불일치가 줄었다는 사실만으로 개선을 끝내지는 않는다. 모두가 더 잘 판단하게 된 것인지, 반대할 수 있는 항목을 평가표에서 없앤 것인지 확인할 필요가 있다. 최종 산출물의 품질과 평가 과정의 일관성을 함께 살펴야 한다.
작은 평가 묶음을 먼저 만드는 일 다음에는, 그 묶음에서 사람들의 판단이 어떻게 만들어졌는지 보존할 차례다. 좋은 피드백 기록은 이번 답변에 점수를 붙이는 데 쓰이고, 다음에는 무엇을 다르게 시험해야 하는지도 알려 준다. 팀이 배워야 할 것은 하나의 평균이 아니라 그 평균을 만든 판단의 조건이다.
참고 자료
- Nuria Rodríguez-Barroso 외, Federated Learning for Exploiting Annotators’ Disagreements in Natural Language Processing, TACL 12, 2024. 공개 초록에서 주관적·모호한 과제의 주석 집계 문제와 연구 목적을 확인했다. 본문에서는 알고리즘 성능이나 조직 도입 효과의 수치를 인용하지 않았다.
- Argilla, Response 문서, v2.0 문서. 한 질문에 사용자별 복수 응답을 연결하는 구조를 설명한다.
- Argilla, 공개 기본 브랜치에서 확인한 Response 코드, 2026년 11월 21일 확인. 문서와 코드의 데이터 구조를 참조했으며, 서비스 설치나 실행을 시험한 것은 아니다.