AI 평가 데이터, 같은 고객의 기록을 어디에 둘 것인가
같은 고객의 반복 기록이나 미래 정보가 학습과 평가에 섞이면 AI 성능을 잘못 해석할 수 있다. 그룹별 분할과 시간순 분할의 차이를 살펴보고, 실제 업무에서 알고 싶은 성능에 맞춰 평가 데이터를 나누는 방법을 제안한다.

GPT Image 2로 생성한 개념 이미지. 관련 기록을 묶어 평가 대상으로 분리하는 생각을 표현했으며 실제 데이터나 실험 결과를 재현한 것은 아니다.
고객 문의를 분류하는 AI를 만든 팀을 가정해 보자. 문의 기록을 무작위로 나누어 일부로 모델을 학습시키고 나머지로 시험했다. 점수는 괜찮았지만, 처음 거래하는 고객의 문의에서는 오류가 자주 발견됐다. 평가 파일과 학습 파일은 분명히 달랐는데 무엇을 놓친 것일까.
한 고객이 여러 번 남긴 문의라면 파일의 행이 달라도 표현, 제품, 계약 조건이 비슷할 수 있다. 같은 고객의 기록이 학습과 평가 양쪽에 있으면, 처음 보는 고객에게도 잘 대응하는지와는 다른 질문을 시험하게 된다. 평가 점수에는 모델의 능력과 함께 데이터를 나눈 방식이 반영된다. 팀은 처음 보는 고객을 상대할 것인지, 이미 아는 고객의 다음 문의를 처리할 것인지부터 정해야 한다.
파일을 나누어도 같은 대상은 양쪽에 남을 수 있다
scikit-learn의 공식 교차검증 문서는 한 대상에게서 여러 표본을 얻은 경우를 그룹 데이터로 설명한다. 대상마다 고유한 특징이 있고 표본끼리 서로 의존한다면, 행을 독립적인 사례처럼 섞는 방식으로는 새로운 대상에 대한 성능을 제대로 파악하기 어렵다. 문서는 새 그룹으로의 일반화 성능을 보려면 학습 쪽에 없는 그룹으로 검증해야 한다고 설명한다. 그룹 데이터 교차검증
고객 문의에 이 원칙을 적용한다면, 고객별 식별자를 기준으로 그 고객의 기록을 한쪽에 모을 수 있다. 학습에 들어간 고객의 다른 문의가 평가로 넘어가지 않게 하는 것이다. 이는 공식 문서의 원칙을 업무에 옮긴 예시이며, 특정 회사에서 검증한 결과는 아니다. 같은 문서에서 잘라 낸 여러 문단이나 같은 설비에서 반복 수집한 기록도 평가 목적에 따라 묶음으로 볼 수 있다.
GroupKFold는 이런 그룹의 중복을 막는 분할 도구다. 한 번의 분할에서 같은 그룹이 학습과 평가 양쪽에 나타나지 않도록 한다. 다만 고객마다 기록 수가 다르면 그룹을 나눴다고 행의 수까지 정확히 같아지는 것은 아니다. 어떤 고객이나 업무 유형이 각 평가 묶음에 들어갔는지도 함께 살펴야 한다. GroupKFold API
그룹 분할을 모든 상황의 정답으로 삼을 필요는 없다. 이미 거래하는 고객의 다음 문의를 처리하는 서비스라면 그 고객의 과거 기록을 활용하는 것이 실제 운영 조건에 맞을 수 있다. 이때는 고객이 양쪽에 있다는 사실만으로 정보 누출이라고 단정하기 어렵다. 대신 예측할 시점에 아직 알 수 없었던 정보가 학습이나 입력에 들어갔는지를 확인해야 한다. 새 고객에 대한 성능과 기존 고객의 미래 문의에 대한 성능을 같은 숫자로 부르면 이 구분이 사라진다.
미래를 맞힐 도구라면 과거에서 시험해야 한다
다음 달 문의를 처리할 시스템을 평가하면서 나중에 생긴 기록으로 학습하고 이전 기록을 시험하면, 실제 배포 때와 정보의 순서가 달라진다. 시간에 따라 가까운 관측값끼리 연관되는 데이터에서는 무작위 분할의 점수가 미래의 성능을 잘 나타내지 못할 수 있다. scikit-learn 문서는 이런 시계열 데이터에 시간 순서를 고려한 평가가 필요하다고 설명한다. 시계열 교차검증
TimeSeriesSplit은 시간순으로 정렬된 자료에서 앞선 구간을 학습에, 뒤의 구간을 평가에 쓰는 분할을 제공한다. 기본 방식에서는 다음 분할로 갈수록 학습 구간이 누적된다. 그러나 호출만으로 업무의 시간 조건이 완성되지는 않는다. 공식 문서는 각 평가 구간의 지표를 비교하려면 표본의 시간 간격이 일정해야 한다는 조건을 명시한다. 불규칙하게 들어오는 문의 기록에 그대로 적용하면 같은 행 수가 같은 기간을 뜻하지 않을 수 있다. TimeSeriesSplit API
이 도구의 gap은 평가 구간 직전의 학습 표본을 일정 개수 제외한다. 달력상의 며칠을 자동으로 비우는 설정은 아니다. 예를 들어 문의 결과가 며칠 뒤 확정되는 업무라면, 행 사이 간격뿐 아니라 정답이 실제로 확정된 시점도 따로 확인해야 한다. 이 사례 역시 업무 설계를 위한 제안이다. 특정 gap 값이 정보 누출을 모두 막아 준다는 뜻은 아니다.
그룹과 시간은 각각 다른 경계를 다룬다. 고객별로만 나누면 미래 자료가 학습에 들어갈 수 있고, 시간순으로만 나누면 같은 고객이 양쪽에 남을 수 있다. 다음 달 처음 만날 고객에 대한 성능이 목표라면 두 조건을 함께 만족하는 평가 구성을 별도로 설계해야 한다. 그룹을 나누는 도구 하나, 시간을 나누는 도구 하나가 그 결합을 자동으로 보장하지는 않는다.
전처리가 평가 자료를 먼저 보지 않게 한다
경계를 잘 나눴어도 전처리 단계에서 평가 정보가 다시 섞일 수 있다. 전체 자료로 평균을 구한 뒤 학습과 평가를 나누거나, 전체 정답을 참고해 유용한 입력 항목을 고르면 평가 자료가 모델을 준비하는 과정에 관여한다. scikit-learn은 예측 시점에 이용할 수 없는 정보가 모델을 만드는 데 쓰이는 것을 데이터 누출로 설명하며, 이 경우 성능을 지나치게 낙관할 수 있다고 경고한다. 데이터 누출과 예방
이 문서의 권고는 자료를 먼저 나누고, 전처리가 배워야 할 값은 학습 자료에서만 구하는 것이다. 학습 쪽에 fit이나 fit_transform을 적용했다면, 평가 쪽에는 이미 정해진 변환을 적용하는 transform을 사용한다. 교차검증에서도 각 분할의 학습 부분 안에서 전처리를 배워야 한다. 전체 학습 후보 자료를 미리 변환해 놓고 그 결과에 교차검증을 걸면, 내부 평가 부분의 정보가 이미 반영됐을 수 있다.
Pipeline으로 전처리와 추정기를 연결하면 이런 순서를 관리하는 데 도움이 된다. 그렇다고 잘못 만든 그룹 식별자나 미래에만 알 수 있는 입력 항목까지 자동으로 찾아 주지는 않는다. 분할과 전처리는 서로 다른 검사다. 팀은 모델 파일뿐 아니라 자료를 묶는 기준, 시점을 자르는 기준, 각 단계가 어떤 자료를 보고 값을 배웠는지까지 확인할 필요가 있다.
평가 보고서의 첫 문장을 바꾼다
업무 담당자가 받아야 할 보고서는 단순히 점수가 높다는 설명에 그치지 않는다. 그 점수가 어느 상황에 관한 것인지 먼저 적혀 있어야 한다. 다음은 고객 문의 업무를 가정한 평가 설계의 구분이다.
| 알고 싶은 성능 | 평가 자료를 나눌 때 확인할 경계 |
|---|---|
| 처음 거래하는 고객에게도 통하는가 | 고객 묶음이 학습과 평가에 겹치지 않는가 |
| 기존 고객의 이후 문의를 처리하는가 | 예측 시점보다 뒤의 정보로 학습하거나 입력을 만들지 않았는가 |
| 이후에 유입될 새 고객에게 통하는가 | 고객의 분리와 시간 순서를 함께 지켰는가 |
이 표는 점수를 더 낮추기 위한 규칙이 아니다. 배포 뒤 마주칠 상황과 평가가 답하는 질문을 맞추기 위한 것이다. 무작위로 행을 나눈 평가가 항상 틀린 것도 아니다. 실제로 표본이 충분히 독립적이고 같은 분포의 새 표본을 예측하는 것이 목표라면 그 목적에 맞는 방법일 수 있다. 어떤 분할이 더 엄격한가만 따지기보다, 어떤 업무의 성능을 재는지부터 합의해야 한다.
팀의 평가 기록에는 데이터 버전과 분할 기준, 각 묶음의 대상·기간, 전처리를 학습한 범위를 함께 남기는 편이 좋다. 그 상태에서 모델을 비교해야 점수 차이를 해석할 수 있다. 평가 결과를 보고 모델이나 설정을 계속 고쳤다면 최종 시험용 자료는 그 선택 과정과도 분리해야 한다. 반복해서 들여다본 시험지가 독립적인 최종 확인을 대신할 수는 없다.
이 글은 공식 문서의 원칙과 API 설명을 바탕으로 평가 설계를 제안한 글이며, 별도 모델을 학습하거나 성능 개선 폭을 측정하지 않았다. 팀이 확인해야 할 출발점은 간단하다. 지금 보고 있는 점수는 새로운 고객을 만났을 때의 성능인가, 익숙한 고객의 다른 기록을 보았을 때의 성능인가. 그 답이 정해져야 데이터가 갈라질 자리도 정해진다.