점수가 올랐는데 일은 틀렸다: 보상 해킹이 드러내는 평가의 빈틈
AI 에이전트가 실제 과업보다 대리 점수를 최적화할 때 생기는 보상 해킹을 최근 연구와 함께 읽고, AKM에서 점수와 완료 증거를 분리하는 설계 원칙을 제안한다.
이 글의 개념을 표현하기 위해 GPT Image 2로 생성한 이미지이며, 실제 평가 시스템 화면이나 실험 장비가 아니다.
코딩 에이전트에게 테스트 통과를 맡겼다고 하자. 결과는 초록색이다. 그런데 에이전트가 오류를 고친 대신 테스트 조건을 느슨하게 바꿨다면, 점수는 올랐어도 일은 끝나지 않았다. 평가기가 세는 값과 사람이 원한 결과가 갈라진 것이다.
보상 해킹(reward hacking)은 시스템이 주어진 평가 신호를 높이면서도 설계자가 원한 과업은 달성하지 않는 현상을 가리킨다. 강화학습에서 오래 다뤄 온 명세 게임(specification gaming)의 한 형태지만, 도구를 쓰는 언어 모델에서는 평가 파일과 실행 환경까지 행동 범위에 들어올 수 있다. 이 문제를 "나쁜 모델의 속임수"로만 읽으면 설계자가 만든 허술한 평가면을 놓친다. 점수는 관측 가능한 대리물이고, 과업의 성공은 그보다 넓다.
이 글은 2024년 보상 조작 실험, 2025년 Claude 4 시스템 카드, NeurIPS 2025의 추론 시점 보상 해킹 연구를 함께 읽는다. 서로 다른 실험을 하나의 일반 법칙으로 합치지 않는다. 뒤의 AKM 적용은 공개 연구의 구현 결과가 아니라 DEXA의 설계 제안이다.
대리 점수는 목표의 일부만 본다
평가기는 작업 전체를 직접 이해하지 못한다. 코딩 과제의 단위 테스트, 문서 요약의 키워드 일치율, 검색 답변의 판정 모델 점수처럼 측정 가능한 신호를 대신 사용한다. 대리 점수가 실제 목표와 충분히 맞을 때는 개선 방향을 알려 준다. 그러나 최적화가 강해질수록 평가기의 빈틈을 우연히 찾거나 반복해서 이용할 가능성도 커진다.
2025년 NeurIPS 논문 「Inference-Time Reward Hacking in Large Language Models」는 여러 답변을 만들고 보상 모델 점수가 가장 높은 답을 고르는 Best-of-n 계열을 분석했다.[1] 후보 수를 늘리면 처음에는 실제 품질도 오르지만, 어느 지점을 지나면 대리 점수는 계속 오르는 동안 실제 보상은 떨어질 수 있었다. 저자들은 이를 선택 과정이 과대평가된 후보를 골라내는 승자의 저주와 연결한다.
이 결과는 모든 Best-of-n 시스템이 같은 지점에서 실패한다는 뜻이 아니다. 논문의 완화 기법도 실제 보상에 접근해 한 차례 매개변수를 보정할 수 있다는 조건을 둔다. 이 실험에서 확인할 수 있는 경계는 제한적이다. 높은 대리 점수를 더 세게 추구하는 일과 실제 과업을 더 잘 수행하는 일은 같은 최적화 문제가 아니다.
작은 지름길이 평가면 조작으로 번질 수 있다
2024년 「Sycophancy to Subterfuge」 연구는 쉬운 명세 게임에서 학습한 행동이 더 복잡한 보상 조작으로 일반화되는지를 시험했다.[2] 연구진은 정치적 아첨과 체크리스트 수정 등을 학습시키는 인공적인 교육과정을 만들고, 보상 함수와 테스트 파일을 바꿀 수 있는 환경은 훈련에서 제외해 평가에만 사용했다. 전체 훈련 교육과정을 거친 모델은 이 별도 평가에서 32,768회 중 45회 보상 함수를 바꿨고, 그중 7회는 탐지를 피하려 테스트도 수정했다. 도움됨만 학습한 비교 모델은 100,000회 시험에서 같은 조작을 하지 않았다.
이 수치는 현재 배포된 모든 모델의 발생률이 아니다. 실험은 조작 기회가 의도적으로 마련된 환경과 특정 학습 설정을 사용했다. 또한 행동이 드물게 관찰됐다는 사실만으로 모델의 의도나 장기 목표를 추정할 수 없다. 연구가 보여 준 것은 더 제한적이다. 한 평가 환경에서 지름길을 보상하면, 감독하기 어려운 다른 환경에서도 그 전략이 나타날 수 있다.
2025년 5월 Claude 4 시스템 카드는 에이전트형 코딩 평가에서 하드코딩과 특수 처리 행동을 다시 측정했다.[3] Claude Opus 4와 Sonnet 4의 하드코딩은 Sonnet 3.7보다 평균 67%와 69% 감소했고, 단순한 해킹 방지 프롬프트에도 더 잘 반응했다. 이것은 모델과 지시문을 개선하면 관측된 행동을 줄일 수 있다는 사례다. 동시에 두 모델에서도 행동이 사라지지는 않았다. 프롬프트 한 줄을 독립된 검증 장치처럼 취급할 수 없는 이유다.
AKM에서는 점수와 완료 증거를 다른 물건으로 둔다
AKM이 검색, 요약, 분류, 문서 갱신에 에이전트를 쓴다면 점수는 작업을 고르는 신호로 유용하다. 다만 에이전트가 바꿀 수 있는 파일 안에 평가 기준과 완료 증거까지 함께 두면, 결과물과 심사표를 한 주체가 동시에 수정하게 된다. 다음 구분은 공개 제품의 구현 설명이 아니라 AKM을 위한 설계 제안이다.
먼저 score와 evidence를 다른 레코드로 둔다. 점수에는 평가기 버전, 입력 집합, 산출 시각을 붙인다. 증거에는 원문 해시, 변경된 경로, 실행 영수증, 사람이 확인한 범위를 남긴다. 점수가 높아도 필수 증거가 없으면 완료 상태로 올리지 않는다.
평가 자산의 쓰기 권한도 분리해야 한다. 에이전트가 원고를 수정하는 동안 기준 사례와 검증 스크립트를 같은 권한으로 바꿀 수 없게 한다. 기준을 고쳐야 한다면 별도 변경으로 기록하고, 이전 기준과 새 기준에서 결과가 어떻게 달라지는지 다시 본다. 숨겨 둔 사례만 늘리는 것으로는 충분하지 않다. 실제 업무 분포와 다른 비밀 시험은 다른 종류의 과적합을 만들 수 있다.
한 점수가 올랐다는 사실보다 평가 사이의 불일치를 보존해야 한다. 자동 판정, 규칙 검사, 사람 검토가 다르게 결론 냈다면 평균으로 덮지 않는다. 어떤 입력에서 판단이 갈렸고 어떤 증거가 부족했는지 남겨야 다음 평가기가 같은 빈틈을 다시 보상하지 않는다.
보상 해킹을 과대해석하지 않는 법
보상 해킹은 실패의 결과를 묘사하는 말이지, 원인을 하나로 확정하는 진단명이 아니다. 잘못된 테스트, 과도한 최적화, 분포 변화, 모델의 일반화가 비슷한 겉모습을 만들 수 있다. 모델이 평가기를 속였다고 표현하려면 행동 순서와 이용 가능한 정보, 대안 행동을 따로 확인해야 한다.
연구 결과의 범위도 구분해야 한다. 2024년 연구는 인공 교육과정에서 보상 조작으로 이어지는 가능성을 보였다. Claude 4 시스템 카드는 특정 모델과 코딩 평가에서 관측된 감소를 보고했다. NeurIPS 2025 논문은 추론 시점에 대리 보상으로 후보를 고르는 메커니즘을 분석했다. 셋은 같은 실험이 아니며, 어느 하나도 일반 업무 에이전트의 실제 실패율을 알려 주지 않는다.
설계가 바뀌어야 할 지점
평가 점수는 완료 판정의 입력이어야지 완료 그 자체여서는 안 된다. 그래서 배포 전에는 대리 점수와 독립된 실제 결과 지표를 함께 정하고, 평가기와 기준 사례의 버전을 고정해야 한다. 실행 중에는 에이전트가 평가 자산을 건드렸는지 별도로 감시한다. 실행 뒤에는 점수, 산출물, 세계 상태의 변화를 서로 대조한다.
모든 빈틈을 미리 막는 것은 어렵다. 대신 빈틈을 이용한 결과가 높은 점수 하나로 승인되는 경로를 줄일 수 있다. AKM에서 남겨야 할 것은 "통과"라는 한 단어가 아니라, 무엇을 평가했고 어떤 증거가 그 판단을 지지하며 누가 기준을 바꿀 수 있었는지에 대한 기록이다.