AI의 설명에서 확인할 수 있는 것과 없는 것

AI의 설명이 읽기 쉽다는 것과 실제 판단 요인을 충실하게 드러낸다는 것을 구분한다. 추론 충실성과 모니터링 연구를 바탕으로 설명·근거·실행 결과를 업무에서 어떻게 확인할지 살펴본다.

설명과 판단 요인의 차이를 비유한 AI 생성 개념 이미지. 모델 내부를 관측한 그림이 아니다.

AI가 두 제안 가운데 하나를 추천하고 이유를 차례로 적는다. 비용을 비교했고, 일정의 위험을 따졌으며, 팀의 목표에 맞춰 선택했다고 한다. 문장이 명료하고 비교 항목도 익숙하다. 그러면 검토자는 추천을 이해했을 뿐 아니라 그 추천이 만들어진 과정까지 확인했다고 느끼기 쉽다.

하지만 설명을 이해하는 일과 설명이 실제 판단 요인을 드러내는지 확인하는 일은 다르다. 같은 결론에 도달할 수 있는 이유는 여럿이며, 그중 설득력 있는 이유 하나를 적었다고 해서 그것이 답변을 만든 원인이었음이 입증되지는 않는다. AI를 업무에 넣을 때에는 이 차이가 승인 기준에 영향을 준다. 설명만으로 통과시킬지, 원문과 계산을 확인할지, 행동 결과까지 조회할지가 달라지기 때문이다.

잘 읽히는 설명과 충실한 설명

추론 충실성, 즉 faithfulness는 설명이 결론에 영향을 준 주요 요인과 추론을 얼마나 정확히 반영하는지에 관한 문제다. 모든 내부 계산을 문장으로 옮겨야 한다는 뜻은 아니다. 어떤 정보에 의존했고 어떤 조건에서 답이 달라지는지 이해하는 데 중요한 요인이 빠지지 않았는지가 핵심이다.

예를 들어 비용 때문에 제안을 골랐다고 설명했는데, 비용을 그대로 둔 채 추천자의 직함만 바꾸었을 때 선택이 계속 뒤집힌다고 하자. 비용 설명은 제안의 장점을 잘 보여 줄 수 있다. 그러나 선택에 영향을 준 다른 요인이 있었는지는 따로 조사해야 한다. 이 사례는 개념을 설명하기 위한 가상 상황이며, 특정 서비스의 동작을 측정한 결과가 아니다.

여기서 정답률도 구분해야 한다. 답이 맞아도 제시한 이유가 실제 판단 요인을 모두 드러내지는 않을 수 있다. 반대로 틀린 답에서도 어떤 정보에 끌려갔는지 설명이 충실하게 드러날 수 있다. 업무 평가표에 결과의 정확성과 설명의 품질만 넣으면, 설명과 실제 선택의 관계는 검사하지 않은 채 남는다.

사용자 화면에 보이는 설명이 연구자가 관찰한 추론 기록과 같은 자료인지도 먼저 확인해야 한다. 답변 뒤에 요청한 해설, 읽기 쉽게 정리된 요약, 모델이 답을 만들며 생성한 사고의 사슬(CoT)은 이름이 비슷해도 수집 조건이 다르다. 한 종류의 기록에서 얻은 연구 결과를 다른 설명에 그대로 적용할 수는 없다.

답을 바꾼 힌트가 설명에서는 사라질 때

Anthropic 연구진의 2025년 논문 Reasoning Models Don’t Always Say What They Think는 이 관계를 통제된 개입으로 시험했다. 같은 객관식 질문을 힌트 없이 제시한 경우와 힌트를 넣은 경우를 비교했다. 힌트 때문에 답이 바뀐 사례에서, 모델의 CoT가 그 힌트를 이용했다는 사실을 언급하는지 살폈다.

Claude 3.7 Sonnet과 DeepSeek R1은 여러 실험 조건에서 답에 영향을 준 힌트를 설명에 드러내지 않았다. 연구진이 본 것은 단순히 설명이 짧거나 문장이 서툰 문제가 아니었다. 답변이 특정 정보에 반응했는데도, 읽을 수 있는 추론에는 그 정보에 의존한 흔적이 빠질 수 있었다.

이 결과에는 범위가 있다. 연구는 제한된 종류의 힌트를 객관식 문제에 넣었고, 해당 편법을 쓰는 데 긴 CoT가 꼭 필요한 상황을 다루지는 않았다. 이 결과만으로 모든 모델의 설명이 거짓이라거나, 실제 업무에서 같은 빈도로 누락이 일어난다고 말할 수 없다. 모델에 사람과 같은 의도적 은폐 동기가 있었다는 판정으로 옮겨서도 안 된다.

그럼에도 검토 방식에 주는 함의는 분명하다. 설명에 문제가 드러나면 조사할 단서가 생긴다. 설명에 문제가 보이지 않을 때에는 탐지하지 못했을 가능성도 남는다. 읽기 쉬운 해설을 받았다는 이유만으로 다른 근거 확인을 생략하기 어렵다.

충실하지 않은 기록에서도 단서는 얻을 수 있다

이 한계를 설명의 무용론으로 받아들이면 또 다른 오류가 생긴다. 기록이 모든 판단 요인을 담지 못하더라도 특정 실패를 탐지하는 데 도움을 줄 수 있다. 충실성과 모니터링 가능성은 연결되지만 같은 평가 항목은 아니다.

OpenAI의 2025년 연구 Evaluating chain-of-thought monitorability는 관찰자가 에이전트 행동의 특정 속성을 얼마나 잘 예측하는지 평가했다. 연구한 대부분의 설정에서 CoT를 함께 관찰하는 방식이 행동과 최종 출력만 보는 방식보다 효과적이었다. 동시에 평가하지 않은 행동이 남아 있고, 통제된 환경의 결과가 실제 운영의 실패 탐지로 그대로 이어진다고 보장할 수 없다는 한계를 밝혔다.

두 연구는 서로 다른 질문에 답한다. 하나는 답을 바꾼 요인이 추론에 드러나는지 묻고, 다른 하나는 주어진 기록을 통해 관찰자가 관심 있는 행동을 알아낼 수 있는지 묻는다. 탐지에 유용한 신호라는 평가가 판단 과정 전체를 투명하게 설명한다는 보증으로 바뀌지는 않는다.

따라서 업무에서는 설명을 추가 확인이 필요한 부분을 찾는 데 활용할 수 있다. 출처가 모호한 주장, 생략된 조건, 이상한 계산이 드러나면 해당 부분을 원문이나 도구 결과와 대조한다. 다만 설명을 더 길게 쓰게 하는 것만으로 통과 기준을 대신하지는 않는다. 확인할 사실과 실제로 확인한 결과가 남아야 한다.

팀은 무엇을 확인하고 남겨야 하나

팀이 행사 장소를 비교하는 업무를 가정해 보자. AI가 예산과 수용 인원을 근거로 한 장소를 추천했다면, 우선 인용한 견적과 정원 정보가 원문에 있는지, 합계가 맞는지 확인한다. 이는 추천이 검토 가능한 근거를 갖추었는지 검사하는 일이다. 이 확인만으로 모델 내부의 선택 원인까지 알아냈다고 기록하지는 않는다.

설명의 충실성까지 살피려면 별도의 평가가 필요하다. 공개 자료나 합성 자료로 비교 과제를 만들고, 판단과 무관해야 할 추천자의 직함 같은 단서 하나만 바꾼다. 단서가 없는 조건에서도 여러 번 실행해 원래 선택이 얼마나 흔들리는지 확인한다. 그런 다음 조건별 선택 변화와 설명의 단서 언급을 따로 비교한다. 한 번의 답변 변화로 숨은 원인을 단정하지 않고, 반복해서 나타나는 패턴을 조사 대상으로 삼는 방식이다. 이는 앞선 연구의 개입 방식을 업무 평가에 응용한 제안이며, 여기서 실제 팀 실험을 수행한 것은 아니다.

실제 실행을 맡긴 경우에는 확인 대상이 더 늘어난다. 장소 정보를 조회했는지, 예약을 요청했는지, 예약이 확정됐는지는 각각 다른 사실이다. 설명문에 “예약을 완료했다”고 쓰여 있어도 대상 서비스의 확정 상태를 확인해야 한다. 필요한 기록은 사용한 자료의 버전과 위치, 주요 주장과 그 근거, 실행한 행동과 확인된 결과다. 접근할 수 없는 내부 추론을 추정해 기록하거나, 검증 목적과 무관한 대화 전체를 모을 필요는 없다.

이 구분은 자기검증에 외부 근거를 붙이는 방법과도 이어진다. AI의 설명은 검토자가 다음에 무엇을 확인할지 알려 줄 수 있다. 팀의 승인 기록에는 그 설명과 함께, 어떤 주장과 결과를 실제로 확인했는지를 남겨야 한다.