AI에게 더 생각할 시간을 주기 전에

같은 모델에도 추론 시간을 어디에 쓰느냐에 따라 결과가 달라진다. 순차 추론과 병렬 후보 탐색, s1의 budget forcing과 후속 분석을 바탕으로 업무별 추론 예산과 중단 기준을 설계하는 방법을 살핀다.

표지는 추론 자원의 배분과 중단을 표현한 AI 생성 개념 이미지다. 연구의 실험 결과를 시각화한 도표가 아니다.

AI가 어려운 문제에서 막히면 “조금 더 생각해 봐”라고 말하기 쉽다. 처음 답을 바로 받아들이지 않겠다는 태도는 유용하다. 하지만 시스템을 운영하는 팀은 그다음 질문도 해야 한다. 늘어난 시간 동안 AI가 하게 될 일은 무엇인가. 같은 풀이를 더 이어 갈 것인가, 다른 답안을 만들어 비교할 것인가, 빠진 자료를 찾아올 것인가.

이 선택들은 기다리는 시간을 늘린다는 점에서는 비슷해도 실패를 다루는 방식이 다르다. 풀이를 끝내기 전에 잘라 버린 문제에는 시간이 더 필요할 수 있다. 출발 가정이 잘못된 문제에는 다른 접근이 필요할 수 있다. 원문에 없는 정보가 필요한 문제라면 먼저 자료를 확보해야 한다. 이 차이를 구분하지 않고 모든 요청에 같은 추가 예산을 주면, 유익한 탐색과 반복되는 설명을 함께 늘리게 된다.

앞선 모델 라우팅 글은 어떤 모델에 요청을 맡길지와 그 선택의 비용을 다뤘다. 여기서는 모델을 고정한 뒤의 선택을 살핀다. 학습이 끝난 모델이 답을 만드는 동안 쓰는 계산, 즉 추론 시점의 계산량을 어느 작업에 얼마나 배분할 것인가가 중심 질문이다.

같은 예산도 쓰는 방향이 다르다

추론 시점의 계산을 늘리는 대표적인 방법에는 순차적 확장과 병렬적 확장이 있다. 순차적 확장은 앞서 만든 중간 결과를 바탕으로 풀이를 더 이어 가거나 수정한다. 병렬적 확장은 여러 후보를 따로 생성하고, 투표나 검증기를 이용해 답을 고른다. 전자는 하나의 경로를 깊게 따라가고, 후자는 다른 경로를 찾아볼 기회를 늘린다.

Snell 등의 연구는 PaLM 2-S*를 바탕으로 한 수정·검증 모델과 MATH 문제에서 이 배분을 비교했다. 유리한 전략은 해당 모델을 기준으로 추정한 문제 난이도에 따라 달랐다. 추가 계산을 쓰는 정책을 조정하는 것이 단순히 후보 답안을 많이 만드는 방식보다 효율적일 수 있었다. 다만 연구에서 난이도를 추정하는 데 든 비용은 비교 예산에 포함되지 않았다. 수학 문제와 특정 모델에서 얻은 결과를 모든 업무의 비용 절감률로 가져오면 안 되는 이유다. 연구 원문

운영에서는 생성 뒤의 선택도 계산에 넣어야 한다. 후보를 여럿 만들었어도 좋은 답을 고르는 절차가 약하면 탐색의 이득을 회수하기 어렵다. 병렬 실행으로 대기 시간이 짧아질 수는 있지만, 모든 후보를 만드는 자원과 비교 비용은 남는다. 순차 실행은 앞선 결과를 기다려야 하므로 같은 총량을 쓰더라도 응답 지연이 달라질 수 있다. 토큰 수, 실제 소요 시간, 검토 시간을 함께 기록해야 배분을 비교할 수 있다.

s1의 ‘Wait’가 실제로 제어한 것

2025년 공개된 s1은 추론 예산을 조절하는 방법을 구체적으로 보여준다. 초기 논문은 선별한 1,000개 질문과 추론 흔적으로 Qwen2.5-32B-Instruct를 미세조정한 s1-32B를 다뤘다. 이 모델의 budget forcing은 종료를 제어한다. 짧게 끝내려면 추론 종료 구분자를 붙여 답변 단계로 넘기고, 더 이어 가려면 종료를 막은 뒤 현재 추론에 Wait를 붙인다. 연구는 이런 개입으로 수학 평가에서 성능을 높인 결과를 보고했다. s1 초기 논문

공개 구현도 이 메커니즘을 보여준다. 2026년 10월 19일 확인한 기본 브랜치 main의 고정 버전 README는 s1-32B의 종료 지점을 감지하고, 이미 생성한 토큰 수를 남은 예산에서 뺀 뒤 추론을 이어 간다. 최종 답변을 생성하는 단계도 따로 둔다. 이 코드는 모델의 종료 토큰과 추론 구간을 다루는 구현이다. 일반 채팅창에서 다시 생각해 달라고 요청하는 것과 동일한 제어가 보장되는 것은 아니다.

이 사례를 업무에 옮길 때 먼저 확인할 것은 사용할 수 있는 제어 수단이다. 서비스가 지원하는 추론 예산 설정과 새 후보 생성, 검사 결과를 받은 뒤의 재시도는 각각 별도로 비교할 수 있다. 화면에 답변을 길게 표시하는 것만으로 계산량을 정확히 배분했다고 판단해서는 안 된다. 어떤 설정을 바꾸었고, 실제 비용과 결과가 어떻게 달라졌는지를 남겨야 한다.

더 길게 허용한 결과를 어떻게 읽을까

길이 제한을 아주 짧게 두면 모델은 풀이를 마치기 전에 답해야 한다. 제한을 풀었을 때 성능이 오르는 곡선에는, 충분한 추론을 허용한 효과가 들어갈 수 있다. 그 곡선만으로 이미 끝난 풀이를 계속 연장해도 성능이 오를 것이라고 결론 내릴 수는 없다.

Guojun Wu의 후속 분석은 이 차이를 AIME 2024와 s1을 포함한 여러 모델에서 살폈다. 최대 길이를 줄이는 실험과 종료하려는 응답에 Wait를 붙이는 실험을 나눴다. 후자에서는 답이 그대로이거나, 맞았다가 틀렸다가 하는 변동이 관찰됐다. 이 결과는 해당 모델과 개입 방식의 한계를 보여준다. 추론 계산을 늘리는 모든 방법이 무효라는 증거로 확대할 수는 없다. 후속 분석 원문

팀이 실험을 읽을 때도 두 효과를 분리할 필요가 있다. 기본 설정이 지나치게 짧아 생긴 실패를 회복했는지, 충분히 답할 수 있던 기본 설정보다 추가 탐색이 더 나은 결과를 만들었는지 따로 본다. 특히 반복 횟수별 결과를 모두 본 뒤 가장 잘 맞은 지점을 고르면, 실제 운영에서는 알 수 없는 정답을 이용해 중단 시점을 선택한 셈이 된다. 중단 규칙은 평가 전에 정해 두고, 그 규칙이 선택한 최종 결과로 비교해야 한다.

업무에는 예산표와 함께 종료 조건을 넣는다

다음은 앞선 연구를 업무에 적용하기 위한 설계 제안이다. 논문의 실험을 재현한 결과는 아니다. 예를 들어 팀의 규칙 문서에서 필요한 조건을 찾아 구조화된 요약을 만드는 업무를 생각해 보자. 먼저 같은 입력 자료와 모델을 두고, 충분히 답변 가능한 기본 설정을 기준으로 삼는다. 그다음 더 큰 순차 추론 예산과 여러 후보를 만드는 방식을 각각 비교한다. 생성과 후보 선택에 허용할 총비용의 상한도 미리 정한다.

검사는 업무의 실제 요구를 대상으로 한다. 필수 조건이 빠지지 않았는지, 각 항목이 원문에 있는지, 근거가 없는 부분을 미확인으로 남겼는지를 본다. 형식 검사는 자동화하고 의미와 근거의 대응은 별도로 평가한다. 평가자에게 어떤 설정의 결과인지 감추면 긴 답변이나 비싼 설정을 선호하는 영향을 줄이는 데 도움이 될 수 있다. 생성기가 반복해서 같은 답을 냈다는 사실만으로 통과시키지는 않는다.

다음 행동은 실패 이유에 맞춰 배분한다. 원문은 충분한데 조건을 빠뜨렸다면 구체적인 누락을 알려 주고 수정할 여지가 있다. 서로 다른 해석이 가능하다면 후보를 비교하되 선택 근거를 점검한다. 필요한 자료 자체가 없다면 자료 요청이나 담당자 검토로 넘긴다. 같은 입력에서 확인할 새 근거도, 시도할 다른 접근도 남지 않았을 때는 추가 생성의 상한에 도달하기 전이라도 중단할 수 있도록 규칙을 세운다.

결과표에는 평균 점수만 남기지 않는다. 업무 유형별 통과율, 오래 걸린 요청의 지연, 후보 선택에 쓴 비용, 사람이 고친 시간, 해결하지 못해 넘긴 비율을 함께 기록한다. 예산을 조정한 사례와 효과를 확인할 사례도 분리한다. 그래야 익숙한 예제에서 얻은 개선을 다음 업무에서도 기대할 수 있는지 살필 수 있다.

더 생각할 시간을 주는 결정에는 그 시간이 바꿀 수 있는 실패를 명시해야 한다. 풀이를 마칠 여유가 필요한 요청, 다른 후보를 탐색할 요청, 사람이 자료와 판단을 보태야 할 요청을 구분하는 일부터 시작할 수 있다. 그 구분을 할 수 있을 때 추가 추론은 막연한 대기 시간이 아니라, 검증할 수 있는 업무 설계가 된다.