← Back to Blog
AI · AX Article · 2026.11.10

LLM 요청을 묶을 때 패딩 방향도 검증해야 한다

길이가 다른 요청을 묶어 LLM에 보낼 때 패딩 방향은 생성 결과에 영향을 줄 수 있다. Transformers의 디코더 전용 생성 경로를 살펴보고, 단건 처리와 배치 처리의 품질을 비교하는 업무 인수 기준을 제안한다.

AIinferenceevaluationwork-design

길이가 다른 도자기 막대의 오른쪽 끝이 나란히 맞춰지고 왼쪽 빈자리는 반투명 블록으로 채워진 조형

GPT Image 2로 생성한 개념 이미지. 길이가 다른 입력의 끝을 맞추는 모습을 표현했으며 실제 토큰이나 측정 결과를 재현한 것은 아니다.

고객 문의를 분류하는 작은 AI 도구를 팀 전체가 쓰게 되는 상황을 가정해 보자. 한 건씩 처리하던 요청을 여러 건씩 묶으면 같은 모델을 더 효율적으로 운영할 수 있으리라 기대한다. 그런데 긴 문의와 짧은 문의를 함께 넣은 뒤, 짧은 문의에서만 엉뚱한 출력이 늘어난다. 모델과 질문 문장은 그대로인데 무엇이 달라졌을까.

배치 처리는 요청을 모으는 일과 함께 입력을 배열하는 일도 포함한다. 길이가 다른 문장을 같은 크기의 텐서로 만들 때 빈자리를 채우는 패딩이 들어간다. 이때 빈자리를 어디에 놓는지가 생성 과정과 맞아야 한다. 이 글은 Hugging Face Transformers의 일반적인 디코더 전용 배치 생성 경로를 사례로 삼는다. 모든 모델이나 추론 서버에 같은 규칙이 적용된다는 뜻은 아니다.

짧은 문장의 끝에 무엇이 놓이는가

토큰으로 바꾼 두 요청의 길이가 다르면, 직사각형 배열로 묶기 위해 짧은 쪽에 패딩 토큰을 더할 수 있다. 오른쪽 패딩은 실제 입력 뒤에 빈자리를 붙이고, 왼쪽 패딩은 실제 입력 앞에 붙인다. 어느 쪽이든 배열의 폭은 같아지지만 마지막 칸에 놓이는 값은 달라진다. 오른쪽 패딩을 쓴 짧은 행은 패딩으로 끝나고, 왼쪽 패딩을 쓴 행은 실제 입력으로 끝난다. Transformers 패딩 문서

문장을 이어 쓰는 디코더 전용 모델에서는 이 차이가 중요하다. 공식 텍스트 생성 안내는 길이가 다른 입력을 묶을 때 padding_side="left"를 쓰도록 설명한다. 문서의 예제는 숫자 나열과 더 긴 알파벳 나열을 함께 입력하고, 패딩 방향에 따라 짧은 입력의 이어 쓰기가 달라지는 모습을 보여 준다. 이는 문서가 제시한 사례이며, 이 글에서 별도 모델을 실행해 얻은 실험 결과는 아니다. 공식 생성 안내

팀의 서비스에서는 같은 길이의 예문만 시험하면 문제가 드러나지 않을 수 있다. 패딩이 필요한 입력 조합을 넣어야 패딩 동작을 검사할 수 있다. 짧은 요청과 긴 요청이 섞이는 실제 업무 분포를 시험에 남겨야 하는 이유다.

마스크와 다음 토큰을 고르는 위치는 다른 문제다

패딩 위치에 attention_mask를 붙이면 끝나는 것처럼 보일 수 있다. 이 마스크는 모델이 패딩 위치를 실제 입력처럼 참조하지 않도록 구분하는 데 쓰인다. 그러나 마스크를 전달하는 것과 생성 루프가 어느 위치의 출력을 읽는지는 별개의 처리다. 토크나이저의 attention mask 설명

2026년 11월 10일에 확인한 Transformers 기본 브랜치의 샘플링 경로는 outputs.logits[:, -1]에서 다음 토큰을 선택할 점수를 가져온다. 마지막 위치의 점수를 읽는다는 뜻이다. 짧은 행의 마지막 칸이 패딩이라면, 앞에 있는 실제 입력의 마지막 위치를 자동으로 찾아 읽는 동작과는 다르다. 같은 코드에는 디코더 전용 배치에서 오른쪽 패딩을 감지하면 왼쪽 패딩을 사용하라는 경고도 있다. 확인한 커밋의 생성 코드 · 마지막 위치의 점수를 읽는 부분

따라서 마스크가 있다는 사실만으로 오른쪽 패딩을 쓴 생성이 올바르다고 판단해서는 안 된다. 입력을 만드는 토크나이저와 그 입력을 읽는 생성 경로를 함께 확인해야 한다. 왼쪽 패딩 역시 마스크나 모델에 맞는 입력 형식을 생략해도 된다는 허가는 아니다.

공식 예제는 전용 패딩 토큰 대신 종료 토큰을 패딩에 쓰는 설정도 보여 준다. 이를 모델과 무관한 기본 처방으로 복사하기보다는, 해당 모델의 권장 설정과 종료 조건을 확인해야 한다. 토크나이저가 만든 입력 ID와 마스크를 함께 전달하는 예제의 문맥도 보존해야 한다. 패딩 방향 하나를 고쳤다는 이유로 나머지 생성 설정까지 검증됐다고 볼 수는 없다.

단건과 배치를 같은 업무 기준으로 비교한다

배치 전환을 인수할 때는 처리량과 결과 품질을 함께 확인하는 것이 좋다. 다음은 특정 기업의 성과 보고가 아니라, 문의 분류나 문서 요약 업무에 적용할 수 있는 검증 제안이다. 모델·토크나이저 버전, 프롬프트 형식, 생성 길이와 샘플링 설정을 기록하고 같은 요청을 단건과 배치로 각각 처리한다. 배치에는 길이가 비슷한 입력끼리 묶은 경우와 긴 입력에 짧은 입력을 섞은 경우를 포함한다.

비교 기준은 문장 전체의 일치 여부에만 두지 않는다. 분류 업무라면 허용된 분류값과 정답 적합성을, 요약 업무라면 필수 사실의 보존과 근거 없는 추가를 확인한다. 출력이 요청한 형식으로 끝나는지도 살펴본다. 설정을 같게 맞췄더라도 서로 다른 실행 조건에서 글자가 완전히 같아야 한다고 단정하기는 어렵다. 단건 결과를 정답으로 삼기보다, 두 처리 방식에 같은 업무 품질 기준을 적용해야 한다.

오류가 짧은 입력에 몰린다면 전체 평균만 보고 넘어가지 않는다. 실제 입력 길이와 패딩 위치, 마스크, 사용한 생성 경로를 함께 확인한다. 패딩 문제를 고친 뒤에도 실패가 남는다면 입력 잘림이나 프롬프트 형식 같은 다른 원인을 조사해야 한다. 이 글의 사례는 점검의 출발점이며 모든 배치 오류를 설명하는 진단법은 아니다.

운영 조건도 팀의 재현 자료에 남긴다

AI 도입 기록에 모델 이름과 프롬프트만 남기면, 다음 담당자는 같은 문장을 넣고도 다른 결과를 만날 수 있다. 배치 크기와 입력 길이 구성, 패딩 방향, 토크나이저와 생성 설정을 함께 남기면 차이가 생긴 조건을 좁힐 수 있다. 추론 엔진을 바꾸거나 요청을 묶는 방식을 수정할 때도 같은 비교 자료를 다시 사용할 수 있다.

실제 서비스의 속도 이득은 하드웨어와 요청 분포, 추론 구현에 따라 확인해야 한다. 이 글은 배치 처리의 속도나 비용 절감률을 측정하지 않았다. 팀이 받아들일 결과는 처리 건수가 늘었다는 숫자와 함께, 그 조건에서도 필요한 업무 품질을 지켰다는 근거를 갖춰야 한다. 짧은 요청 한 건을 긴 요청들 사이에 넣어 보는 검사는 그 근거를 만드는 작은 시작이다.