같은 대화도 AI에게는 다른 입력이 된다
모델을 바꿀 때 대화 문장만 옮기면 입력 조건을 놓칠 수 있다. Hugging Face의 채팅 템플릿을 바탕으로 역할 구분, 응답 시작 지점, 특수 토큰 중복을 살피고 팀이 함께 보존해야 할 실행 조건을 제안한다.

GPT Image 2로 생성한 개념 이미지. 같은 내용도 담는 형식에 따라 다르게 전달된다는 생각을 표현했으며 실제 모델 구조를 재현한 것은 아니다.
팀에서 쓰던 AI를 다른 모델로 바꾸는 상황을 생각해 보자. 시스템 지침과 질문, 이전 답변을 그대로 옮겼는데 결과가 달라졌다. 모델의 성능 차이를 비교하기 전에 확인할 것이 있다. 사람 눈에 같은 대화가 모델에도 같은 방식으로 전달됐는가.
대화창에는 말풍선이 보이지만, 텍스트를 생성하는 인과적 언어 모델이 이어 쓰는 것은 토큰의 연속이다. 누가 말했는지, 한 발화가 어디에서 끝났는지, 이제 누구의 차례인지를 표시하는 형식도 입력에 포함된다. 문장만 복사하고 그 경계를 빠뜨리면, 팀은 프롬프트를 보존했다고 생각하면서 실행 조건을 바꾸게 된다.
이 글은 Hugging Face Transformers의 채팅 템플릿 문서와 현재 공개 구현을 바탕으로 그 경계를 살핀다. 모든 대화형 서비스가 같은 내부 형식을 쓴다는 뜻은 아니다. 직접 모델을 운영하거나 로컬 추론 환경을 인계할 때 특히 확인할 부분이며, 관리형 API에서는 제공자가 받는 메시지 형식과 변환 책임을 먼저 확인해야 한다.
역할 목록은 아직 모델이 읽을 입력이 아니다
대화는 흔히 role과 content를 가진 메시지 목록으로 저장한다. 사용자 발화, 모델 답변, 행동 지침을 구분해 보관하기에는 편하지만, 그 목록이 그대로 모델의 토큰열이 되는 것은 아니다. Transformers의 apply_chat_template는 메시지 목록을 모델이 기대하는 형식으로 펼친다. tokenize=True로 호출하면 토큰화까지 수행한다. 공식 채팅 템플릿 안내
공식 문서는 같은 Mistral 계열 기반 모델에서 출발한 대화 모델도 서로 다른 제어 토큰을 사용할 수 있음을 보여 준다. 여기서 구형 모델 예시는 현재 모델 선택을 추천하는 사례가 아니라, 기반 모델이 같아도 대화 형식까지 같지는 않다는 설명이다. 채팅 템플릿은 보기 좋은 출력 꾸미기가 아니라 모델이 학습한 대화 구조에 입력을 맞추는 과정이다.
업무에서는 이 차이가 인계 자료의 범위를 바꾼다. “이 질문으로 좋은 답을 얻었다”는 문서에 질문만 남겨서는 충분하지 않다. 어떤 모델과 토크나이저를 썼는지, 어떤 템플릿으로 메시지를 변환했는지, 마지막 발화가 누구의 말이었는지를 함께 알아야 다른 사람이 같은 조건을 구성할 수 있다. 이는 공식 기능을 팀 운영에 적용한 제안이며, 질문 문구의 중요성이 사라진다는 뜻은 아니다.
새 답변을 시작하는가, 이미 쓴 답변을 이어 가는가
채팅 템플릿에서 add_generation_prompt는 모델 답변의 시작을 나타내는 토큰을 뒤에 붙이는 데 쓰인다. 이 표시가 필요한 형식에서는 다음 생성이 사용자의 문장을 이어 쓰는 것이 아니라 assistant의 답변을 시작하도록 경계를 마련한다. 다만 모든 모델이 이런 별도 시작 표시를 요구하지는 않는다. 공식 문서도 어떤 템플릿에서는 이 옵션이 효과가 없다고 설명한다. 따라서 모델을 바꿀 때마다 무조건 같은 값을 넣는 것으로 검증을 대신할 수 없다. 응답 시작 지점
반대로 continue_final_message는 마지막 메시지를 이어 쓰려는 경우에 사용한다. 예를 들어 답변의 앞부분을 미리 넣고 나머지를 생성하게 하는 방식이다. 새 발화를 여는 것과 기존 발화를 계속하는 것은 다른 요청이다. 공식 문서는 두 옵션을 함께 쓰지 말라고 명시하며, 함께 사용하면 오류가 난다고 설명한다. 마지막 메시지 이어쓰기
문서에 있는 JSON 시작 부분 이어쓰기 예시는 결과가 언제나 유효한 JSON이라는 보장이 아니다. 출력의 문법과 필수 항목은 별도로 검사해야 한다. 마찬가지로 역할 구분이 올바르다는 것만으로 답변의 사실성이나 실행 권한이 검증되지는 않는다. 입력 구조, 출력 형식, 업무 판단은 서로 다른 확인 대상이다.
이 구분은 고수준 도구를 쓸 때도 중요하다. 현재 문서의 TextGenerationPipeline은 보통 새 답변을 시작하도록 설정하지만, 마지막 메시지가 assistant 역할이면 미리 채운 답변으로 보고 이어쓰기로 전환한다. 이전 답변을 대화 끝에 남기는 작은 차이가 생성의 출발점을 바꿀 수 있다. 테스트 사례에는 마지막 메시지가 사용자 질문인 경우와 assistant의 부분 답변인 경우를 나누어 넣는 편이 좋다. 이 동작을 다른 서비스의 API에도 그대로 적용된다고 일반화해서는 안 된다.
형식을 두 번 붙이는 실수
팀이 직접 입력 전처리를 연결할 때는 변환 순서도 중요하다. 먼저 apply_chat_template의 tokenize=False로 문자열을 얻고, 그 문자열을 다시 토크나이저에 넘기는 구성이 있을 수 있다. 공식 문서는 이때 나중의 토큰화에서 add_special_tokens=False를 사용해 특수 토큰이 중복되지 않게 하라고 안내한다. 템플릿이 이미 넣은 경계 표시를 토크나이저가 다시 추가할 수 있기 때문이다. 템플릿 적용과 토큰화
이 문제는 프롬프트를 더 길게 쓰거나 표현을 다듬는 것으로 해결되지 않는다. 입력 문장이 변하기 전에 어떤 전처리를 거쳤는지 확인해야 한다. 변환 전 메시지 목록과 변환 후 문자열을 나란히 보면 역할 경계나 끝부분의 차이를 찾는 데 도움이 된다. 다만 문자열을 눈으로 보는 것과 실제 토큰 ID를 확인하는 것은 같은 검사가 아니다. 최종적으로 모델에 전달되는 입력까지 살펴야 한다.
현재 공개 구현의 render_jinja_template에서도 메시지와 생성 시작 옵션을 템플릿에 전달하고, 마지막 메시지를 이어 쓸 때 렌더링 결과의 끝을 조정하는 흐름을 확인할 수 있다. 이 글에서는 해당 구현을 읽었으며 모델을 직접 실행해 응답 품질이나 개선 폭을 측정하지는 않았다. 확인한 구현
팀이 보존할 것은 질문과 입력 조건의 묶음이다
고객 문의 답변을 만드는 팀이라면 대표 대화 몇 개를 정해 모델 교체 전후의 입력을 비교할 수 있다. 한 번의 질문, 여러 차례 오간 대화, 답변의 시작 부분을 미리 넣은 사례를 구분한다. 각 사례에서 시스템 지침과 사용자 질문이 의도한 역할로 들어갔는지, 끝부분이 새 답변을 여는지 기존 답변을 이어 가는지, 경계 토큰이 중복되지 않았는지를 확인한다. 실제 고객 기록 대신 공개 가능한 합성 사례부터 쓰면 검토 자료를 공유하기도 쉽다.
인계 기록에는 모델과 토크나이저의 리비전, Transformers 버전, 적용한 템플릿, 생성 시작·이어쓰기 설정, 입력 검사 결과를 함께 남기는 편이 좋다. 관리형 API라면 내부 템플릿을 추측해 적기보다 서비스와 모델 식별자, 메시지 구조, 노출된 옵션을 기록한다. 내부 변환을 확인하지 못했다는 한계도 그대로 남긴다.
입력 형식을 맞췄다고 두 모델의 답변이 같아지는 것은 아니다. 달라진 결과를 모델의 차이로 판단하기 전에, 비교의 출발점부터 의도대로 만들자는 뜻이다. 팀이 재사용할 수 있는 프롬프트는 좋은 문장 하나를 넘어선다. 그 문장이 어떤 역할과 경계 안에서 모델에 도착했는지까지 함께 설명할 수 있어야 한다.