첫 AX 실험에 넣을 업무를 고르는 기준
작은 AX 실험에 적합한 업무를 입력 자료, 검토 기준, 실패 비용과 되돌릴 가능성으로 고르고 첫 도입의 범위를 정한다.
AI로 생성한 개념 이미지이며, 실제 업무 현장이나 시스템의 기록이 아니다.
회의가 끝나자 세 가지 후보가 남았다. 주간 보고서 초안, 고객 문의 답변, 계약서 검토. 셋 다 문서가 많고 반복도 잦으니 생성형 AI가 잘할 것처럼 보인다. 그러나 첫 실험으로 무엇을 고르느냐에 따라 팀이 배우는 내용은 크게 달라진다. 주간 보고서는 되돌리기 쉽지만 성과가 모호할 수 있다. 고객 답변은 효과를 관찰하기 좋지만 잘못 보내면 외부 피해가 생긴다. 계약서 검토는 가치가 커 보여도 정답과 책임의 경계가 복잡하다.
첫 과제를 고를 때 흔히 “시간을 많이 쓰는 일”이나 “사람들이 귀찮아하는 일”부터 찾는다. 그것만으로는 부족하다. 일이 반복된다는 사실은 후보가 될 이유일 뿐, 실험하기 안전하다는 뜻은 아니다. 첫 AX 실험의 목적은 최대 성과를 한 번에 내는 데 있지 않다. AI가 개입한 전후를 비교하고, 실패를 관찰하고, 다음 업무에 옮길 수 있는 운영 지식을 얻는 것이 첫 묶음의 목적이다.
영국 정부의 AI Playbook은 AI 과제를 정할 때 목적을 먼저 정의하고, 고위험·고영향 영역에서는 AI를 단독으로 사용하지 말며, 전체 생애주기와 책임을 관리하라고 안내한다.[1] NIST AI RMF도 사용 목적, 이용자, 기대 효과와 부정적 영향, 조직의 위험 허용 수준, 적용 범위를 먼저 문서화한 뒤 측정과 관리로 넘어가는 구조를 제시한다.[2] 두 자료는 특정 도구의 구매 목록이 아니라 맥락과 책임을 먼저 고정해야 한다는 공통점을 갖는다.
업무 이름보다 한 번의 작업 단위를 본다
“마케팅 업무에 AI를 도입한다”는 말은 실험 단위가 아니다. 같은 마케팅 안에도 자료 수집, 문구 초안, 법적 표현 확인, 채널 게시, 성과 분석이 섞여 있다. 이 가운데 AI가 초안을 만드는 일과 외부 계정에 실제로 게시하는 일은 위험과 검증 방법이 다르다.
후보를 고를 때 업무를 다음 문장으로 다시 써보자.
정해진 입력을 받아, 정해진 독자를 위한 산출물을 만들고, 사람이 명시한 기준으로 검사한 뒤, 승인 전 상태에 둔다.
예를 들어 “홍보 업무 자동화”는 “승인된 행사 안내 자료 세 건을 입력받아, 홈페이지 게시용 600자 이내 초안을 만들고, 날짜·장소·신청 링크를 원문과 대조한 뒤 편집 대기함에 저장한다”로 좁힐 수 있다. 이 문장에는 입력, 산출물, 검증, 권한 경계가 보인다. 반대로 “알아서 홍보하고 성과를 높인다”에는 무엇을 비교해야 할지조차 남지 않는다.
첫 후보는 한 사람이 시작하고 끝낼 수 있을 만큼 작되, 장난감처럼 무의미해서는 안 된다. 실제 업무의 입력과 품질 기준을 사용하되 외부 발송, 결제, 삭제, 인사 판단처럼 돌이키기 어려운 행동은 떼어낸다. 그래야 실험이 성공해도 무엇이 좋아졌는지 알 수 있고, 실패해도 조직에 손해를 남기지 않는다.
다섯 질문으로 후보를 거른다
첫 후보는 다음 다섯 질문으로 가려볼 수 있다. 아래 항목은 [1]과 [2]의 원칙을 업무 실험에 적용한 저자의 설계안이지, 두 기관이 제시한 공식 점수표가 아니다.
첫째, 입력의 경계를 고정할 수 있는가. 시작 자료가 매번 달라져도 최소한 어떤 자료가 필수인지 말할 수 있어야 한다. 회의 녹취, 승인된 정책 문서, 상품 명세처럼 입력 출처가 지정돼야 결과 오류의 원인을 찾을 수 있다. “회사 자료를 참고한다”처럼 범위가 열려 있으면 검색 실패와 생성 실패가 뒤섞인다.
둘째, 완료를 관찰할 수 있는가. 좋은 결과라는 감상만으로는 부족하다. 필수 항목 포함, 원문 수치 일치, 금지 표현 부재, 지정 형식 통과처럼 판정 가능한 조건이 필요하다. 주관적 품질이 중요한 글도 비교 예시와 승인 책임자를 두면 관찰 가능성이 높아진다.
셋째, 실패를 되돌릴 수 있는가. 초안 삭제와 외부 발송 취소는 같은 복구가 아니다. 실수했을 때 원본을 훼손하지 않고 다시 실행할 수 있는지, 잘못된 결과가 고객이나 시민에게 닿기 전에 멈출 수 있는지를 본다. 첫 실험은 되돌림 비용이 낮을수록 좋다.
넷째, 사람의 판단 지점을 남길 수 있는가. AI가 모든 판단을 대신해야만 가치가 생기는 후보는 피한다. 오히려 사람이 현재 어디에서 판단하는지 드러나는 업무가 좋다. 그 판단을 유지할지, 체크리스트로 옮길지, 전문 검토로 남길지 배울 수 있기 때문이다.
다섯째, 같은 종류의 사례를 다시 구할 수 있는가. 한 번뿐인 대형 제안서는 눈에 띄지만 비교가 어렵다. 비슷한 입력과 산출물이 여러 건 있어야 기존 방식과 AI 보조 방식을 나란히 시험하고 실패 유형도 모을 수 있다.
다섯 질문을 모두 통과해야 한다는 뜻은 아니다. 다만 입력과 완료 기준이 불분명하고, 실패가 비가역적이며, 사례도 하나뿐이라면 첫 실험으로는 부적합하다는 경고가 충분하다.
가상 후보 세 개를 비교해 본다
가상의 교육팀이 매주 하는 일을 놓고 보자.
- 수업 후기 초안 작성은 녹취와 일정표를 입력으로 삼을 수 있고, 날짜·강사·주제 일치 여부를 검사할 수 있다. 공개 전 편집 승인도 가능하다. 비교적 좋은 첫 후보다.
- 수강생 상담 답변 자동 발송은 반복성이 높지만 개인정보와 외부 발송이 얽힌다. 초안 작성까지만 실험하고 전송은 사람이 맡는다면 범위를 낮출 수 있다.
- 지원 대상자 자동 선정은 결과의 영향이 크고 공정성·이의 제기·법적 책임을 다뤄야 한다. 단지 모델이 점수를 잘 낸다는 이유로 첫 자동화 후보가 되어서는 안 된다.
중요한 것은 업무를 통째로 채택하거나 버리는 이분법이 아니다. 위험한 업무도 “자료 정리”, “누락 항목 표시”, “사람이 볼 비교표 생성”처럼 보조 단계로 좁힐 수 있다. 자동화할 수 있느냐보다 어느 단계까지 맡겨야 학습 가치가 위험보다 큰가를 묻는 편이 정확하다.
선정 회의에서는 후보마다 “왜 AI인가”도 한 문장으로 답해 본다. 단순 규칙이나 기존 소프트웨어로 더 싸고 안정적으로 해결할 수 있다면 AI는 첫 선택이 아닐 수 있다. 반대로 자료의 표현이 다양하고 사람이 매번 초안을 새로 구성하느라 시간이 들지만, 최종 판단은 분명히 남길 수 있다면 AI 보조의 이유가 생긴다. 이 질문은 유행하는 기술을 써야 한다는 압력에서 업무 문제로 대화를 되돌린다. 후보를 고르지 않는 결정도 실험 설계의 성과다.
또한 참여자가 실험 때문에 평소와 다른 일을 하게 만들지 않는 편이 좋다. 실험용 입력을 지나치게 깨끗하게 정리하거나 평소보다 쉬운 사례만 고르면 도입 뒤의 준비 비용과 예외가 사라진다. 민감정보는 제거하되, 실제 업무에서 생기는 누락·표기 차이·모호함은 남겨야 한다. 첫 실험은 데모가 아니라 앞으로 반복될 조건을 작은 크기로 재현해야 한다.
일주일짜리 작은 실험을 설계한다
후보를 정했다면 기존 방식과 AI 보조 방식을 같은 완료 기준으로 비교한다. 먼저 최근의 대표 사례를 고르되 개인정보와 비밀정보를 제거한 사본을 준비한다. 기존 방식의 처리 시간, 사람이 판단한 구간, 수정 횟수, 최종 승인 사유를 기록한다. 그다음 AI 보조 방식으로 같은 종류의 새 사례를 처리한다.
관찰표에는 생성 시간만 적지 않는다. 범위 정의, 자료 준비, 초안 생성, 사실 확인, 수정, 승인까지 구간을 나눈다. 그래야 AI가 줄인 작업과 새로 생긴 검토 부담을 구분하고, 이 업무를 계속 실험할지 판단할 수 있다.
실험을 중단할 조건도 시작 전에 정한다. 승인되지 않은 외부 전송이 발생했을 때, 필수 근거를 반복해서 누락할 때, 검토 시간이 기존 방식보다 계속 늘 때, 담당자가 결과를 설명하거나 수정할 수 없을 때는 범위를 축소하거나 중단한다. 중단은 실패 선언이 아니라 후보 선택에 관한 데이터를 얻은 결과다.
첫 승리보다 첫 학습을 남긴다
실험이 끝나면 “AI가 잘했다” 대신 네 문장을 남긴다. 어떤 입력에서 작동했는가. 어떤 완료 기준에서 자주 실패했는가. 사람이 반드시 맡아야 했던 판단은 무엇인가. 다음 실험에서 넓히거나 줄일 범위는 어디인가.
첫 AX 실험에 가장 좋은 일은 조직에서 가장 비싼 일도, 가장 눈에 띄는 일도 아닐 수 있다. 입력과 완료가 보이고, 실패를 되돌릴 수 있으며, 사람의 판단이 드러나고, 다시 시험할 수 있는 일이다. 작은 과제를 이렇게 고르면 도구의 인상 대신 업무에 관한 증거가 남는다. AX는 바로 그 증거에서 시작된다.
이 글의 근거와 한계
[1]은 영국 공공부문을 위한 지침이고 [2]는 자발적·비산업 특화 위험관리 프레임워크다. 민간 조직의 비용 구조나 국내 규제를 대신하지 않는다. 다섯 질문과 일주일 실험은 이 자료를 바탕으로 한 실무 제안이며, 보편적으로 검증된 선발 공식이나 성과 수치가 아니다.
참고 자료
[1] Artificial Intelligence Playbook for the UK Government [2] NIST AI Risk Management Framework Core