← 스터디멤버 교안

STUDY LEADER · WEEK 01

1주차 스터디장 노트

최신 개정 2026-09-30 · 권장 120분

확인 자료와 사람 기준이 포함되어 있습니다. 분류 정의 v2를 고정하기 전에는 분류 담당 에이전트에 이 페이지를 읽히지 마세요. 이미 읽었다면 새 확인 자료를 만들거나 개발용 연습으로 기록하세요.

교안 최초 작성: 2026-09-26 · 최신 개정: 2026-09-30 · 1주차 수업: 9월 30일

1주차 스터디장 노트 — LLM Wiki v1과 질문의 기준선

수업의 중심

공식 1주차 산출물인 도메인 정의·진단 리포트·LLM Wiki v1·질문 3개의 적용 전 기록을 완성한다. Jev는 후보 판단을 체험하는 보조 사례다. Python/API 설치나 온톨로지 구축 때문에 자기 자료 정리를 못 끝내게 하지 않는다.

120분 권장 운영안

다음은 교안용 제안이며 별도 일정 변경 공지가 아니다.

분 내용 남길 결과
0–15 kb-jev와 Ontology + Jev 핵심 사례 원문 보존과 정의 수정의 두 역할
15–25 내 도메인과 자료 상태 진단 도메인 정의·진단 초안
25–35 질문 3개 고정, 기존 답변 실행 적용 전 답변과 실제 출처
35–50 요리 자료 5개의 역할·근거 연습 원문 ID·경로·필수 근거 대응
50–80 내 자료 3~5개로 Wiki v1 작성 원문, 가이드, 인덱스, 운영 규칙
80–90 같은 질문의 답과 출처 비교 구조화 전후 비교표
90–100 Jev 후보 선별 시연·선택 실행 실제/오프라인 구분과 후보 검토
100–115 Ontology + Jev 정의 검토 미니 실습 정의 v1/v2와 별도 자료 확인 카드
115–120 사례글 과제·2주차 연결 제출 목록, 해결되지 않은 질문

시간이 부족하면 Jev는 스터디장 시연으로 마무리하고 스터디멤버 API 설정은 과제로 강제하지 않는다. 사례글은 수업에서 개요를 잡고 실제 비교 기록으로 완성한다.

GitHub 사례별 설명 범위

원문 링크는 사례글, 상세 수치와 한계는 스터디장용 조사 보고서에 있다. X는 보충 사례로만 둔다.

공통 질문의 예상 답

질문 예상 답 필수 근거
Q1: 현재 필수재료 충족 메뉴와 별칭 계란볶음밥, 자료에서 달걀볶음밥과 같은 요리. 토마토밥은 토마토가 없음 N01·N02·N03·N04
Q2: 지금 토마토밥의 필수재료를 충족하는가 N02의 필수재료 중 토마토가 N03에서 없음 N02·N03
Q3: 토마토를 추가한 가상 상태 두 메뉴 모두 정의된 필수재료를 충족 N01·N02·별도 가상 상태

Q3는 원문 N03을 바꾸지 말고 새로운 가상 맥락으로 적는다. 실제 조리 가능성·수량·안전성은 이 데이터의 판단 범위 밖이다.

Jev 공통 질문 1의 선별 기준은 N01~N04 보존, N05 제외다. N02는 불가능한 메뉴를 설명해도 근거이므로 남는다. 질문에 별칭 확인이 포함돼 있어 N04도 필요하다. 질문 문구를 바꾼 뒤 같은 선별 답을 강제하지 않는다.

비교를 세 단계로 나누기

A는 기존 자료 구조, B는 LLM Wiki v1을 만든 뒤, C는 B에 Jev 후보 선별을 추가한 뒤다. A→B는 지식 구조 개선을, B→C는 Jev 추가를 관찰한다. 세 과정에서 질문 원문과 답변 모델을 유지하고 조건이 바뀌면 기록한다. 선택 실습을 안 한 스터디멤버는 A/B만 제출한다.

N01~N05는 실행 코드의 입력과 같다. 기존 runner는 관련성 5개와 개체·관계 4개를 함께 보내므로 전체 usage를 ‘관련성 5개만의 비용’으로 소개하지 않는다. 오프라인은 내장 예상 답을 보여 주는 연습이며 모델 품질 평가가 아니다.

정의 검토 미니 실습의 진행과 확인 자료

개발 자료는 N01·N03·N04만 사용한다. 사람이 기대하는 대표 역할은 각각 GENERAL·CURRENT·ALIAS이며 v1의 넓은 정의로 중첩을 설명할 수 있다. 모델이 처음부터 모두 맞으면 ‘오류 수정 성공’으로 꾸미지 말고 정의의 명료성 또는 유지 이유를 기록한다.

다음 네 자료와 사람 기준은 분류 정의 v2를 고정한 뒤 제시한다. 실행 담당 에이전트의 수정 입력에는 이 표를 넣지 않는다. 이미 표를 읽었다면 새 확인 자료를 따로 만들거나 개발용 연습으로만 기록한다. 사람 기준은 분류 모델 입력에 포함하지 않는다.

ID 새 확인 자료 — 수업용 합성 문장 사람 기준 이유
H01 이 실습에서 오이밥의 필수재료는 밥과 오이다. GENERAL 재사용하는 요리 조건
H02 지금 보관함에는 오이가 없다. CURRENT 현재 재고
H03 이 자료에서 cucumber는 오이와 같은 재료를 가리킨다. ALIAS 이름 대응
H04 이 실습에서 오이밥에는 밥과 오이가 필요하며, 지금 보관함에는 오이가 없다. REVIEW 일반 조건과 현재 상태가 함께 있음

H04는 자료가 틀린 것이 아니라 단일 대표 역할 정책에 복합 내용이 걸리는 사례다. 이후 주장 단위로 나누거나 여러 역할을 허용할 수 있지만, 비교 도중 라벨 정책을 바꾸면 별도 실험으로 기록한다.

v1/v2의 선택·오류·보류를 나란히 남긴다. 기존 A/B/C 답변 비교와 별개인 정의 검토이므로 하나의 정확도 숫자로 합치지 않는다. 실제 Jev를 호출하지 않았다면 확률은 ‘미측정’이다. 기존 runner에는 이 네 라벨과 버전 비교 기능이 없다는 점을 설명한다.

막히는 상황과 토론

제출 확인 기준

제출물 확인할 것
도메인 정의·진단 반복할 질문과 포함·제외 범위가 구체적이며 실제 자료 상태를 적었는가
LLM Wiki v1 원문이 보존되고 가이드·인덱스에서 실제 원문으로 돌아갈 수 있는가
질문 3개 기준·비교표 구조화 전 답변을 보존하고 같은 질문의 출처·모르는 점을 비교했는가
정의 검토 카드 정의 v1/v2·수정 이유·별도 자료 결과·실행 방식을 진단 리포트에 붙였는가
사례글 1편 실제 실행·기대 효과·미측정 값을 구분했는가
Jev 선택 기록 LIVE와 오프라인을 구분하고 보류·근거 복구·전체 사용량을 적었는가

2주차로 넘길 질문

이름이 다른 동일 대상, 같은 문서에 등장하는 별개 대상, 필수와 선택 조건, 현재 상태와 일반 정의를 구분하기 어려웠던 사례를 모은다. 그때 종류·속성·관계를 설계한다. 요리 예제의 대상 동일성·관계 질문 4개는 다음 주의 출발점으로 재사용할 수 있다.

과거 검증과 이번 수정의 범위

2026-09-26 runner의 Python 블록을 추출해 문법·오프라인·실제 1요청을 확인한 기록이 있다. 실제 실행은 약 232ms, 입력 2,193토큰·출력 384토큰이었다. 원래 선택 9개는 기준과 일치했지만 entity_distinct는 confidence 0.49로 최종 REVIEW였다. relation_missing은 근거 부족인 REVIEW를 confidence 1.0으로 선택했다. 다음 실행의 결과는 달라질 수 있다.

2026-09-29에는 1주차 문서 구성·스터디멤버 순서·비교 조건을 수정했다. runner 코드 본문과 합성 원문은 유지하고 API를 새로 호출하지 않았다. 이후 웹 교재와 다운로드에 이 개정판을 반영했다. GPTers 사례 게시와 스터디멤버 발송은 별도다.

스터디장 Markdown ↓