# GPT-6.1 Sol 구독 테스트 결과

실행 48/48회. 모델 gpt-6.1-sol / xhigh. ChatGPT 구독, 유료 API와 Decisions 미사용. 앞선 테스트 결과는 프로젝트에서 휴지통으로 이동했으며 이 보고서는 이번 실행만 다룹니다.

[관계 그래프 탐색](graph/index.html) · [Markdown 관계도](graph/GRAPH.md) — 공통 분류군·제외 대상·집계 과의 연결을 확인합니다.

## 결론 — 단순 질문은 차이가 작고, 넓은 범위의 질문은 속도와 답변 품질 모두 차이가 크다

**이번 실험에서는 단순 질문의 차이는 작았지만, 범위가 넓은 복합·집계 질문에서는 온톨로지 적용본이 속도와 답변 품질 모두에서 뚜렷한 차이를 보였습니다.**

기본 실험과 [추가 대규모 실험](large-scale/REPORT.md)을 함께 보면 다음과 같습니다.

- **단순 조회:** 기본 실험의 호랑이 학명 조회(c01)는 양쪽 모두 3/3회 정답이었고, 시간 중앙값은 미적용 12.3초·적용 11.0초로 차이가 작았습니다.
- **넓은 범위의 답변 품질:** 추가 대규모 집계 6문항을 각 3회 실행했을 때, 미적용은 완전 정답 0/18회(18회 모두 답변 유보), 적용은 18/18회였습니다. 여기서 품질은 요구한 범위·총계·집계행 등을 정확하고 빠짐없이 제시하는 정확성과 완전성을 뜻합니다.
- **넓은 범위의 응답 속도:** 추가 실험의 시간 중앙값은 미적용 41.9초 → 적용 22.5초로 약 46% 줄었습니다. 미적용은 답변을 유보하기까지, 적용은 완전 정답을 제시하기까지 걸린 시간입니다.

즉, 자료 한 건을 찾을 때보다 여러 분류 관계를 따라 범위를 정하고, 조건에 맞춰 제외·집계해야 할 때 적용본의 효과가 두드러졌습니다. 같은 모델과 최대 8회 조회 예산에서 명시적 분류 관계와 DB 집계 도구를 함께 제공한 시스템 비교이며, 온톨로지 단독의 인과 효과를 분리해 측정한 결과는 아닙니다.

## 기본 실험 지표

| 지표 | 미적용 | 적용 |
|---|---:|---:|
| 전체 완전 정답 | 21/24 | 24/24 |
| 복합 질문 완전 정답 | 15/18 | 18/18 |
| 복합 질문 시간 중앙값(초) | 39.70 | 20.82 |
| 복합 질문 조회 중앙값 | 4.00 | 2.00 |
| 복합 질문 입력 토큰 | 2,615,035 | 1,592,885 |
| 복합 질문 출력 토큰 | 30,694 | 12,554 |
| 실행 실패 | 0 | 0 |

## 질문별 결과

| 질문 | 미적용 완전 정답 | 적용 완전 정답 | 미적용 시간 중앙값 | 적용 시간 중앙값 |
|---|---:|---:|---:|---:|
| c01 대표국명이 호랑이인 항목의 전체 학명을 아종명까지 알려주세요. | 3/3 | 3/3 | 12.28초 | 11.04초 |
| c02 호랑이·수달·늑대의 가장 낮은 공통 상위 분류군을 찾고, 그 아래 모든 목록 항목에서 세 동물 각각의 속을 제외하세요. 남은 전체 항목 수와 과별 항목 수·서로 다른 속 수를 모두 제시하세요. | 3/3 | 3/3 | 27.75초 | 23.18초 |
| c03 소나무와 전나무의 공통 과에 속한 목록에서 두 나무 각각의 속을 모두 제외하세요. 남은 전체 항목 수와 모든 속별 항목 수·서로 다른 속 수를 제시하세요. | 3/3 | 3/3 | 31.05초 | 19.94초 |
| c04 참새·까치의 가장 낮은 공통 상위 분류군 아래에서 두 새 각각의 과를 제외하세요. 제외 후 전체 항목 수를 먼저 구하고, 남은 과 중 항목이 10개 이상인 과만 항목 수 내림차순(동률은 학명 오름차순)으로 상위 5개 골라 과별 항목 수·서로 다른 속 수를 제시하세요. | 0/3 | 3/3 | 76.66초 | 20.75초 |
| c05 호랑이·수달·고라니의 가장 낮은 공통 상위 분류군 아래에서 세 동물 각각의 목을 제외하세요. 중복되는 목은 한 번만 제외합니다. 남은 전체 항목 수와, 그중 항목이 5개 이상인 모든 과의 항목 수·서로 다른 속 수를 제시하세요. | 3/3 | 3/3 | 47.10초 | 25.42초 |
| c06 무당개구리·청개구리의 가장 낮은 공통 상위 분류군 아래에서 두 개구리 각각의 과를 제외하세요. 남은 전체 항목 수와, 항목이 2개 이상인 모든 속의 항목 수·서로 다른 속 수를 제시하세요. | 3/3 | 3/3 | 20.90초 | 20.90초 |
| c07 살모사·도마뱀의 가장 낮은 공통 상위 분류군 아래에서 두 동물 각각의 과를 제외하세요. 남은 전체 항목 수와, 모든 과의 항목 수·서로 다른 속 수를 빠짐없이 제시하세요. | 3/3 | 3/3 | 43.65초 | 19.61초 |
| c08 호랑이·수달의 가장 낮은 공통 상위 분류군 아래에서, 현재 법적 멸종위기 1급인 항목만 추려 과별 항목 수를 확정해 주세요. 이 목록만 근거로 삼으세요. | 3/3 | 3/3 | 13.41초 | 17.94초 |

## 정답 기준과 실제 오답

형식·답변 종류·공통 분류군·범위 계급·집계 계급·제외 후 총계·미확정 수·모든 집계행·정렬·실제 조회 인용 ID가 맞고, 허용된 도구·조회 예산 안에서 실행을 끝내야 정답입니다. 설명 문장 전체와 인용의 의미적 함의는 자동 채점하지 않았습니다.

- c04 plain 1회: completed, 답변 상태 unknown, 차이 {"kind": {"actual": "unknown", "expected": "composition"}, "value": {"actual": "", "expected": "Passeriformes"}, "rank": {"actual": "", "expected": "order"}, "count": {"actual": null, "expected": 256}, "group_rank": {"actual": null, "expected": "family"}, "missing_groups": [["Emberizidae", 28, 5], ["Fringillidae", 21, 13], ["Motacillidae", 21, 3], ["Muscicapidae", 39, 17], ["Sylviidae", 43, 8]], "extra_or_wrong_groups": []}, 형식 오류 None. [전체 기록](runs/1-c04-plain.json)
- c04 plain 2회: completed, 답변 상태 unknown, 차이 {"kind": {"actual": "unknown", "expected": "composition"}, "value": {"actual": "", "expected": "Passeriformes"}, "rank": {"actual": "", "expected": "order"}, "count": {"actual": null, "expected": 256}, "group_rank": {"actual": null, "expected": "family"}, "missing_groups": [["Emberizidae", 28, 5], ["Fringillidae", 21, 13], ["Motacillidae", 21, 3], ["Muscicapidae", 39, 17], ["Sylviidae", 43, 8]], "extra_or_wrong_groups": []}, 형식 오류 None. [전체 기록](runs/2-c04-plain.json)
- c04 plain 3회: completed, 답변 상태 unknown, 차이 {"kind": {"actual": "unknown", "expected": "composition"}, "value": {"actual": "", "expected": "Passeriformes"}, "rank": {"actual": "", "expected": "order"}, "count": {"actual": null, "expected": 256}, "group_rank": {"actual": null, "expected": "family"}, "missing_groups": [["Emberizidae", 28, 5], ["Fringillidae", 21, 13], ["Motacillidae", 21, 3], ["Muscicapidae", 39, 17], ["Sylviidae", 43, 8]], "extra_or_wrong_groups": []}, 형식 오류 None. [전체 기록](runs/3-c04-plain.json)

## 측정 범위

첫 실행 시작부터 마지막 실행 종료까지 851.25초(14.19분). 같은 질문의 두 버전을 동시에 실행했으므로 전체 경과 시간은 개별 시간의 합이 아닙니다. CLI 시작·추론·조회·네트워크 대기·종료를 포함합니다.

사용량은 Codex turn.completed의 실제 토큰입니다. 내부 지침과 반복 문맥도 포함하며 캐시·추론 토큰을 별도 보존했습니다. **구독 한도를 사용했으며 API 요금이나 건당 청구액으로 환산하지 않습니다.** 공개 runs/에는 답변·도구 조회·사용량·채점 기록이 있습니다. 실행 명령·세션 ID·CLI 이벤트는 로컬 원본에 보관하며 공개 사본에서 제외했습니다.

동일 원본 62,604항목, 조회 최대8회·16항목/회, 도구 출력 최대20,000토큰, 질문당300초 제한, 재시도0회입니다. 미적용본도 전체 일치 수·논리 검색·페이지 조회를 사용할 수 있습니다. 공통 분류군과 집계 계급은 별도 필드로 응답합니다.

이 결과는 명시적 관계와 DB 집계 도구를 추가한 시스템 비교입니다. 온톨로지 단독 인과 효과나 SQL 대비 우월성을 의미하지 않습니다. c04는 제외 후256항목으로 원문 전수 열람에는16페이지가 필요하므로 조회8회 예산과 집계 도구 차이가 결과에 영향을 줍니다. 8문항3회 반복의 수업용 표본입니다.

출처: [2025년 국가생물종목록](https://www.kbr.go.kr/content/view.do?menuKey=799&contentKey=174). 원본은 아종·변종을 포함합니다.


공개 배포: [4주차 교안](https://dexa.art/ontology/study/week4.html). 공개 기록의 필드 차이와 원본·사본 해시는 [export-manifest.json](export-manifest.json)에 있습니다.