대규모 집계에서는 차이가 반복될까요?
관계 그래프 탐색 → · 추가 6문항의 공통 범위·제외 대상·집계 과를 펼쳐 볼 수 있습니다.
결론 — 단순 질문은 차이가 작고, 넓은 범위의 질문은 속도와 답변 품질 모두 차이가 크다
이번 실험에서는 단순 질문의 차이는 작았지만, 범위가 넓은 복합·집계 질문에서는 온톨로지 적용본이 속도와 답변 품질 모두에서 뚜렷한 차이를 보였습니다.
기본 실험과 이번 추가 대규모 실험을 함께 보면 다음과 같습니다.
- 단순 조회: 기본 실험의 호랑이 학명 조회(c01)는 양쪽 모두 3/3회 정답이었고, 시간 중앙값은 미적용 12.3초·적용 11.0초로 차이가 작았습니다.
- 넓은 범위의 답변 품질: 추가 대규모 집계 6문항을 각 3회 실행했을 때, 미적용은 완전 정답 0/18회(18회 모두 답변 유보), 적용은 18/18회였습니다. 여기서 품질은 요구한 범위·총계·집계행 등을 정확하고 빠짐없이 제시하는 정확성과 완전성을 뜻합니다.
- 넓은 범위의 응답 속도: 추가 실험의 시간 중앙값은 미적용 41.9초 → 적용 22.5초로 약 46% 줄었습니다. 미적용은 답변을 유보하기까지, 적용은 완전 정답을 제시하기까지 걸린 시간입니다.
즉, 자료 한 건을 찾을 때보다 여러 분류 관계를 따라 범위를 정하고, 조건에 맞춰 제외·집계해야 할 때 적용본의 효과가 두드러졌습니다.
같은 모델과 최대 8회 조회 예산에서 명시적 분류 관계와 DB 집계 도구를 함께 제공한 시스템 비교이며, 온톨로지 단독의 인과 효과를 분리해 측정한 결과는 아닙니다.
양쪽 모두 조회 최대 8회입니다. 적용본은 명시적 분류 관계와 전체 DB 집계 도구를 함께 사용합니다.
같은 질문, 실제 답변
원본으로 계산한 정답 확인
추가 6개 질문 전체 결과
정답 수 / 완료 회차 · 시간은 질문당 중앙값. 질문을 누르면 실제 답변으로 이동합니다.
| 질문 | 미적용 정답 | 적용 정답 | 미적용 시간 | 적용 시간 |
|---|
시간과 구독 사용량
| 완료 회차 합산 | 미적용 | 적용 |
|---|
이 비교를 해석하는 기준
두 버전은 같은 원문 62,604항목을 갖고 있습니다. 미적용본은 전문 검색, 전체 일치 수, 논리 조건과 페이지 조회를 사용합니다. 적용본에는 명시적 분류 관계와 공통 상위 분류군·제외·집계를 계산하는 도구가 추가됩니다.
양쪽 모두 조회 최대 8회, 원문 16항목/회, 도구 출력 최대 20,000토큰, 질문당 300초입니다. 같은 질문의 두 버전을 동시에 실행하고 모두 종료한 뒤 다음 질문으로 넘어갔습니다. 시간에는 CLI 시작·추론·조회·네트워크 대기·종료가 포함됩니다.
정답은 답변 종류, 공통 분류군, 범위·집계 계급, 제외 후 총계, 미확정 수, 모든 집계행, 정렬, 조회 인용 ID가 모두 맞아야 인정합니다. 실행 실패·유보도 분모에 남겼습니다. 설명 문장 전체와 인용의 의미적 함의는 자동 채점하지 않았습니다.
명시적 관계와 DB 집계 도구를 함께 추가한 시스템 비교입니다. 온톨로지만의 효과나 SQL보다 우월함을 입증하지 않습니다. 추가 6문항은 규모를 기준으로 선정했습니다. 제외 후 1,443~11,411항목을 전수 열람하려면 91~714페이지가 필요하며, 조회 8회 한도가 결과에 영향을 줍니다. 대규모 집계에 초점을 둔 표본이므로 일반 질문 전체로 확대 해석하지 않습니다.
토큰은 Codex가 보고한 실제 입력·출력 사용량으로 내부 지침과 반복 문맥도 포함합니다. 캐시 입력은 입력의 일부, 추론 출력은 출력의 일부입니다. 구독 한도를 사용했으며 API 비용이나 건당 청구액으로 환산하지 않습니다.
출처: 2025년 국가생물종목록 · 아종·변종 포함. 화면의 조회 근거는 발췌이며 전체 답변·조회·CLI 이벤트는 프로젝트의 comparison/large-scale/runs/에 보존했습니다.