정답 문서가 없으면 생성기가 고칠 수 없고, 정답 문서가 있어도 답이 틀릴 수 있으므로 두 단계를 별도 지표로 봐야 합니다.
RAG를 최종 답 정확도 하나로만 평가하면 실패 원인이 가려집니다. 검색이 실패했지만 모델 내부 지식으로 우연히 맞힐 수 있고, 검색은 성공했는데 생성이 근거를 무시할 수도 있습니다. 입력과 출력이 다른 두 구성 요소를 나눠야 개선이 가능합니다.
AI 핵심 지식 52편 중 29편입니다. 제품 화면이 바뀌어도 남는 원리와 판단 기준을 다룹니다.
검색×생성 교차 판정
| 검색 | 생성 | 해석 |
|---|---|---|
| 성공 | 성공 | 정답 근거를 찾아 충실하게 답했다 |
| 성공 | 실패 | 문맥 구성·지시·생성 충실성을 고친다 |
| 실패 | 성공처럼 보임 | 내부 지식·우연에 의존한 재현 불가 성공 |
| 실패 | 실패 | 자료 범위와 검색부터 복구한다 |
분리 평가를 만드는 순서
- 질문마다 정답 문서와 최소 근거 구간을 표시한다.
- 생성 없이 검색 결과의 회수·순위·관련성을 평가한다.
- 고정된 정답 문맥을 넣어 생성 충실성과 답 품질을 본다.
- 실제 파이프라인에서 오류를 교차표로 분류하고 회귀 추적한다.
검색 평가는 정답 근거가 도착했는지 묻는다
검색 품질을 평가하려면 질문에 답할 수 있는 문서와 최소 근거 구간이 무엇인지 먼저 정해야 합니다. 검색 결과의 첫 페이지를 사람이 보고 ‘관련 있어 보인다’고 평가하는 것만으로는 부족합니다. 정답 근거가 상위 후보에 포함되는 회수율, 얼마나 앞에 오는지 나타내는 순위 지표, 불필요한 후보의 비율을 함께 봅니다. 여러 문서를 결합해야 하는 질문은 필요한 근거를 모두 회수했는지 별도 평가합니다. 결과 없음이 정답인 질문도 포함해야 검색기가 항상 무언가를 반환하는 버릇을 발견할 수 있습니다. 문서 단위 정답과 청크 단위 정답을 구분하지 않으면 같은 문서의 엉뚱한 구간을 성공 처리할 수 있습니다. 권한 없는 문서가 검색되면 관련성이 높아도 운영 성공이 아닙니다. 생성기의 문장 품질은 이 단계에서 보지 않습니다. 검색 결과만 저장해 독립 판정해야 질의 변환, 청킹, 검색 방식, 재정렬 중 어디를 고칠지 알 수 있습니다.
생성 평가는 주어진 근거를 어떻게 썼는지 묻는다
생성 품질은 답이 읽기 좋은지만 보는 평가가 아닙니다. 제공된 근거에서 사실 주장을 만들었는지 보는 충실성, 질문에 필요한 내용을 빠짐없이 담았는지 보는 완전성, 요구 형식과 행동 목적에 맞는지 보는 유용성을 나눌 수 있습니다. 검색 변수를 제거하려면 먼저 사람이 확인한 정답 문맥을 고정해 생성기에 제공합니다. 이 조건에서도 답이 틀리면 문제는 검색보다 지시, 문맥 배열, 생성 또는 검증에 가깝습니다. 답을 주장 단위로 나누고 각 주장이 어느 근거 문장을 통해 지지되는지 확인합니다. 근거에 없는 사실이 맞더라도 충실성 관점에서는 별도 표시해야 합니다. 우연히 맞은 내부 지식은 문서 갱신과 권한을 반영하지 못할 수 있기 때문입니다. 인용 형식, 불확실성 표시, 근거 부족 시 거절도 평가합니다. 자동 평가 모델을 사용하더라도 표본의 사람 판정과 일치하는지 확인하고, 평가 모델이 같은 환각을 반복할 가능성을 고려해야 합니다.
교차표가 개선할 구성 요소를 알려 준다
검색 성공과 생성 성공을 두 축으로 놓으면 네 가지 결과가 생깁니다. 둘 다 성공한 경우가 목표이지만, 검색이 성공하고 생성이 실패하면 더 많은 문서를 넣기보다 문맥 구성과 근거 지시를 고쳐야 합니다. 검색이 실패했는데 최종 답이 맞으면 좋은 결과처럼 보이지만, 모델 내부 지식이나 우연에 의존했을 수 있어 출처 기반 시스템의 성공으로 볼 수 없습니다. 둘 다 실패하면 지식 범위와 색인, 질의, 검색 방식부터 확인합니다. 이 교차표를 질문 유형, 문서 유형, 위험 수준별로 집계하면 한 평균 점수에 가려진 병목이 보입니다. 예를 들어 절차 질문은 검색이 잘 되지만 예외 조건을 생성에서 빠뜨리고, 고유명사 질문은 검색 자체가 약할 수 있습니다. 변경할 때는 목표 구성 요소의 지표가 좋아졌는지와 다른 축을 악화시키지 않았는지 함께 봅니다. 분리 평가는 팀의 책임을 나누기 위한 도구가 아니라 시스템 전체에서 실패 경로를 정확히 찾기 위한 공통 언어입니다.
평가 세트와 판정 기준도 계속 관리한다
평가 세트가 실제 질문 분포를 반영하지 않으면 정교한 지표도 잘못된 방향을 가리킵니다. 쉬운 사실 질문만 있으면 여러 문서를 결합하거나 최신성을 판단해야 하는 실패를 놓칩니다. 운영 로그에서 반복되는 질문과 고위험 사례, 결과 없음, 모호한 질문을 익명화해 추가합니다. 정답 문서가 갱신되면 근거 구간과 정답도 함께 바꿔야 합니다. 판정자 사이에 관련성 기준이 다르면 합의 규칙과 예시를 만들고 불일치율을 기록합니다. 자동 평가를 도입할 때는 비용을 줄이는 도구로 쓰되, 사람 기준과의 상관과 편향을 주기적으로 확인합니다. 지표가 목표가 되면 시스템이 답을 짧게 만들어 충실성 점수만 높이거나, 많은 문서를 반환해 회수율만 높이는 식으로 왜곡될 수 있습니다. 검색 회수, 문맥 잡음, 생성 충실성, 사용자 과업 성공을 균형 있게 보고 실패 사례를 직접 읽습니다. 평가는 한 번의 벤치마크가 아니라 문서와 질문이 바뀔 때 함께 갱신되는 운영 자산입니다.
판단 체크리스트
- 질문마다 정답 문서와 최소 근거 구간이 정의되어 있는가
- 생성 없이 검색 회수·순위·잡음을 독립 평가하는가
- 고정 정답 문맥으로 생성 충실성과 유용성을 보는가
- 검색×생성 교차 결과를 질문 유형별로 회귀 추적하는가
자주 생기는 오해
- 최종 답 정확도만 높으면 RAG가 잘 작동한다 — 정답 근거 없이 내부 지식으로 맞힌 답은 갱신·권한·인용을 보장하지 못합니다.
- 검색 결과가 관련 있으면 생성도 성공한다 — 문맥 배열, 충돌, 근거 사용과 인용에서 별도 실패가 발생합니다.
교차 결과별 수정 위치
| 상황 | 해석 | 다음 행동 |
|---|---|---|
| 정답 문맥 없음·답 오답 | 검색 이전 단계가 병목 | 자료·청킹·질의·회수·재정렬을 점검한다 |
| 정답 문맥 있음·답 오답 | 생성 단계가 병목 | 문맥 배열·지시·충실성 검증을 고친다 |
| 정답 문맥 없음·답 정답 | 근거 없는 우연한 성공 | 출처 기반 성공과 분리해 재평가한다 |
자주 묻는 질문
검색이 실패했는데 답이 맞으면 성공 아닌가요?
일반 답변으로는 맞을 수 있지만 출처 기반 RAG의 검색 성공은 아닙니다. 재현성과 최신성 경로를 잃었습니다.
RAGAS 같은 자동 지표만 쓰면 되나요?
빠른 비교에 도움을 주지만 실제 업무 기준과 사람 판정에 맞는지 표본 검증해야 합니다.
정답 문서는 누가 정하나요?
도메인 담당자와 평가 설계자가 질문에 필요한 최소 근거와 허용 가능한 대체 근거를 합의해야 합니다.
사용자 만족도는 어디에 넣나요?
최종 과업 성공을 보는 별도 결과 지표입니다. 구성 요소 진단용 검색·생성 지표와 함께 봅니다.
관련 좌표
작성·검증 정보
- 작성·검토: AI좌표 편집부
- 원문 확인일: 2026-07-27
- 다음 재검토일: 2027-07-27
- 재검토 조건: 원 논문의 정정·철회, 표준 정의 변경, 장기 평가에서 핵심 반례가 확인될 때