훈련·검증·테스트 데이터: 세 묶음을 섞지 않는 평가 설계

훈련 세트는 파라미터를 맞추고, 검증 세트는 설정과 모델을 선택하며, 테스트 세트는 선택이 끝난 뒤 한 번의 독립 평가를 맡아야 정보 누수를 줄일 수 있습니다.

훈련 검증 테스트 데이터의 정보 경계와 각각의 허용된 역할을 나눈 평가 설계

무작위 비율보다 중요한 것은 같은 사람·문서·미래 정보가 경계를 넘어가지 않도록 실제 사용 조건을 분할 규칙에 반영하는 일입니다.

AI 핵심 지식 52편 중 6편입니다. 제품 화면이 바뀌어도 남는 원리와 판단 기준을 다룹니다.

세 데이터 묶음의 책임

묶음	허용된 사용	오염 신호
훈련	손실을 계산해 모델 파라미터 갱신	평가 전용 예제가 학습에 포함
검증	하이퍼파라미터·조기 종료·후보 선택	반복 선택으로 검증 세트에 과적합
테스트	선택 완료 뒤 최종 일반화 성능 보고	결과를 보고 다시 설정을 조정
운영 표본	배포 뒤 실제 분포와 실패 감시	과거 테스트가 현재 환경을 대표한다고 가정

전체 데이터에서 그룹과 시간 경계를 먼저 정한 뒤 세 세트로 나누는 분할 흐름

평가 데이터 경계를 만드는 순서

실제 예측 대상과 미래 사용 시점을 먼저 적는다.
중복 가능한 개체·문서·세션의 그룹 키를 정한다.
시간·지역·출처 변화가 있다면 분할 축에 반영한다.
훈련·검증·테스트의 접근 권한과 사용 목적을 고정한다.
테스트를 본 뒤 수정하면 새 평가 세트를 마련한다.

훈련 세트는 파라미터를 직접 움직이는 데이터다

훈련 세트의 예제는 손실 계산과 기울기 갱신에 반복 사용되므로 모델 내부 상태에 직접 영향을 준다. 여러 에폭을 돌면 같은 예제를 여러 번 보게 되고, 배치 순서와 증강 방식도 학습 경로를 바꾼다. 전처리 통계도 주의해야 한다. 전체 데이터의 평균과 분산을 미리 계산해 훈련 입력을 정규화하면 테스트 정보가 간접적으로 들어갈 수 있으므로, 변환 규칙은 훈련 세트에서 맞춘 뒤 다른 세트에 적용해야 한다. 특징 선택이나 결측 처리 기준도 마찬가지다. 훈련 세트가 현실의 모든 상황을 포함할 필요는 없지만 배포 대상과 관계없는 표본에 치우치면 모델은 잘못된 규칙을 배운다. 따라서 단순한 크기보다 포함·제외 기준, 라벨 품질, 그룹 구성과 시간 범위를 기록해야 한다. 훈련 데이터의 역할은 점수를 내는 시험지가 아니라 모델을 만드는 재료다.

파라미터 학습·후보 선택·최종 보고를 서로 다른 데이터에 연결한 책임 지도

검증 세트는 선택을 돕지만 반복하면 정보가 샌다

검증 세트는 학습률, 모델 구조, 정규화 강도, 조기 종료 시점처럼 사람이 고르는 설정을 비교하는 데 사용한다. 파라미터를 직접 역전파하지 않아도 검증 점수를 보고 후보를 계속 바꾸면 선택 과정이 그 데이터에 맞춰진다. 많은 실험 중 가장 높은 값만 고르면 우연한 변동까지 성능처럼 선택할 수 있다. 따라서 실험 횟수와 선택 규칙을 기록하고, 검증 결과의 작은 차이를 절대적 우위로 해석하지 않아야 한다. 교차검증은 데이터가 적을 때 여러 분할을 번갈아 평가해 변동을 보는 방법이지만, 시간 순서나 그룹 경계를 깨뜨려서는 안 된다. 검증 세트는 자유롭게 들여다보는 참고 자료가 아니라 모델 선택에 쓰이는 제한된 예산이다. 너무 많이 맞춘 흔적이 있다면 별도 검증 묶음을 마련하거나 최종 테스트의 해석 범위를 줄여야 한다.

테스트 세트는 선택이 끝난 뒤 열어야 한다

테스트 세트는 개발 과정에서 보지 않은 예제로 최종 후보의 일반화 성능을 추정한다. 테스트 결과를 확인한 뒤 특징을 바꾸고 다시 같은 세트에서 점수를 보고하는 순간, 그 데이터는 사실상 검증 세트 역할을 하게 된다. 이를 여러 번 반복하면 최종 숫자는 독립 평가가 아니라 숨은 선택 과정의 결과가 된다. 테스트 데이터 접근을 제한하고 평가 코드와 보고 형식을 미리 정하면 이런 오염을 줄일 수 있다. 또한 한 번의 테스트 점수는 해당 표본과 시점에 대한 추정치다. 신뢰 구간, 하위 집단 성능, 오류 사례와 데이터 분포를 함께 제시해야 한다. 배포 환경이 크게 변하면 과거 테스트는 더 이상 대표 표본이 아닐 수 있으므로 새 평가 데이터를 수집해야 한다. 테스트는 인증서가 아니라 특정 조건에서의 마지막 점검이다.

좋은 분할은 실제 배포 장면을 모사한다

행을 무작위로 섞어 나누는 방법은 예제가 독립적이고 같은 분포에서 나온다는 가정이 맞을 때 유용하다. 그러나 같은 사람의 여러 기록, 같은 문서에서 잘라 낸 조각, 연속 촬영 이미지가 서로 다른 세트에 들어가면 모델이 이미 본 대상의 흔적을 이용할 수 있다. 미래를 예측하는 문제에서는 과거로 학습하고 이후 시점으로 검증·테스트해야 실제 조건에 가깝다. 새 병원이나 지역으로 확장할 모델이라면 기관 단위 홀드아웃이 필요할 수 있다. 분할 규칙은 데이터 편의가 아니라 배포 시 만날 미지의 축을 반영해야 한다. 해시나 그룹 키로 중복을 확인하고, 라벨 생성 과정과 전처리도 경계를 넘지 않게 해야 한다. 평가 설계는 모델이 처음 보는 것이 무엇인지 명시하는 작업이다.

판단 체크리스트

배포 뒤 처음 만나야 하는 대상이 사람·시간·기관 중 무엇인지 정한다.
원본과 파생본을 묶을 그룹 키로 세트 간 중복을 검사한다.
전처리 통계와 특징 선택은 훈련 데이터에서만 맞춘다.
검증을 본 실험 횟수와 최종 선택 규칙을 실험 원장에 남긴다.
테스트 접근 권한을 제한하고 평가 뒤 수정 절차를 미리 정한다.

자주 생기는 오해

정해진 비율로 무작위 분할하면 항상 공정하다 — 개체 중복, 시간 순서, 출처 차이가 있는 데이터는 실제 배포 조건에 맞는 그룹 또는 시간 분할이 필요하다.
테스트 세트는 파라미터만 학습하지 않으면 여러 번 봐도 된다 — 결과를 보고 모델이나 설정을 선택하면 정보가 의사결정에 들어가 테스트의 독립성이 사라진다.

평가 세트를 다시 정의해야 하는 상황

상황	해석	다음 행동
같은 사용자의 기록이 여러 세트에 존재	개체 특성이 누수돼 점수가 부풀 수 있음	사용자 그룹 단위로 전체 기록을 이동
테스트 점수를 보고 모델을 수정	테스트가 검증 역할로 오염됨	새 독립 테스트를 확보하고 변경 이력 공개
배포 시점이 학습 기간보다 훨씬 뒤	분포 변화로 과거 무작위 분할이 낙관적	시간 순서 평가와 운영 감시를 추가

자주 묻는 질문

검증 세트와 테스트 세트를 하나로 합치면 안 되나?

후보를 고르는 정보와 최종 성능을 추정하는 정보를 분리하기 어렵습니다. 선택을 반복할 계획이라면 독립 테스트를 남겨 두는 편이 안전합니다.

교차검증을 쓰면 테스트 세트가 필요 없나?

교차검증도 모델과 설정 선택에 사용했다면 별도 최종 평가가 유용합니다. 데이터가 매우 적을 때는 불확실성과 사용 범위를 명확히 보고해야 합니다.

생성형 모델도 같은 분할 원칙을 쓰나?

핵심 원칙은 같습니다. 문서 중복과 근접 복사본, 벤치마크 오염을 찾아야 하며 생성 품질에 맞는 평가 기준과 사람 검토가 추가됩니다.

운영 데이터는 네 번째 세트인가?

배포 뒤의 실제 입력은 지속 감시와 미래 재평가에 중요한 표본입니다. 고정된 테스트와 달리 분포가 변하므로 별도 모니터링 체계로 다룹니다.

작성·검증 정보

작성·검토: AI좌표 편집부
원문 확인일: 2026-07-27
다음 재검토일: 2027-04-27
재검토 조건: 원 논문의 정정·철회, 표준 정의 변경, 장기 평가에서 핵심 반례가 확인될 때

훈련·검증·테스트 데이터: 세 묶음을 섞지 않는 평가 설계