데이터·특징·라벨 차이: 모델이 보는 입력과 정답을 설계하는 법
데이터는 관찰 기록 전체, 특징은 예측 시점에 모델에 넣는 표현, 라벨은 배우거나 평가할 목표값이며, 세 요소의 시점과 의미가 어긋나면 양이 많아도 잘못된 문제를 학습합니다.
좋은 모델을 고르기 전에 한 행이 무엇을 뜻하는지, 어떤 값이 입력이고 어떤 값이 정답인지, 그 값이 실제 사용 시점에도 존재하는지를 먼저 고정해야 합니다.
AI 핵심 지식 52편 중 2편입니다. 제품 화면이 바뀌어도 남는 원리와 판단 기준을 다룹니다.
원자료에서 학습 예제로 바뀌는 구성요소
| 요소 | 역할 | 대표 위험 |
|---|---|---|
| 데이터 | 현실에서 수집한 관찰·기록·측정의 전체 | 누락·중복·표본 편향 |
| 특징 | 모델이 계산에 사용하는 입력 표현 | 미래 정보 누수·잘못된 인코딩 |
| 라벨 | 학습하거나 평가하려는 목표값 | 오표기·대리 목표의 불일치 |
| 예제 | 특징과 필요시 라벨을 묶은 한 학습 단위 | 단위 정의와 시간축 혼선 |
데이터 사양을 세우는 점검 순서
- 예측 대상과 예측이 이뤄지는 시점을 먼저 정의한다.
- 한 예제가 사람·거래·문서 중 무엇인지 고정한다.
- 그 시점에 실제로 이용 가능한 특징만 남긴다.
- 직접 라벨과 대리 라벨의 차이와 오류 비용을 기록한다.
- 학습 전 표본을 손으로 읽고 누락·중복·이상치를 확인한다.
데이터는 파일이 아니라 관찰 단위와 수집 과정이다
데이터를 표나 이미지 폴더와 같은 저장 형식으로만 보면 모델 오류의 원인을 놓치기 쉽다. 데이터는 현실에서 무엇을 언제 어떤 장치와 규칙으로 관찰했는지까지 포함하는 기록 체계다. 고객 이탈을 예측한다면 한 행이 고객인지 계약인지 월별 상태인지부터 정해야 한다. 같은 고객이 여러 행에 나타나는 것이 정상일 수도 있고, 중복 수집 오류일 수도 있기 때문이다. 수집 채널이 바뀌거나 특정 집단만 응답하면 열 이름이 같아도 분포가 달라진다. 누락값 역시 단순한 빈칸이 아니라 측정 실패, 해당 없음, 응답 거부처럼 서로 다른 사건일 수 있다. 따라서 데이터 설명서에는 예제 단위, 관찰 기간, 수집 조건, 포함·제외 규칙, 갱신 주기를 함께 적어야 한다. 모델은 표 안의 숫자만 보지만 운영자는 그 숫자가 생긴 과정을 알아야 한다. 수집 과정이 불명확하면 정교한 알고리즘도 현실과 다른 패턴을 충실히 학습할 뿐이다.
특징은 현실을 모델이 계산할 수 있게 번역한 표현이다
특징은 원자료에서 선택하거나 변환해 모델 입력으로 넣는 값이다. 집의 면적처럼 숫자를 그대로 쓸 수도 있지만, 범주를 여러 표시값으로 바꾸거나 텍스트를 토큰과 벡터로 변환하는 과정이 필요할 수 있다. 이 번역은 중립적이지 않다. 날짜를 요일로 바꾸면 주기성을 드러낼 수 있지만 연속된 시간 간격 일부는 사라진다. 주소를 우편번호로 표현하면 지역 패턴을 얻는 대신 개인이나 집단을 간접 식별할 위험이 생긴다. 또 예측이 끝난 뒤에만 알 수 있는 환불 완료 여부를 입력하면 학습 점수는 높아져도 실제 예측에서는 사용할 수 없다. 이를 라벨 누수 또는 미래 정보 누수 관점에서 점검해야 한다. 좋은 특징은 데이터에 존재한다는 이유가 아니라, 예측 시점에 이용 가능하고 목적과 인과적으로 납득되며 운영 중 안정적으로 수집된다는 이유로 채택된다.
라벨은 정답 열이 아니라 목표의 운영 정의다
라벨은 지도학습에서 모델이 맞히도록 제시하는 결과값이지만 현실의 진실과 항상 일치하지 않는다. 사기 거래처럼 최종 판정이 늦게 나오거나 전문가 판단이 필요한 문제에서는 신고 여부, 차지백, 규칙 경보 같은 대리 라벨을 쓰게 된다. 대리값은 구하기 쉽지만 실제 목표와 다른 행동을 반영할 수 있다. 예를 들어 고객 지원 문의가 많다는 사실은 불만의 신호일 수 있으나 충성 고객이 적극적으로 질문한 결과일 수도 있다. 사람 라벨도 지침이 모호하면 평가자마다 달라지고, 다수결이 소수 집단의 중요한 사례를 지울 수 있다. 라벨 설계에는 정의, 생성 주체, 확정 시점, 불확실 상태, 재검토 방식, 오류의 비용을 포함해야 한다. 직접 라벨이 없다면 대리 라벨과 실제 목표 사이의 연결 가정을 문서화하고 표본을 사람이 반복 확인해야 한다.
특징과 라벨의 시간 경계를 그리면 누수가 보인다
데이터 표를 완성한 뒤에는 예측 시점을 세로선으로 그어 보는 것이 유용하다. 선 왼쪽에는 판단할 때 이미 알 수 있는 정보만 특징으로 놓고, 오른쪽에는 이후에 관찰되는 결과와 라벨을 둔다. 주문 취소를 예측하면서 취소 처리 코드가 특징에 들어가거나, 환자 재입원을 예측하면서 퇴원 뒤 기록을 입력하면 모델은 미래를 미리 보는 셈이다. 무작위 행 분할도 같은 사람이나 문서의 거의 같은 복사본이 양쪽에 들어가면 누수를 만든다. 시간·개체·출처 단위로 분할 기준을 정하고, 각 특징의 생성 시각과 이용 가능 시각을 따로 기록해야 한다. 또한 학습 환경에는 있던 값이 실제 서비스에서는 지연되거나 누락되는지 확인해야 한다. 데이터 품질은 결측률 하나가 아니라 의미, 시점, 대표성, 유지 가능성의 결합 문제다.
판단 체크리스트
- 한 예제의 단위와 관찰 기간을 데이터 사양 첫 줄에 명시한다.
- 모든 특징에 생성 시각과 실제 이용 가능 시각을 붙인다.
- 라벨이 직접 관찰인지 대리값인지 분류하고 연결 가정을 적는다.
- 개체·시간·출처가 분할 경계를 넘어 중복되지 않는지 검사한다.
- 무작위 표본과 오류가 비싼 표본을 사람이 직접 읽어 본다.
자주 생기는 오해
- 데이터가 많으면 라벨 오류는 평균적으로 사라진다 — 체계적으로 잘못 정의된 라벨이나 특정 집단에 치우친 오표기는 규모가 커져도 같은 방향의 오류를 강화할 수 있다.
- 테이블에 있는 열은 모두 특징 후보다 — 예측 시점 뒤에 생성되거나 서비스에서 얻을 수 없는 열은 학습 점수를 왜곡하므로 입력에서 제외해야 한다.
특징과 라벨을 다시 설계해야 하는 신호
| 상황 | 해석 | 다음 행동 |
|---|---|---|
| 검증 점수는 높지만 운영에서 급락 | 미래 정보나 중복 예제가 섞였을 가능성 | 특징 생성 시각과 개체별 분할을 재감사 |
| 목표값을 직접 관찰할 수 없음 | 대리 라벨이 실제 목적을 왜곡할 수 있음 | 연결 가정과 수동 표본 검토를 기록 |
| 같은 열의 의미가 채널마다 다름 | 스키마 일치만으로 데이터 일관성을 보장 못함 | 수집 경로별 정의와 분포를 분리 비교 |
자주 묻는 질문
라벨이 없는 데이터는 학습에 쓸 수 없나?
비지도학습이나 자기지도학습처럼 명시적 사람 라벨 없이 구조를 배우는 방법이 있습니다. 다만 최종 과업의 유용성을 평가할 기준과 검증 데이터는 별도로 필요합니다.
텍스트 원문도 특징인가?
원문 자체는 원자료이고, 모델에 들어갈 때 토큰·벡터 등 계산 가능한 표현으로 변환됩니다. 어느 변환을 썼는지가 특징 설계의 일부입니다.
대리 라벨은 사용하면 안 되나?
금지 대상은 아닙니다. 실제 목표와 얼마나 연결되는지, 어느 집단에서 어긋나는지, 시간이 지나며 관계가 바뀌는지를 검증하며 사용해야 합니다.
데이터 누수는 어떻게 가장 빨리 찾나?
예측 시점을 정한 뒤 각 열이 그 전에 존재했는지 확인하고, 같은 개체나 파생 사본이 학습과 평가 양쪽에 들어갔는지 살펴보는 방법이 효과적입니다.
관련 좌표
작성·검증 정보
- 작성·검토: AI좌표 편집부
- 원문 확인일: 2026-07-27
- 다음 재검토일: 2027-04-27
- 재검토 조건: 원 논문의 정정·철회, 표준 정의 변경, 장기 평가에서 핵심 반례가 확인될 때
댓글
댓글 쓰기