지표 선택은 숫자의 크기가 아니라 거짓 양성과 거짓 음성 중 어떤 오류가 더 중요한지를 정의하는 일이다.
양성 사례가 드문 데이터에서는 모두 음성이라고 예측해도 정확도가 높게 나올 수 있다. 정밀도는 양성이라고 한 것의 신뢰를, 재현율은 실제 양성을 얼마나 찾았는지를 본다. F1은 둘의 조화평균이지만 업무 비용을 대신 결정하지 않는다.
AI 핵심 지식 52편 중 43편입니다. 제품 화면이 바뀌어도 남는 원리와 판단 기준을 다룹니다.
분류 지표가 답하는 질문
| 지표 | 계산 관점 | 주로 묻는 질문 |
|---|---|---|
| 정확도 | 전체 중 맞힌 비율 | 모든 클래스 비중과 오류 비용이 비슷한가 |
| 정밀도 | 양성 예측 중 실제 양성 | 경보를 믿고 행동해도 되는가 |
| 재현율·F1 | 실제 양성 발견률·정밀도와의 조화 | 놓침을 줄였나·두 비율이 균형적인가 |
분류 지표 선택 순서
- 양성 클래스와 의사결정 단위를 명확히 정의한다.
- 거짓 양성과 거짓 음성의 실제 비용을 적는다.
- 혼동행렬과 클래스별·그룹별 지표를 함께 본다.
- 임계값을 바꾸며 업무 용량과 오류 비용을 비교한다.
혼동행렬이 모든 비율의 출발점이다
이진 분류 결과는 실제 양성을 맞힌 참양성, 실제 음성을 맞힌 참음성, 음성을 양성이라 한 거짓 양성, 양성을 음성이라 한 거짓 음성으로 나뉜다. 정확도·정밀도·재현율은 이 네 칸을 서로 다른 분모로 바라본 값이다. 먼저 양성이 무엇인지 고정해야 해석이 흔들리지 않는다. 사기 탐지에서 사기를 양성으로 두는지 정상 거래를 양성으로 두는지에 따라 같은 표의 정밀도와 재현율 의미가 뒤집힌다.
보고서 첫 표에는 양성 정의와 네 칸의 건수를 함께 싣는다. 비율만 제시하지 않고 평가 기간, 표본 수, 클래스 비중을 적어 분모 변화가 결과를 왜곡하지 않게 한다. 이 내용을 적용할 때는 정확도·정밀도·재현율·F1: 어떤 지표를 언제 봐야 할까이라는 이름만 문서에 적지 말고, 입력이 무엇인지, 어떤 변환이나 판단이 일어나는지, 결과를 누가 확인하는지, 실패하면 어디에서 멈추는지를 함께 기록해야 한다. 그래야 같은 용어를 쓰면서 서로 다른 시스템을 상상하는 문제를 줄일 수 있다.
정확도는 클래스 불균형에 쉽게 가려진다
정확도는 전체 예측 중 맞힌 비율이라 직관적이지만, 한 클래스가 대부분이면 소수 클래스를 전혀 찾지 못해도 높을 수 있다. 예를 들어 드문 고장 탐지에서는 정상만 예측하는 모델이 일상 표본의 대부분을 맞힌다. 그러나 고장 발견이라는 목적에는 쓸 수 없다. 정확도를 버려야 한다는 뜻은 아니다. 클래스 비중과 오류 비용이 비슷한 과제에서는 전체 그림을 보여준다. 문제는 단독 지표로 합격을 선언하는 것이다.
운영 데이터의 실제 비중과 의도적으로 균형 잡은 시험 세트를 구분한다. 전체 정확도 옆에 클래스별 재현율과 건수를 놓고 소수 클래스가 평균에 묻히지 않는지 확인한다. 이 내용을 적용할 때는 정확도·정밀도·재현율·F1: 어떤 지표를 언제 봐야 할까이라는 이름만 문서에 적지 말고, 입력이 무엇인지, 어떤 변환이나 판단이 일어나는지, 결과를 누가 확인하는지, 실패하면 어디에서 멈추는지를 함께 기록해야 한다. 그래야 같은 용어를 쓰면서 서로 다른 시스템을 상상하는 문제를 줄일 수 있다.
정밀도와 재현율은 서로 다른 실패 비용을 본다
정밀도는 모델이 양성이라고 경보한 항목 중 실제 양성의 비율이다. 거짓 경보가 사람 검수나 고객 차단을 유발할 때 중요하다. 재현율은 실제 양성 중 찾아낸 비율이므로 위험 사건을 놓치는 비용이 클 때 중요하다. 임계값을 낮추면 더 많은 사례를 양성으로 잡아 재현율이 오를 수 있지만 거짓 양성이 늘어 정밀도가 떨어질 수 있다. 따라서 두 지표는 모델 고유의 상수가 아니라 데이터와 임계값, 운영 정책의 결과다.
검수팀이 하루에 처리할 수 있는 경보량과 놓친 사건의 비용을 함께 표로 만든다. 여러 임계값에서 정밀도·재현율·경보 건수를 비교하고 수용 가능한 구간을 선택한다. 이 내용을 적용할 때는 정확도·정밀도·재현율·F1: 어떤 지표를 언제 봐야 할까이라는 이름만 문서에 적지 말고, 입력이 무엇인지, 어떤 변환이나 판단이 일어나는지, 결과를 누가 확인하는지, 실패하면 어디에서 멈추는지를 함께 기록해야 한다. 그래야 같은 용어를 쓰면서 서로 다른 시스템을 상상하는 문제를 줄일 수 있다.
F1은 균형 요약이지 비용 함수가 아니다
F1은 정밀도와 재현율의 조화평균으로 어느 한쪽이 매우 낮을 때 함께 낮아진다. 두 비율을 하나로 요약해 모델 후보를 비교할 때 유용하지만 거짓 양성과 거짓 음성의 비용을 같다고 자동 선언하지 않는다. 다중 클래스에서는 각 클래스 F1을 평균내는 방식에 따라 큰 클래스 중심 또는 클래스 동등 가중 결과가 달라진다. 그룹별 성능 격차, 확률 보정, 처리 용량도 F1 하나로 설명되지 않는다.
대시보드에는 F1과 함께 클래스별 혼동행렬, 선택한 평균 방식, 임계값, 그룹별 결과를 적는다. 합격 기준은 실제 행동과 오류 비용에 연결하고 F1 최고점만으로 결정하지 않는다. 이 내용을 적용할 때는 정확도·정밀도·재현율·F1: 어떤 지표를 언제 봐야 할까이라는 이름만 문서에 적지 말고, 입력이 무엇인지, 어떤 변환이나 판단이 일어나는지, 결과를 누가 확인하는지, 실패하면 어디에서 멈추는지를 함께 기록해야 한다. 그래야 같은 용어를 쓰면서 서로 다른 시스템을 상상하는 문제를 줄일 수 있다.
판단 체크리스트
- 양성 클래스와 평가 단위를 명확히 적었는가
- 혼동행렬의 건수와 클래스 비중을 함께 보고했는가
- 거짓 양성·거짓 음성 비용을 운영 행동에 연결했는가
- 임계값과 클래스·그룹별 지표를 비교했는가
자주 생기는 오해
- F1이 가장 높으면 무조건 최고의 모델이다 — 업무의 오류 비용과 임계값, 처리 용량이 다르면 다른 선택이 맞을 수 있다.
- 정확도 99%면 안전하다 — 양성 비율과 거짓 음성 건수를 보지 않으면 중요한 소수 사례를 놓친 사실이 숨을 수 있다.
지표 선택의 경계
| 상황 | 해석 | 다음 행동 |
|---|---|---|
| 두 클래스 비중과 오류 비용이 비슷 | 전체 정확도가 유용한 요약 | 혼동행렬과 함께 정확도를 본다 |
| 거짓 경보가 업무를 과부하 | 정밀도와 경보량이 중요 | 임계값별 처리 용량을 비교한다 |
| 위험 사례 놓침이 치명적 | 재현율과 거짓 음성 검토가 중요 | 사람 검토와 보조 규칙을 결합한다 |
자주 묻는 질문
정밀도와 재현율을 모두 높일 수 없나?
모델이나 데이터가 개선되면 둘 다 오를 수 있지만 같은 모델에서 임계값만 바꿀 때는 흔히 상충한다.
F1의 평균 방식은 왜 중요한가?
마이크로·매크로·가중 평균은 클래스 크기를 반영하는 방식이 달라 소수 클래스 결과 해석이 달라진다.
다중 라벨에도 쓸 수 있나?
가능하지만 샘플별·라벨별 평균과 임계값 정의를 명시해야 한다.
확률 점수 자체도 평가해야 하나?
확률을 위험 판단에 쓴다면 예측 확률과 실제 빈도의 일치, 즉 보정도 별도로 본다.
관련 좌표
작성·검증 정보
- 작성·검토: AI좌표 편집부
- 원문 확인일: 2026-07-27
- 다음 재검토일: 2027-01-31
- 재검토 조건: 원 논문의 정정·철회, 표준 정의 변경, 장기 평가에서 핵심 반례가 확인될 때