모델 선택은 최고 점수 경쟁이 아니라 필요한 품질을 만족하는 후보 중 요청당 전체 비용과 꼬리 지연, 배포 제약을 가장 잘 맞추는 시스템을 찾는 일이다.
모델 크기는 능력과 같지 않고 가격표의 입력 단가도 총비용과 같지 않다. 긴 문맥, 재시도, 검색, 도구 호출, 검수 시간, GPU 유휴와 장애 대응까지 포함하면 선택이 달라진다. 먼저 품질 실패를 정의하고 같은 트래픽으로 후보를 비교해야 한다.
AI 핵심 지식 52편 중 51편입니다. 제품 화면이 바뀌어도 남는 원리와 판단 기준을 다룹니다.
모델 선택의 네 축
| 축 | 측정 단위 | 놓치기 쉬운 비용 |
|---|---|---|
| 품질 | 과제 통과율·치명 오류·그룹별 성능 | 평균이 숨긴 고위험 실패 |
| 비용 | 성공 요청당 추론·도구·검수 비용 | 재시도·긴 출력·유휴 자원 |
| 지연·운영 | 첫 응답·완료·꼬리 지연·처리량 | 피크·배치·장애·유지보수 |
모델 후보 선택 순서
- 업무별 최소 품질과 절대 허용하지 않을 오류를 정한다.
- 동일한 입력·프롬프트·도구 조건에서 후보를 반복 평가한다.
- 성공 요청당 전체 비용과 중앙·꼬리 지연을 계산한다.
- 라우팅·캐시·배치·사람 검토를 포함한 시스템 후보로 재시험한다.
품질 하한을 먼저 정해야 비용 비교가 의미 있다
낮은 비용의 모델이 핵심 사실을 자주 틀리면 검수와 재작업으로 총비용이 늘어난다. 반대로 모든 요청에 최고 성능 후보를 쓰면 단순 분류와 추출에도 과한 비용과 지연을 낼 수 있다. 업무를 과제로 나누고 필수 정확성, 금지 오류, 사람 전환 조건을 정한다. 평균 점수보다 치명 실패와 긴 입력, 다국어, 도구 장애 같은 실제 경계에서 하한을 통과하는지 확인한 뒤 비용 최적화를 시작한다.
요청 유형별 골든 세트를 만들고 모델 후보가 반드시 통과해야 할 문항을 표시한다. 필수 문항을 통과하지 못한 후보는 평균 점수가 높아도 해당 경로에서 제외한다. 이 내용을 적용할 때는 AI 모델 선택 기준: 품질·비용·지연·크기를 한 표에서 비교하기이라는 이름만 문서에 적지 말고, 입력이 무엇인지, 어떤 변환이나 판단이 일어나는지, 결과를 누가 확인하는지, 실패하면 어디에서 멈추는지를 함께 기록해야 한다. 그래야 같은 용어를 쓰면서 서로 다른 시스템을 상상하는 문제를 줄일 수 있다.
비용은 성공한 업무 한 건을 기준으로 계산한다
호출 단가만 보면 프롬프트 길이, 출력 길이, 재시도, 검색, 임베딩, 도구, 캐시, 사람 검수 비용이 빠진다. 자체 호스팅은 장비와 전력뿐 아니라 유휴 용량, 배포, 모니터링, 장애 대응, 보안 업데이트를 포함한다. 성공한 요청 수를 분모로 전체 비용을 나누면 오류와 재시도가 선택에 미치는 영향이 드러난다. 트래픽이 적거나 변동이 크면 고정 비용과 탄력성의 관계도 본다.
비용표에는 모델 호출, 부가 도구, 실패 재시도, 사람 검수, 인프라 고정비를 분리한다. 평균 요청이 아니라 짧음·김·도구 사용·고위험 유형별 비용을 계산한다. 이 내용을 적용할 때는 AI 모델 선택 기준: 품질·비용·지연·크기를 한 표에서 비교하기이라는 이름만 문서에 적지 말고, 입력이 무엇인지, 어떤 변환이나 판단이 일어나는지, 결과를 누가 확인하는지, 실패하면 어디에서 멈추는지를 함께 기록해야 한다. 그래야 같은 용어를 쓰면서 서로 다른 시스템을 상상하는 문제를 줄일 수 있다.
평균 지연보다 꼬리 지연과 처리량을 본다
사용자는 평균이 아니라 자신의 느린 요청을 경험한다. 첫 토큰까지 시간, 전체 완료 시간, 높은 백분위의 꼬리 지연, 동시 요청 처리량을 분리한다. 긴 문맥과 긴 출력, 콜드 스타트, 외부 도구, 피크 부하가 꼬리를 늘릴 수 있다. vLLM의 PagedAttention 같은 서빙 연구는 메모리 관리가 처리량에 중요함을 보여준다. 모델 크기만으로 실제 서비스 지연을 예측하지 말고 배포 환경에서 부하 시험을 한다.
목표 트래픽과 피크 시나리오로 반복 부하를 주고 첫 응답·완료·실패율을 측정한다. 스트리밍이 체감 속도를 개선해도 업무 완료 시간이 기준을 넘는지 따로 본다. 이 내용을 적용할 때는 AI 모델 선택 기준: 품질·비용·지연·크기를 한 표에서 비교하기이라는 이름만 문서에 적지 말고, 입력이 무엇인지, 어떤 변환이나 판단이 일어나는지, 결과를 누가 확인하는지, 실패하면 어디에서 멈추는지를 함께 기록해야 한다. 그래야 같은 용어를 쓰면서 서로 다른 시스템을 상상하는 문제를 줄일 수 있다.
라우팅은 작은 모델과 큰 모델의 역할을 나눈다
모든 요청을 한 모델에 보내지 않고 규칙 또는 작은 모델이 단순 과제를 처리하고 복잡·고위험 요청만 강한 모델과 사람에게 보낼 수 있다. 그러나 라우터가 어려운 요청을 잘못 낮은 경로로 보내면 품질 하한이 무너진다. 라우팅 정확도, 승격률, 두 번 호출 비용, 실패 복구를 포함해 전체 시스템으로 평가한다. 캐시와 배치도 비용을 줄일 수 있지만 오래된 결과와 지연 증가라는 경계가 있다.
단순·복잡·고위험 요청을 태그한 평가 세트에서 단일 모델과 라우팅 시스템을 비교한다. 잘못된 하향 라우팅을 치명 오류로 두고 불확실하면 상향 승격한다. 이 내용을 적용할 때는 AI 모델 선택 기준: 품질·비용·지연·크기를 한 표에서 비교하기이라는 이름만 문서에 적지 말고, 입력이 무엇인지, 어떤 변환이나 판단이 일어나는지, 결과를 누가 확인하는지, 실패하면 어디에서 멈추는지를 함께 기록해야 한다. 그래야 같은 용어를 쓰면서 서로 다른 시스템을 상상하는 문제를 줄일 수 있다.
판단 체크리스트
- 업무별 품질 하한과 치명 오류를 먼저 정했는가
- 동일한 조건과 실제 트래픽 분포로 후보를 평가했는가
- 성공 요청당 총비용과 중앙·꼬리 지연을 계산했는가
- 라우팅·캐시·배치의 실패와 운영 부담까지 포함했는가
자주 생기는 오해
- 파라미터가 큰 모델이 항상 더 좋다 — 과제·데이터·학습·서빙에 따라 달라 실제 업무 평가가 필요하다.
- 토큰 단가가 가장 낮으면 총비용도 가장 낮다 — 재시도, 도구, 검수, 인프라와 성공률을 포함한 성공 요청당 비용을 봐야 한다.
모델 선택 경계
| 상황 | 해석 | 다음 행동 |
|---|---|---|
| 필수 품질 하한 미달 | 비용과 무관하게 해당 과제 부적합 | 강한 모델·도구·사람 경로를 검토한다 |
| 품질은 비슷하고 비용 차이 큼 | 효율 후보 비교 가능 | 성공 요청당 총비용과 꼬리 지연을 본다 |
| 라우팅이 어려운 요청을 오분류 | 시스템 품질 경계 실패 | 불확실 요청을 상향하고 회귀 평가한다 |
자주 묻는 질문
작은 모델은 단순 과제에 항상 유리한가?
비용·지연 장점이 있을 수 있지만 실제 정확도와 서빙 구조, 트래픽에서 확인해야 한다.
모델 크기만 알면 비용을 예측할 수 있나?
양자화, 하드웨어, 배치, 문맥·출력 길이, 메모리 관리가 달라 실제 측정이 필요하다.
평균 지연이면 충분한가?
피크와 긴 요청에서 일부 사용자가 겪는 꼬리 지연을 숨기므로 백분위와 실패율을 함께 본다.
모델을 자주 바꿔도 되나?
골든 세트와 회귀 게이트, 관찰 가능성, 되돌리기가 있으면 교체 위험을 관리할 수 있다.
관련 좌표
작성·검증 정보
- 작성·검토: AI좌표 편집부
- 원문 확인일: 2026-07-27
- 다음 재검토일: 2026-10-31
- 재검토 조건: 원 논문의 정정·철회, 표준 정의 변경, 장기 평가에서 핵심 반례가 확인될 때