작업 정의가 문제면 프롬프트, 최신·사내 근거가 문제면 RAG, 반복 행동 패턴의 안정화가 문제면 파인튜닝을 검토합니다.
세 방법은 같은 문제를 해결하는 대체품이 아닙니다. 프롬프트는 현재 요청의 명세를 제공하고, RAG는 외부 근거를 문맥에 공급하며, 파인튜닝은 학습 데이터를 통해 모델의 반복 행동을 조정합니다. 무엇이 부족한지 진단하지 않으면 비싼 방법으로 잘못된 문제를 고치게 됩니다.
AI 핵심 지식 52편 중 31편입니다. 제품 화면이 바뀌어도 남는 원리와 판단 기준을 다룹니다.
문제 유형별 선택
| 문제 | 우선 방법 | 필요한 증거 |
|---|---|---|
| 목표·형식·규칙이 모호하다 | 프롬프트와 출력 계약 | 명확한 명세와 실패 예시 |
| 최신·사내·출처 근거가 부족하다 | RAG와 원자료 관리 | 정답 문서와 검색 평가 |
| 반복 행동이 지속적으로 흔들린다 | 파인튜닝 검토 | 고품질 학습·검증 데이터 |
방법 선택의 순서
- 대표 입력과 기대 결과, 실패 비용을 담은 평가 세트를 만든다.
- 현재 실패를 지시·지식·행동·권한 문제로 분류한다.
- 프롬프트와 규칙 기반 후처리로 단순 기준선을 세운다.
- 남은 병목에만 RAG 또는 파인튜닝을 추가하고 회귀 평가한다.
프롬프트는 현재 작업의 계약을 바꾼다
프롬프트는 목표, 입력, 제약, 출력 형식, 검증 기준을 현재 문맥에 제공합니다. 모델이 무엇을 해야 하는지 불명확하거나 출력 형식이 매번 달라지는 문제는 먼저 작업 명세를 고치는 것이 합리적입니다. 대표 예시를 문맥에 넣어 경계와 형식을 보여 줄 수도 있습니다. 이 방식은 모델 가중치를 바꾸지 않아 수정과 비교가 빠르고, 실패 원인을 읽기 쉽습니다. 그러나 프롬프트는 모델이 갖지 않은 최신 사실이나 비공개 문서를 만들어 주지 못합니다. 너무 긴 규칙과 예시는 문맥을 차지하고 서로 충돌할 수 있습니다. 지시를 아무리 자세히 써도 실제 권한과 외부 행동 검증을 대신하지 않습니다. 먼저 작은 평가 세트에서 명세만으로 줄어드는 오류를 확인하고, 반복되는 실패 유형을 기록합니다. 프롬프트가 해결한 문제와 남은 문제를 분리해야 다음 기술을 도입할 이유가 생깁니다. 명확하지 않은 업무를 그대로 둔 채 RAG나 파인튜닝을 추가하면 시스템은 더 복잡한 방식으로 같은 모호함을 반복합니다.
RAG는 외부 지식과 출처 경로를 공급한다
질문의 답이 최신 정책, 사내 문서, 특정 계약, 큰 문서 집합에 있다면 필요한 것은 행동 스타일보다 근거 접근입니다. RAG는 질문에 관련된 원문을 찾아 생성 문맥에 넣고 답과 출처를 연결할 수 있습니다. 문서를 갱신하거나 삭제할 때 모델을 다시 학습시키지 않고 지식 저장소를 관리할 수 있다는 장점이 있습니다. 하지만 문서 수집, 청킹, 색인, 검색, 재정렬, 인용, 권한과 갱신 운영이 필요합니다. 정답 문서가 검색되지 않거나 생성기가 근거를 무시하면 실패합니다. RAG를 선택하기 전에 실제 질문과 정답 원문을 연결한 평가 세트가 있어야 합니다. 지식이 아니라 일정한 말투나 분류 행동이 문제라면 검색을 붙여도 핵심 오류가 줄지 않을 수 있습니다. 모델이 이미 아는 일반 상식을 위해 방대한 검색 시스템을 만드는 것도 유지 비용을 늘립니다. RAG는 ‘사실성을 켜는 기능’이 아니라 외부 근거 경로가 필요한 과업에서만 가치가 있으며 검색과 생성의 품질을 따로 관리해야 합니다.
파인튜닝은 반복 행동을 데이터로 조정한다
파인튜닝은 입력과 기대 출력의 예시를 사용해 모델 가중치 또는 추가 어댑터를 조정합니다. 특정 분류 규칙, 문체, 구조, 도메인 표현처럼 많은 요청에서 반복되는 행동을 안정화하는 데 검토할 수 있습니다. 긴 프롬프트를 매번 넣는 비용을 줄이거나 예시만으로는 재현되지 않는 패턴을 학습할 가능성도 있습니다. 그러나 최신 사실을 정확히 저장하고 출처를 갱신하는 데이터베이스 대용으로 보아서는 안 됩니다. 학습 자료의 오류와 편향이 행동에 스며들고, 어떤 예시가 영향을 주었는지 개별 답에서 추적하기 어렵습니다. 충분한 양보다 대표성과 정합성, 권한, 중복, 검증 분리가 중요합니다. 학습 세트와 평가 세트를 분리하지 않으면 성능을 과대평가합니다. 기본 모델이나 데이터가 바뀌면 다시 회귀 평가해야 하며 안전 행동과 드문 경계 사례도 따로 봐야 합니다. 파인튜닝은 실패 원인이 명확하고 고품질 데이터로 기대 행동을 반복 정의할 수 있을 때 선택해야 하며, 실험 환경 없이 품질 향상을 단정할 수 없습니다.
실제 시스템은 세 방법을 층으로 조합한다
한 방법만 선택해야 하는 것은 아닙니다. 파인튜닝된 모델도 현재 목표와 권한을 알려 주는 프롬프트가 필요하고, 외부 지식이 필요한 작업은 RAG를 함께 사용할 수 있습니다. 중요한 것은 각 층의 책임을 겹치지 않게 하는 것입니다. 프롬프트는 이번 작업과 출력 계약, RAG는 확인 가능한 근거, 파인튜닝은 반복 행동의 기본 경향을 담당하도록 나눕니다. 모델 밖의 규칙 기반 검증과 권한 제어도 별도 층으로 둡니다. 도입 순서는 가장 단순한 기준선에서 시작해 평가로 확인된 병목에만 복잡성을 추가하는 편이 좋습니다. 변경할 때는 목표 오류가 줄었는지뿐 아니라 지연, 비용, 운영 부담, 새로운 실패 경로를 함께 기록합니다. RAG를 추가한 뒤 파인튜닝을 하면 검색 실패와 생성 행동 변화를 분리해 평가합니다. 조합이 많아질수록 로그와 버전, 데이터 계보가 중요합니다. 기술 이름을 먼저 고르는 대신 대표 질문과 실패 비용, 필요한 근거, 수정 주기를 기준으로 책임 경계를 정해야 유지 가능한 시스템이 됩니다.
판단 체크리스트
- 대표 입력·기대 출력·실패 비용이 있는 평가 세트를 만들었는가
- 오류를 지시·지식·행동·권한 문제로 먼저 분류했는가
- 가장 단순한 프롬프트·규칙 기준선을 측정했는가
- 추가 방법의 품질 이득과 지연·비용·운영 부담을 함께 비교했는가
자주 생기는 오해
- 파인튜닝하면 최신 지식을 정확히 기억한다 — 지식 갱신과 출처 추적은 RAG·데이터 시스템이 더 직접적이며 파인튜닝은 행동 적응에 가깝습니다.
- RAG를 쓰면 프롬프트가 필요 없다 — 질문 목표, 근거 사용 규칙, 출력과 거절 조건은 여전히 명시해야 합니다.
문제와 방법이 어긋난 신호
| 상황 | 해석 | 다음 행동 |
|---|---|---|
| 필수 형식이 계속 빠진다 | 작업 명세·검증 문제 | 프롬프트와 스키마 기준선부터 고친다 |
| 사내 최신 문서를 모른다 | 외부 지식 접근 문제 | RAG 자료·검색·권한을 설계한다 |
| 근거는 충분하나 반복 행동이 흔들린다 | 행동 적응 문제일 수 있다 | 학습 데이터와 파인튜닝 실험을 검토한다 |
자주 묻는 질문
사내 용어를 쓰게 하려면 파인튜닝이 필요한가요?
소수 용어는 프롬프트·용어집·RAG로 충분할 수 있습니다. 반복 행동 오류가 남는지 평가 후 결정합니다.
RAG와 파인튜닝을 같이 써도 되나요?
가능합니다. RAG는 근거, 파인튜닝은 행동이라는 책임을 나누고 각 단계 평가를 유지해야 합니다.
어느 방법이 가장 저렴한가요?
구축뿐 아니라 데이터 준비, 평가, 갱신, 지연과 장애 대응까지 포함한 총 운영 비용으로 비교해야 합니다.
파인튜닝 전 최소 데이터 수가 있나요?
고정 숫자로 품질을 보장할 수 없습니다. 대표성·일관성·검증 분리와 실험 결과가 결정 기준입니다.
관련 좌표
작성·검증 정보
- 작성·검토: AI좌표 편집부
- 원문 확인일: 2026-07-27
- 다음 재검토일: 2027-07-27
- 재검토 조건: 원 논문의 정정·철회, 표준 정의 변경, 장기 평가에서 핵심 반례가 확인될 때