사전학습은 넓은 데이터에서 일반 목적의 예측 목표를 먼저 학습하는 절차이고, 파운데이션 모델은 그렇게 얻은 하나의 기반이 여러 과업과 시스템에 적응되는 모델 계열을 가리킵니다.
범용이라는 말은 모든 업무에 완성됐다는 뜻이 아니라 하나의 학습 자산이 여러 하류 과업의 출발점으로 재사용된다는 뜻에 가깝습니다.
AI 핵심 지식 52편 중 16편입니다. 제품 화면이 바뀌어도 남는 원리와 판단 기준을 다룹니다.
기반 모델이 실제 시스템이 되는 층위
| 층위 | 핵심 작업 | 검증할 위험 |
|---|---|---|
| 사전학습 데이터 | 넓은 분포에서 자기지도 예측 신호 구성 | 출처·대표성·중복·민감정보 |
| 기반 모델 | 일반 표현과 생성 규칙을 파라미터에 학습 | 편향·기억·불투명한 능력 |
| 과업 적응 | 미세조정·프롬프트·검색으로 목적에 맞춤 | 과적합·기존 능력 저하·오용 |
| 배포 시스템 | 도구·정책·사용자 흐름과 결합 | 실제 환경의 실패와 책임 경계 |
사전학습 모델을 업무에 채택하는 순서
- 기반 모델이 학습한 목표와 공개된 데이터 범위를 확인한다.
- 업무에 필요한 능력과 금지해야 할 실패를 별도로 정의한다.
- 프롬프트, 검색, 미세조정 중 최소 적응 방식을 선택한다.
- 하류 데이터에서 품질·편향·누출·안전 평가를 수행한다.
- 배포 후 입력 분포 변화와 파생 시스템 영향을 계속 추적한다.
사전학습은 정답 라벨이 적은 과업의 출발점을 만든다
사전학습은 최종 업무를 직접 풀기 전에 대규모 데이터에서 일반적인 예측 목표를 학습하는 단계다. 언어 모델은 가려진 토큰을 맞히거나 앞 문맥에서 다음 토큰을 예측하며 문법, 의미와 여러 지식 패턴을 파라미터에 압축한다. 이때 모든 문장에 사람이 업무 라벨을 붙이지 않아도 데이터 자체에서 학습 신호를 만들 수 있어 자기지도 학습이라고 부른다. 이후 분류, 질의응답, 생성 같은 하류 과업에서 적은 라벨로 미세조정하거나 입력 지시만으로 능력을 재사용한다. 사전학습이 완성된 답안집을 저장하는 과정이라고 보면 안 된다. 학습 목표가 요구한 통계적 예측 규칙을 얻는 것이며, 특정 사실의 정확성이나 업무 정책 준수는 별도 목표가 없으면 보장되지 않는다. 기반 성능은 출발점이고 실제 목적에 맞춘 적응과 검증이 뒤따라야 한다.
학습 목표와 데이터가 기반 모델의 가능성과 결손을 함께 만든다
같은 Transformer 구조라도 어떤 데이터를 어떤 목표로 학습했는지에 따라 표현과 행동이 달라진다. BERT는 양쪽 문맥을 활용하는 가려진 언어 모델링을 중심으로 표현 학습을 했고, GPT 계열 연구는 앞 토큰에서 뒤 토큰을 생성하는 자기회귀 목표를 규모 있게 확장했다. 데이터의 언어, 시기, 장르와 품질 분포는 모델이 자주 접한 패턴을 결정한다. 중복 자료가 많으면 평가 세트와 겹치거나 특정 표현을 암기한 것처럼 보일 수 있고, 드문 집단과 전문 영역은 평균 성능에 가려질 수 있다. 모델 크기와 데이터 양만으로 학습 품질을 요약하지 말고 목표 함수, 데이터 구성, 정제 방식과 평가 오염 가능성을 함께 봐야 한다. 공개 정보가 제한된 경우에는 알고 있는 범위와 알 수 없는 범위를 분리해 기록하고, 업무 데이터로 독립 평가해 불확실성을 줄인다.
파운데이션 모델은 하나의 기반에서 많은 파생물이 나오는 관점이다
파운데이션 모델이라는 용어는 넓은 데이터에서 대규모로 학습되고 여러 하류 과업에 적응되는 모델을 사회기술적 관점에서 묶는다. 핵심은 단순한 파라미터 개수보다 하나의 기반이 프롬프트, 미세조정, 검색 결합과 응용 서비스의 공통 토대가 된다는 점이다. 같은 기반의 결함이 많은 파생 시스템으로 전파될 수 있고, 반대로 기반 개선이 여러 과업에 확산될 수도 있다. 파운데이션 모델과 최종 제품은 동일하지 않다. 제품에는 시스템 지시, 외부 도구, 안전 정책, 사용자 데이터 처리와 인터페이스가 더해져 행동이 달라진다. 기반 모델 평가만으로 배포 서비스의 안전을 승인하거나, 한 서비스의 오류를 구조 전체의 고정 특성으로 일반화하면 책임 경계가 흐려진다. 모델 계보와 적응 단계, 운영 구성요소를 연결한 영향 지도가 필요하다.
범용 능력은 하류 과업별 검증 책임을 줄이지 않는다
사전학습 모델은 한 번도 직접 학습하지 않은 과업에서 유용한 전이 능력을 보일 수 있지만, 새로운 환경의 규칙을 자동으로 충족하지는 않는다. 의료, 법률, 채용처럼 오류 비용이 큰 영역에서는 평균 벤치마크보다 대상 집단별 성능, 근거 충실성, 거부 행동과 인간 감독 경로를 확인해야 한다. 미세조정은 원하는 형식과 행동을 강화할 수 있으나 좁은 데이터에 과적합하거나 기존 능력을 훼손할 수 있다. 검색을 붙이면 최신 자료를 제공할 수 있지만 검색 누락과 잘못된 출처라는 새 실패가 생긴다. 채택 결정은 기반 모델 이름이 아니라 실제 시스템 구성에서 내려야 한다. 사전학습 버전, 적응 데이터, 프롬프트와 도구 변경을 추적하고, 변경 전후 회귀 평가를 남겨야 어떤 층에서 성능과 위험이 바뀌었는지 설명할 수 있다.
판단 체크리스트
- 사전학습 목표와 공개된 데이터 범위·시점을 기록한다.
- 기반 모델, 적응 모델과 최종 시스템 버전을 분리한다.
- 업무 데이터에서 집단별 품질·누출·안전 실패를 평가한다.
- 미세조정이나 검색 변경 전후의 회귀 결과를 보존한다.
자주 생기는 오해
- 사전학습을 마치면 모든 하류 과업을 바로 수행할 수 있다 — 일반 표현은 출발점이며 과업별 지시, 적응, 도구 결합과 독립 평가가 필요하다.
- 파운데이션 모델과 이를 사용한 서비스는 같은 시스템이다 — 서비스에는 추가 데이터, 프롬프트, 도구, 정책과 인터페이스가 결합되어 별도 실패 경로가 생긴다.
파운데이션 모델 채택을 멈추고 확인할 신호
| 상황 | 해석 | 다음 행동 |
|---|---|---|
| 기반 벤치마크만으로 배포 승인 | 업무 데이터와 시스템 결합 실패 누락 | 실사용 흐름의 독립 평가 수행 |
| 학습 데이터 범위를 알 수 없음 | 대표성·중복·권리 위험 판단 제한 | 불명확 범위 기록과 입력 제한 |
| 적응 후 기존 과업이 악화 | 미세조정에 따른 능력 이동 가능 | 전후 회귀 세트와 버전 고정 |
자주 묻는 질문
자기지도 학습은 감독이 전혀 없다는 뜻인가?
데이터 자체에서 예측 표적을 구성한다는 뜻입니다. 데이터 선택, 목표 설계, 필터링과 이후 평가에는 여전히 사람의 판단이 들어갑니다.
사전학습과 미세조정은 어떻게 다른가?
사전학습은 넓은 데이터에서 일반 능력을 만들고, 미세조정은 더 좁은 데이터와 목표로 특정 행동이나 과업에 적응시킵니다.
파운데이션 모델은 반드시 언어 모델인가?
아닙니다. 용어는 여러 과업의 기반으로 적응되는 대규모 모델을 가리키며 이미지, 음성이나 복합 양식에도 적용될 수 있습니다.
기반 모델이 좋아지면 모든 파생 서비스도 좋아지나?
공통 능력 개선이 전이될 수 있지만 프롬프트, 도구와 업무 분포에 따라 효과가 다릅니다. 각 파생 시스템의 회귀 평가가 필요합니다.
관련 좌표
작성·검증 정보
- 작성·검토: AI좌표 편집부
- 원문 확인일: 2026-07-27
- 다음 재검토일: 2027-01-27
- 재검토 조건: 원 논문의 정정·철회, 표준 정의 변경, 장기 평가에서 핵심 반례가 확인될 때