컨텍스트 윈도: 모델이 한 번에 볼 수 있는 범위와 실제 활용 한계
컨텍스트 윈도는 한 번의 계산에 참조할 수 있는 토큰 범위이며, 범위 안에 정보가 들어갔다는 사실만으로 모든 위치를 정확히 찾아 쓰거나 영구 기억한다는 뜻은 아닙니다.
긴 입력을 받을 수 있는 능력, 그 안의 핵심을 검색하는 능력, 근거를 충실히 사용해 답하는 능력은 서로 다른 평가 항목입니다.
AI 핵심 지식 52편 중 12편입니다. 제품 화면이 바뀌어도 남는 원리와 판단 기준을 다룹니다.
긴 문맥 시스템을 나누는 구성요소
| 구성 | 역할 | 대표 실패 |
|---|---|---|
| 컨텍스트 한도 | 입력·출력 계산에 허용되는 최대 토큰 범위 | 초과 부분 절단·출력 공간 부족 |
| 위치 표현 | 토큰 순서와 상대 거리를 모델에 전달 | 학습 범위 밖 길이·위치 편향 |
| 검색·선택 | 전체 자료에서 질문 관련 조각을 후보로 추림 | 핵심 조각 누락·잘못된 후보 |
| 문맥 활용 | 들어온 근거를 찾아 결합해 출력에 반영 | 중간 정보 무시·상충 근거 혼선 |
긴 문서를 입력하기 전 설계 순서
- 토크나이저로 입력·지시·예상 출력의 총 길이를 계산한다.
- 질문과 직접 관련 없는 반복·서식·중복 구간을 제거한다.
- 핵심 근거가 처음·중간·끝에 있을 때 각각 시험한다.
- 전체 입력과 검색 후 입력의 회수율·정확도를 비교한다.
- 절단·압축·요약에서 사라진 근거를 로그로 남긴다.
컨텍스트 윈도는 작업 메모리의 입력 규격에 가깝다
컨텍스트 윈도는 모델이 한 번의 추론에서 처리할 수 있도록 제공된 토큰의 범위를 뜻한다. 시스템 지시, 대화 기록, 첨부 문서, 도구 출력과 이미 생성한 토큰이 같은 예산을 나눠 쓸 수 있다. 입력이 길어지면 앞부분이나 특정 구간을 자르거나 요약해야 하고, 출력에 남길 공간도 줄어들 수 있다. 구현마다 입력과 출력 한도를 계산하는 방식이 다르므로 화면의 글자 수가 아니라 실제 토큰과 특수 토큰을 기준으로 확인해야 한다. 컨텍스트는 세션 밖의 영구 저장소와도 다르다. 다음 요청에 이전 내용을 다시 넣지 않으면 모델은 그 정보를 현재 계산에 사용할 수 없다. 문맥 길이는 모델이 볼 수 있도록 주어진 범위이지 모든 내용을 동일한 정밀도로 보존하는 보증서가 아니다.
범위 안에 있는 정보도 위치에 따라 쓰임이 달라질 수 있다
긴 문맥 평가 연구에서는 관련 정보가 입력의 처음이나 끝에 있을 때보다 중간에 있을 때 성능이 낮아지는 위치 민감성이 관찰됐다. 이를 모든 모델의 고정 법칙으로 일반화할 수는 없지만 명목 한도와 유효 활용 범위가 다를 수 있음을 보여 준다. 여러 문서가 비슷한 표현을 반복하거나 상충하면 모델이 어느 근거를 선택해야 하는지도 어려워진다. 핵심 문장을 한 위치에만 놓고 성공을 보고하면 실제 활용을 과대평가할 수 있다. 같은 질문과 근거를 위치별로 바꾸고, 무관 문서 수와 순서를 섞어 회수·답변 성능을 측정해야 한다. 긴 문맥은 단순한 저장 용량 문제가 아니라 주의 배분, 위치 표현, 학습 분포와 평가 과업이 결합된 문제다.
검색과 압축은 문맥 예산을 쓰는 방식이다
전체 문서를 무조건 넣는 대신 질문과 관련된 조각을 검색해 컨텍스트에 배치하면 계산량과 방해 정보를 줄일 수 있다. 그러나 검색기가 핵심 근거를 놓치면 생성 모델은 보지 못한 사실을 복구할 수 없다. 문서 분할이 너무 짧으면 문맥이 끊기고 너무 길면 관련 없는 내용이 함께 들어온다. 요약과 압축은 더 많은 자료를 담게 하지만 숫자, 예외, 부정과 출처 관계를 잃을 수 있다. 따라서 검색 단계의 회수율, 재정렬, 최종 답변의 근거 충실성을 따로 평가해야 한다. 고위험 과업에서는 원문 조각과 문서 위치를 함께 제공하고 답변이 실제 구간을 지지하는지 확인한다. 컨텍스트 확장은 정보 선택 책임을 없애지 않고 오히려 앞단의 문서 관리 품질을 더 중요하게 만든다.
긴 문맥 평가는 길이보다 과업을 바꿔야 한다
한 문장을 그대로 복사하는 바늘 찾기 시험은 기본 회수 능력을 볼 수 있지만, 여러 근거를 결합하거나 상충을 해소하고 시간 순서를 따지는 과업을 대표하지는 않는다. 실제 사용에서는 핵심 근거가 여러 페이지에 흩어지고 표·각주·예외 조항이 함께 나타난다. 평가 세트에는 단일 회수, 다중 근거 결합, 부정·숫자 보존, 상충 감지, 답 없음 거부를 포함해야 한다. 길이를 늘리면서 정확도뿐 아니라 지연, 메모리, 출력 공간과 오류 유형을 측정한다. 컨텍스트 한도 안에서 성공한 사례도 위치와 문서 순서를 바꿔 재시험한다. 모델 선택은 가장 긴 숫자가 아니라 필요한 문서 규모에서 핵심 근거를 안정적으로 회수하고 인용하는 최소 조건을 기준으로 해야 한다.
판단 체크리스트
- 시스템 지시·문서·대화·예상 출력을 합친 토큰 예산을 계산한다.
- 절단 방향과 요약·검색이 적용되는 순서를 문서화한다.
- 핵심 근거 위치를 처음·중간·끝으로 바꿔 반복 평가한다.
- 검색 회수율과 최종 답변의 인용 충실성을 별도 지표로 본다.
- 답 없음·상충 근거·숫자·예외 조항 사례를 포함한다.
자주 생기는 오해
- 컨텍스트 윈도 안에 넣은 정보는 모델이 모두 기억한다 — 처리 가능 범위와 정확한 회수·활용 능력은 다르며 위치와 방해 정보에 따라 성능이 달라질 수 있다.
- 가장 긴 컨텍스트를 가진 모델이 문서 업무에 항상 유리하다 — 실제 과업의 회수 정확도, 충실성, 지연과 비용을 같은 조건에서 평가해야 한다.
긴 컨텍스트를 그대로 넣지 말아야 하는 신호
| 상황 | 해석 | 다음 행동 |
|---|---|---|
| 핵심이 중간에 있을 때만 오류 증가 | 유효 활용이 위치 편향을 보일 수 있음 | 근거 위치를 바꾼 회수 평가 추가 |
| 관련 없는 문서가 많아질수록 답이 흔들림 | 문맥 길이보다 방해 정보 선택 문제 | 검색·재정렬·중복 제거 적용 |
| 입력은 수용되지만 답이 잘림 | 입력과 출력이 같은 토큰 예산을 공유할 수 있음 | 출력 여유와 절단 정책을 명시 |
자주 묻는 질문
컨텍스트 윈도는 영구 기억 용량인가?
아닙니다. 한 번의 계산에 제공되는 작업 범위입니다. 다음 요청에서 사용하려면 대화 기록이나 외부 저장소에서 다시 입력해야 합니다.
문서를 여러 번 요약하면 더 많이 넣을 수 있나?
길이는 줄지만 반복 요약에서 세부 사실과 예외가 누락될 수 있습니다. 원문 연결과 손실 검사를 함께 유지해야 합니다.
긴 문맥과 검색 증강 중 무엇이 낫나?
자료 규모와 질문 유형에 따라 다릅니다. 전체 입력의 활용 성능과 검색 단계의 회수 실패를 같은 평가 세트에서 비교해야 합니다.
출력 토큰도 컨텍스트에 포함되나?
자기회귀 생성에서는 이미 생성한 토큰이 다음 단계 문맥에 들어갑니다. 구현의 총 한도와 입력·출력 배분 규칙을 확인해야 합니다.
관련 좌표
작성·검증 정보
- 작성·검토: AI좌표 편집부
- 원문 확인일: 2026-07-27
- 다음 재검토일: 2027-01-27
- 재검토 조건: 원 논문의 정정·철회, 표준 정의 변경, 장기 평가에서 핵심 반례가 확인될 때
댓글
댓글 쓰기