OCR은 보이는 문자를 구조화하는 도구이고 VLM은 시각 요소와 언어 맥락의 관계를 해석하는 모델이므로 정밀 전사와 의미 판단을 분리해야 한다.
문서에서 '무슨 내용인가'를 묻는 것과 '세 번째 줄의 금액을 한 글자도 틀리지 않게 옮겨라'는 서로 다른 과제다. VLM이 문서를 설명할 수 있어도 모든 문자의 좌표와 정확성을 보장하지 않는다. 중요한 필드는 추출과 해석을 나눠 검증해야 한다.
AI 핵심 지식 52편 중 40편입니다. 제품 화면이 바뀌어도 남는 원리와 판단 기준을 다룹니다.
OCR·VLM·결합 방식 비교
| 방식 | 강한 과제 | 추가 검증 |
|---|---|---|
| OCR | 문자 전사, 줄·단어 좌표, 반복 양식 | 회전·저해상도·필기 오류 |
| VLM | 장면 설명, 표·화면 맥락, 질의응답 | 숫자·작은 문자·근거 위치 |
| 결합 | OCR 값과 시각 문맥을 함께 사용 | 두 결과 충돌과 출처 연결 |
문서 읽기 도구 선택 순서
- 최종 결과를 정확 전사와 의미 해석으로 분해한다.
- 문자·좌표·표 구조의 허용 오류를 필드별로 정한다.
- OCR과 VLM을 같은 표본에서 독립 평가한다.
- 충돌 시 원본 영역을 사람이 확인하는 경로를 둔다.
OCR의 기본 목표는 문자 시퀀스 복원이다
OCR은 문서 이미지에서 글자나 단어를 찾아 기계가 다룰 수 있는 텍스트로 변환한다. 전통적으로 영역 탐지, 줄 분리, 문자 인식, 언어 후처리 단계가 있었고 Transformer 기반 구조는 이 일부를 함께 학습하기도 한다. 핵심 출력은 읽은 문자열과 경우에 따라 위치·신뢰도다. 따라서 계약 번호, 계좌, 날짜처럼 한 글자의 오류가 중요한 필드에는 원본 좌표와 인식 결과를 연결하고 형식 규칙이나 이중 확인을 적용하기 쉽다.
영수증 처리에서는 상호명, 일자, 총액, 세금 필드를 먼저 정의한다. 각 값에 원본 영역 좌표를 보관하고 합계 관계가 맞지 않으면 자동 등록 대신 검수 대기열로 보낸다. 이 내용을 적용할 때는 VLM과 OCR은 무엇이 다른가: 문서 읽기에서 역할 나누는 법이라는 이름만 문서에 적지 말고, 입력이 무엇인지, 어떤 변환이나 판단이 일어나는지, 결과를 누가 확인하는지, 실패하면 어디에서 멈추는지를 함께 기록해야 한다. 그래야 같은 용어를 쓰면서 서로 다른 시스템을 상상하는 문제를 줄일 수 있다.
VLM의 강점은 보이는 요소 사이의 관계 해석이다
VLM은 이미지 표현과 언어 표현을 연결해 장면을 설명하거나 질문에 답한다. 문서에서는 표의 목적, 경고 배너의 의미, 버튼과 안내 문구의 관계처럼 전체 맥락이 필요한 질문에 유리할 수 있다. 하지만 자연스러운 답변은 정확한 전사를 뜻하지 않는다. 흐릿한 숫자를 문맥에 맞게 보완하거나 실제로 없는 문구를 그럴듯하게 생성할 수 있다. 답변에 사용한 영역을 표시하게 하고 중요한 값은 별도 추출 결과로 검증해야 한다.
앱 화면 분석에서는 VLM으로 오류 상황과 다음 행동 후보를 요약하되, 버튼 이름과 오류 코드는 OCR 결과 및 화면 좌표로 다시 확인한다. 보이지 않는 메뉴를 추정하게 하지 않는다. 이 내용을 적용할 때는 VLM과 OCR은 무엇이 다른가: 문서 읽기에서 역할 나누는 법이라는 이름만 문서에 적지 말고, 입력이 무엇인지, 어떤 변환이나 판단이 일어나는지, 결과를 누가 확인하는지, 실패하면 어디에서 멈추는지를 함께 기록해야 한다. 그래야 같은 용어를 쓰면서 서로 다른 시스템을 상상하는 문제를 줄일 수 있다.
결합 파이프라인은 서로의 결과를 근거로 연결한다
OCR과 VLM을 함께 쓴다고 정확도가 자동으로 오르지는 않는다. OCR 텍스트를 VLM에 넘길 때 줄과 셀 위치가 사라지면 표 관계를 오해할 수 있고, VLM이 OCR 오탈자를 임의로 고쳐 원본과 다른 값을 만들 수도 있다. 결합 설계에서는 각 값의 출처를 원본 영역, OCR 전사, 해석 결과로 구분한다. 충돌이 생기면 어느 모델이 더 자신 있어 보이는지가 아니라 필드 중요도와 검증 규칙에 따라 처리한다.
청구서에서는 OCR이 뽑은 값과 좌표를 구조화하고 VLM은 항목의 의미만 분류한다. 총액처럼 핵심 필드가 규칙과 맞지 않거나 두 결과가 다르면 원본 이미지를 포함해 사람에게 제시한다. 이 내용을 적용할 때는 VLM과 OCR은 무엇이 다른가: 문서 읽기에서 역할 나누는 법이라는 이름만 문서에 적지 말고, 입력이 무엇인지, 어떤 변환이나 판단이 일어나는지, 결과를 누가 확인하는지, 실패하면 어디에서 멈추는지를 함께 기록해야 한다. 그래야 같은 용어를 쓰면서 서로 다른 시스템을 상상하는 문제를 줄일 수 있다.
평가 단위는 문서 전체가 아니라 업무 필드다
문서 이해 정확도 한 점수로는 운영 가능성을 판단하기 어렵다. 문자 오류율, 필드 완전 일치, 영역 탐지, 표 관계, 질의응답 근거성처럼 결과 유형별 지표를 나눈다. 깨끗한 스캔뿐 아니라 휴대전화 기울기, 반사광, 접힘, 작은 글씨, 여러 언어, 예상 밖 양식을 포함해야 한다. 개인정보가 있는 표본은 접근과 보존 범위를 제한하고, 실패 사례의 원본을 계속 학습 자료로 쓸 수 있는지도 별도로 판단한다.
골든 세트에는 필수 필드 정답과 원본 좌표, 허용 가능한 표기 변형, 자동 처리 금지 조건을 기록한다. 업무 비용은 문서 평균보다 고위험 필드의 누락과 오기입을 중심으로 본다. 이 내용을 적용할 때는 VLM과 OCR은 무엇이 다른가: 문서 읽기에서 역할 나누는 법이라는 이름만 문서에 적지 말고, 입력이 무엇인지, 어떤 변환이나 판단이 일어나는지, 결과를 누가 확인하는지, 실패하면 어디에서 멈추는지를 함께 기록해야 한다. 그래야 같은 용어를 쓰면서 서로 다른 시스템을 상상하는 문제를 줄일 수 있다.
판단 체크리스트
- 결과를 정확 전사와 의미 해석으로 나눴는가
- 중요 필드에 원본 영역과 추출 값을 연결했는가
- OCR과 VLM 결과가 다를 때 처리 규칙이 있는가
- 실제 촬영 품질과 예외 양식을 평가 세트에 넣었는가
자주 생기는 오해
- VLM은 OCR의 완전한 상위 호환이다 — VLM의 문맥 해석과 OCR의 정밀 전사·좌표 출력은 서로 다른 평가 목표를 가진다.
- OCR 신뢰도가 높으면 값이 맞다 — 신뢰도는 정답 보증이 아니며 중요 필드는 형식·관계·원본으로 검증해야 한다.
VLM과 OCR 선택 경계
| 상황 | 해석 | 다음 행동 |
|---|---|---|
| 계약 번호를 정확히 추출 | 전사와 위치 정확성이 핵심 | OCR·형식 검증·원본 좌표를 사용한다 |
| 화면 오류 원인을 설명 | 시각 요소 간 문맥 이해가 핵심 | VLM 답변의 근거 영역을 확인한다 |
| 표의 총액을 해석해 등록 | 전사와 의미가 모두 필요 | 결합 뒤 충돌 시 사람 검수를 거친다 |
자주 묻는 질문
표는 OCR만으로 읽을 수 있나?
문자는 읽어도 행·열과 병합 셀 관계를 잃을 수 있다. 표 구조 추출 또는 레이아웃 모델을 함께 평가한다.
VLM 답변에 좌표를 요청하면 정확한가?
모델과 입력 처리 방식에 따라 다르다. 좌표가 업무에 중요하면 전용 탐지 평가와 원본 오버레이 검수를 둔다.
필기 문서도 같은가?
필기체와 촬영 품질에 따라 오차 특성이 달라 별도 표본과 허용 기준이 필요하다.
결합 순서는 어떻게 정하나?
정밀 값이 먼저 필요하면 OCR 뒤 해석을, 시각 영역 선택이 먼저면 VLM이나 탐지 뒤 OCR을 시험하고 평가로 고른다.
관련 좌표
작성·검증 정보
- 작성·검토: AI좌표 편집부
- 원문 확인일: 2026-07-27
- 다음 재검토일: 2027-01-31
- 재검토 조건: 원 논문의 정정·철회, 표준 정의 변경, 장기 평가에서 핵심 반례가 확인될 때