토큰이란 무엇인가: 글자와 단어 사이에서 모델이 읽는 단위

토큰은 토크나이저가 텍스트를 정해진 어휘의 ID 열로 바꿀 때 사용하는 단위로, 한 글자나 한 단어와 고정 대응하지 않으며 규칙과 언어에 따라 분절이 달라집니다. 언어 모델은 문장을 그대로 계산하지 않습니다. 먼저 텍스트를 토큰 ID로 바꾸고, 그 순서를 벡터로 처리한 뒤 다시 토큰을 생성해 문자열로 복원합니다. AI 핵심 지식 52편 중 9편입니다. 제품 …