에이전트는 매 단계 실제 환경을 관찰하고 제한된 행동을 실행한 뒤 결과를 검증하며, 명시된 완료·한도·위험 조건에서 멈춰야 합니다.
에이전트의 핵심은 긴 계획을 한 번 쓰는 것이 아니라 환경과 상호작용하며 상태를 갱신하는 반복입니다. 계획과 실제 결과가 다를 수 있으므로 행동 뒤 관찰과 검증이 필요합니다. 중단 조건이 없으면 오류와 비용이 누적되고 완료를 스스로 꾸밀 수 있습니다.
AI 핵심 지식 52편 중 35편입니다. 제품 화면이 바뀌어도 남는 원리와 판단 기준을 다룹니다.
에이전트 제어 루프
| 단계 | 핵심 질문 | 필요한 기록 |
|---|---|---|
| 관찰 | 현재 상태와 근거는 무엇인가 | 도구 결과·출처·오류·시각 |
| 행동 | 허용된 다음 조치는 무엇인가 | 도구·인수·권한·승인 |
| 검증 | 목표에 가까워졌고 부작용은 없는가 | 전후 상태·전제·검사 결과 |
| 중단 | 완료·실패·한도·사람 인계인가 | 종료 이유·미완료·복구 경로 |
루프를 설계하는 순서
- 목표를 관찰 가능한 완료 조건과 금지 상태로 바꾼다.
- 각 상태에서 허용되는 최소 도구와 행동을 정의한다.
- 행동 뒤 실제 결과를 독립 조회하고 전제를 갱신한다.
- 완료·오류·횟수·비용·시간·승인 중단 조건을 강제한다.
관찰은 추정이 아니라 환경의 현재 상태다
에이전트가 세운 계획은 실행 전 가설에 불과합니다. 검색 결과가 없거나 파일이 바뀌고 API가 실패하는 등 환경은 예상과 다를 수 있습니다. 관찰 단계에서는 도구가 반환한 실제 상태, 오류, 출처, 확인 시각을 수집합니다. 이전 모델 응답을 사실처럼 재사용하지 않고 필요한 경우 시스템을 다시 조회합니다. 외부 웹페이지와 이메일의 내용은 신뢰하지 않는 데이터일 수 있으므로 명령과 분리합니다. 관찰이 부분 결과인지 완전한 결과인지, 캐시인지 최신 조회인지 표시합니다. 목표와 관련 없는 대량 데이터를 문맥에 넣지 말고 다음 결정에 필요한 상태만 구조화합니다. 여러 도구의 상태가 충돌하면 하나를 임의 선택하지 않고 충돌을 다음 판단의 입력으로 남깁니다. 관찰 기록은 모델의 자유로운 설명보다 실제 도구 결과와 식별자 중심으로 보존해야 합니다. 좋은 루프는 모델이 ‘완료된 것 같다’고 말하는 것이 아니라, 완료 조건을 판정할 수 있는 환경 증거를 매 단계 확보합니다.
행동은 허용된 선택지 안에서만 일어난다
행동 단계에서 모델은 현재 상태와 목표를 바탕으로 다음 도구와 인수를 제안할 수 있습니다. 그러나 가능한 모든 도구를 항상 제공하면 선택 공간과 위험이 커집니다. 상태별로 필요한 최소 기능만 노출하고 읽기·쓰기·외부 전송을 구분합니다. 인수는 스키마뿐 아니라 대상 실재, 사용자 권한, 현재 상태, 중복 실행 가능성으로 검증합니다. 결제·삭제·전송처럼 되돌리기 어려운 행동은 시스템이 만든 승인 정보와 사람 확인을 요구합니다. 한 번의 행동 크기를 제한하면 오류가 나도 복구 범위를 줄일 수 있습니다. 반복 작업은 멱등성 키와 처리된 항목 상태를 사용해 같은 행동을 다시 하지 않게 합니다. 행동 전에 예상되는 상태 변화와 성공·실패 판정을 정의하고, 정의할 수 없으면 실행하지 않습니다. 모델이 더 큰 권한을 요청할 때는 자동 확대하지 않고 필요한 이유와 대안을 사용자에게 제시합니다. 에이전트의 자율성은 무제한 도구 접근이 아니라 명확한 경계 안에서 다음 선택을 할 수 있는 제한된 위임입니다.
검증은 행동 결과를 목표와 다시 비교한다
도구가 성공 응답을 반환했다고 목표가 달성된 것은 아닙니다. 파일 저장 호출이 성공해도 내용이 맞는지, 메시지 전송이 성공해도 올바른 수신자와 본문인지 확인해야 합니다. 검증 단계에서는 행동 전 예상 상태와 행동 후 실제 상태를 비교합니다. 가능하면 생성에 사용한 경로와 다른 독립 조회나 테스트를 사용합니다. 코드 변경은 테스트와 정적 검사를, 데이터 변경은 읽기 재조회와 불변식 검사를, 검색은 정답 근거의 회수를 확인합니다. 실패를 발견하면 원인을 분류하고 같은 행동을 반복할지 다른 경로로 갈지 사람에게 넘길지 결정합니다. Reflexion처럼 언어 피드백을 다음 시도에 활용할 수 있지만 자기 반성이 외부 검증을 대신하지 않습니다. 검증 결과는 다음 관찰 상태에 포함하되 실패한 가정을 폐기해야 합니다. 일부 성공을 전체 성공으로 합치지 않고 완료된 항목과 남은 항목을 분리합니다. 검증 없는 반복은 행동 수만 늘릴 뿐 목표에 가까워졌는지 알 수 없는 루프가 됩니다.
중단은 실패가 아니라 제어 기능이다
에이전트 루프에는 완료 조건뿐 아니라 실패·한도·승인·사람 인계 조건이 있어야 합니다. 완료는 모델의 선언이 아니라 관찰 가능한 결과와 검증 통과로 정의합니다. 같은 오류가 반복되거나 새 정보 없이 동일한 도구를 호출하면 정체 상태로 보고 멈춥니다. 최대 반복 횟수, 시간, 비용, 외부 변경 수를 시스템에서 강제해 무한 실행을 막습니다. 권한이 부족하거나 목표가 모호하고 고위험 선택이 필요하면 사람에게 구체적인 선택지를 요청합니다. 중단할 때는 지금까지 완료한 일, 확인하지 못한 전제, 마지막 오류, 실제로 바뀐 외부 상태, 되돌리기 방법을 보고해야 합니다. 단순히 ‘실패’라고 끝내면 사용자가 안전하게 이어 갈 수 없습니다. 오류 뒤 자동 재시도는 멱등성과 부작용을 확인한 경우에만 제한적으로 허용합니다. 중단 로그는 이후 평가 세트와 도구 설계를 개선하는 자료가 됩니다. 신뢰할 수 있는 에이전트는 끝까지 밀어붙이는 시스템이 아니라, 진행할 근거가 없거나 영향이 커질 때 정확히 멈추고 통제권을 돌려주는 시스템입니다.
판단 체크리스트
- 목표가 관찰 가능한 완료 조건과 금지 상태로 정의됐는가
- 상태별 최소 도구·권한·인수·승인 조건이 정해졌는가
- 행동 후 실제 상태를 독립적으로 조회하고 검증하는가
- 완료·반복·시간·비용·오류·사람 인계 중단 조건이 강제되는가
자주 생기는 오해
- 좋은 에이전트는 중간에 멈추지 않는다 — 근거·권한·진전이 없을 때 멈추는 능력이 오류와 비용을 제한합니다.
- 도구가 성공을 반환하면 검증은 끝이다 — 호출 성공과 업무 목표 달성은 달라 실제 상태와 완료 조건을 다시 확인해야 합니다.
루프의 계속·수정·중단 기준
| 상황 | 해석 | 다음 행동 |
|---|---|---|
| 새 관찰이 목표에 가까워졌다 | 진행 증거가 있다 | 다음 최소 행동과 예상 상태를 정의한다 |
| 행동은 성공했지만 검증이 실패했다 | 상태 전이가 기대와 다르다 | 가정을 폐기하고 원인별 복구를 선택한다 |
| 같은 오류·도구가 반복되거나 한도에 닿았다 | 정체 또는 위험 확대 | 중단하고 실제 상태와 선택지를 사람에게 보고한다 |
자주 묻는 질문
최대 반복 횟수는 몇 번이 적당한가요?
고정 답은 없습니다. 행동 비용과 피해, 새 정보가 생기는 속도를 기준으로 업무별 한도를 정합니다.
모델의 자기 검토로 검증해도 되나요?
오류 발견에 도움을 줄 수 있지만 같은 오개념을 반복할 수 있어 도구 상태·테스트·원문 같은 외부 신호가 필요합니다.
부분 성공 뒤에는 어떻게 하나요?
완료 항목과 미완료 항목, 실제 변경 상태를 분리하고 중복 실행 없이 남은 작업만 계획합니다.
사람에게 넘길 때 무엇을 보여 줘야 하나요?
목표, 현재 상태, 시도와 결과, 남은 선택지, 예상 영향, 되돌리기 가능성을 시스템 데이터로 제시합니다.
관련 좌표
작성·검증 정보
- 작성·검토: AI좌표 편집부
- 원문 확인일: 2026-07-27
- 다음 재검토일: 2027-07-27
- 재검토 조건: 원 논문의 정정·철회, 표준 정의 변경, 장기 평가에서 핵심 반례가 확인될 때