운영되는 AI 시스템은 모델에서 시작하지 않고 업무 결정과 피해를 정의한 뒤 평가, 데이터 경계, 권한, 승인, 관찰, 복구를 하나의 통제 흐름으로 연결한다.
데모는 좋은 답 한 번으로 성공할 수 있지만 서비스는 모호한 입력, 데이터 변경, 도구 장애, 공격, 사람 실수를 반복해서 견뎌야 한다. 모델 품질은 중요한 구성 요소일 뿐이다. 시스템이 틀렸을 때 멈추고 설명하고 되돌릴 수 있어야 실제 운영에 들어갈 수 있다.
AI 핵심 지식 52편 중 52편입니다. 제품 화면이 바뀌어도 남는 원리와 판단 기준을 다룹니다.
AI 시스템 설계의 여섯 층
| 설계 층 | 핵심 산출물 | 통과 질문 |
|---|---|---|
| 문제·평가 | 업무 결정·실패 비용·골든 세트 | 무엇이 성공과 중단인지 측정 가능한가 |
| 데이터·권한 | 흐름도·최소 권한·승인 게이트 | 누가 무엇을 읽고 바꿀 수 있는가 |
| 운영·복구 | 로그·모니터·런북·롤백 | 실패를 찾고 영향 범위를 줄여 되돌릴 수 있는가 |
AI 시스템 설계 순서
- 사용자·업무 결정·성공·실패·피해와 책임자를 정의한다.
- 실제 사례의 골든 세트와 출시·중단 기준을 만든다.
- 데이터 흐름, 최소 권한, 도구 경계, 사람 승인을 설계한다.
- 단계별 관찰·사건 대응·롤백·정기 재평가를 운영한다.
첫 문서는 모델 목록이 아니라 문제 계약서다
시스템이 누구의 어떤 업무 결정을 돕는지, 사용자가 현재 어떻게 처리하는지, AI 출력이 다음 행동을 어떻게 바꾸는지 먼저 적는다. 성공은 시간 절약 같은 목표와 함께 사실 오류, 누락, 부당한 차단, 개인정보 노출 같은 허용 불가 실패로 정의한다. AI가 필요하지 않은 결정적 규칙과 검색으로 해결 가능한 부분도 분리한다. 책임자와 이의제기 대상이 없으면 모델이 좋아도 운영 책임이 공중에 뜬다.
한 페이지 문제 계약서에 사용자, 입력, 출력, 다음 행동, 성공 지표, 치명 실패, 사람 소유자, 제외 범위를 기록한다. 각 항목이 관찰 가능한 증거로 이어지는지 검토한다. 이 내용을 적용할 때는 AI 시스템 설계 순서: 문제 정의부터 평가·권한·복구까지이라는 이름만 문서에 적지 말고, 입력이 무엇인지, 어떤 변환이나 판단이 일어나는지, 결과를 누가 확인하는지, 실패하면 어디에서 멈추는지를 함께 기록해야 한다. 그래야 같은 용어를 쓰면서 서로 다른 시스템을 상상하는 문제를 줄일 수 있다.
평가와 데이터 경계를 설계 전에 함께 만든다
골든 세트는 실제 업무 분포와 고비용 경계 사례를 포함하고 기대 행동, 거절, 사람 전환을 채점한다. 동시에 각 사례에 필요한 데이터가 어디서 오고 어떤 목적으로 얼마나 오래 처리되는지 흐름을 그린다. 평가 자료 자체도 민감할 수 있으므로 접근·보존·학습 노출을 관리한다. 데이터가 바뀌면 평가 분포도 갱신해야 한다. 모델 후보는 같은 하네스에서 비교하고 시스템 전체의 도구·검색 결과까지 평가한다.
설계 검토에서 데이터 흐름 노드마다 평가 사례를 연결한다. 입력 누락, 오래된 검색 문서, 권한 없는 데이터, 도구 타임아웃과 삭제 요청을 정상 기능과 함께 시험한다. 이 내용을 적용할 때는 AI 시스템 설계 순서: 문제 정의부터 평가·권한·복구까지이라는 이름만 문서에 적지 말고, 입력이 무엇인지, 어떤 변환이나 판단이 일어나는지, 결과를 누가 확인하는지, 실패하면 어디에서 멈추는지를 함께 기록해야 한다. 그래야 같은 용어를 쓰면서 서로 다른 시스템을 상상하는 문제를 줄일 수 있다.
권한과 승인으로 모델의 행동 범위를 제한한다
모델이 틀릴 가능성을 없앨 수 없으므로 읽기·쓰기·외부 전송 권한을 작업 최소 범위로 제한한다. 자유형 도구보다 스키마와 허용 목록이 있는 좁은 인터페이스를 쓰고, 금전·발행·삭제·권한 변경처럼 비가역적 행동 직전에 사람 승인을 둔다. 승인 대상은 입력과 내용이 고정되어야 하며 재개 시 동일성을 확인한다. 프롬프트 인젝션이 성공해도 비밀과 고위험 도구에 닿지 못하도록 격리한다.
도구 목록에 소유자, 자격 범위, 허용 대상, 속도 제한, 승인 조건, 중복 방지, 비상 차단 방법을 적는다. 권한 확대는 코드 리뷰와 별도 승인 없이는 배포하지 않는다. 이 내용을 적용할 때는 AI 시스템 설계 순서: 문제 정의부터 평가·권한·복구까지이라는 이름만 문서에 적지 말고, 입력이 무엇인지, 어떤 변환이나 판단이 일어나는지, 결과를 누가 확인하는지, 실패하면 어디에서 멈추는지를 함께 기록해야 한다. 그래야 같은 용어를 쓰면서 서로 다른 시스템을 상상하는 문제를 줄일 수 있다.
관찰 가능성과 복구가 출시 조건이다
운영 로그는 원문을 무조건 저장하는 것이 아니라 요청 식별자, 모델·프롬프트·데이터 버전, 검색 출처, 도구 호출, 승인, 결과와 오류를 필요한 범위로 연결한다. 품질 drift, 거부율, 사람 전환, 고위험 실패, 비용과 꼬리 지연을 모니터링한다. 사건이 생기면 기능 중단, 안전한 이전 버전으로 롤백, 영향받은 결과 식별, 사용자 통지와 수정, 원인 분석과 회귀 사례 추가가 가능해야 한다. NIST AI RMF의 GOVERN·MAP·MEASURE·MANAGE는 이 활동을 지속적인 위험 관리로 묶는 관점을 제공한다.
출시 전 게임데이에서 모델 오류, 검색 저장소 오염, 도구 장애, 승인 서비스 중단, 비밀 유출 의심을 연습한다. 각 상황의 중단 권한, 복구 시간, 확인 증거와 재출시 게이트를 런북에 남긴다. 이 내용을 적용할 때는 AI 시스템 설계 순서: 문제 정의부터 평가·권한·복구까지이라는 이름만 문서에 적지 말고, 입력이 무엇인지, 어떤 변환이나 판단이 일어나는지, 결과를 누가 확인하는지, 실패하면 어디에서 멈추는지를 함께 기록해야 한다. 그래야 같은 용어를 쓰면서 서로 다른 시스템을 상상하는 문제를 줄일 수 있다.
판단 체크리스트
- 사용자·결정·성공·치명 실패·책임자가 정의되었는가
- 업무 골든 세트와 데이터 흐름·삭제 경계가 연결되는가
- 최소 권한·도구 검증·사람 승인·중복 방지가 있는가
- 버전 추적·모니터링·비상 중단·롤백·재평가가 가능한가
자주 생기는 오해
- 가장 좋은 모델을 고르면 시스템 설계가 끝난다 — 데이터·도구·권한·사람·운영 경계가 함께 시스템 행동과 위험을 결정한다.
- 출시 전 평가를 통과하면 계속 안전하다 — 데이터와 사용이 변하므로 운영 모니터링, 사건 대응, 정기 재평가가 필요하다.
AI 시스템 출시 경계
| 상황 | 해석 | 다음 행동 |
|---|---|---|
| 업무·실패·책임자가 불명확 | 문제 정의 미완료 | 모델 실험보다 문제 계약서를 먼저 만든다 |
| 평균 품질은 좋지만 고위험 실패 | 출시 게이트 미통과 | 권한 축소·사람 전환·재평가를 한다 |
| 오류를 감지해도 되돌릴 수 없음 | 운영 복구 미완료 | 롤백·영향 추적·런북을 만든 뒤 출시한다 |
자주 묻는 질문
NIST AI RMF는 체크리스트인가?
위험을 거버넌스하고 맥락을 매핑하며 측정·관리하는 자발적 프레임워크다. 조직 맥락에 맞게 구현해야 한다.
작은 내부 도구도 이 모든 것이 필요한가?
깊이는 위험에 비례하지만 문제·평가·권한·복구의 질문은 작게라도 답해야 한다.
사람 승인이 있으면 안전한가?
승인자는 불완전할 수 있다. 최소 권한, 명확한 승인 정보, 입력 고정, 로그와 복구가 함께 필요하다.
언제 출시를 멈춰야 하나?
치명 실패 기준을 넘거나 데이터·권한·복구 책임이 불명확하고 영향 범위를 통제할 수 없을 때 중단한다.
관련 좌표
작성·검증 정보
- 작성·검토: AI좌표 편집부
- 원문 확인일: 2026-07-27
- 다음 재검토일: 2026-09-30
- 재검토 조건: 원 논문의 정정·철회, 표준 정의 변경, 장기 평가에서 핵심 반례가 확인될 때