고영향 AI 위험관리 문서, 무엇을 써야 할까?
- 고영향 AI 또는 이를 이용한 제품·서비스를 제공하는 인공지능사업자는 안전성·신뢰성 확보 조치를 이행하고 근거 문서를 작성·보관해야 합니다.
- 위험관리, 설명, 이용자 보호, 사람의 관리·감독 조치를 문서화하고 시행령상 게시 항목도 확인합니다.
- 조치 이행 근거는 전자적 방법을 포함해 5년간 보관합니다.
2026년 9월 기준 인공지능기본법 제34조는 고영향 AI 또는 이를 이용한 제품·서비스를 제공하는 인공지능사업자에게 안전성·신뢰성 확보 조치와 그 내용을 확인할 수 있는 문서의 작성·보관을 요구합니다. 시행령 제27조는 조치 근거의 5년 보관과 일부 조치의 공개 게시 사항도 정합니다. 아래 항목을 시스템별 문서와 실제 운영 증거에 연결해 두세요. 구체적인 위험 평가 방법과 문서 구성 예시는 실무 제안이며, 법정 단일 서식으로 정해진 것은 아닙니다.
먼저 고영향 AI 해당 여부와 담당 주체를 확인하세요
업무 분야와 사람에게 미치는 영향을 함께 봅니다
고영향 AI는 법에서 정한 영역에서 활용되며 사람의 생명·신체 안전 또는 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 인공지능시스템입니다. 채용·대출 심사·의료·교육 평가·교통·공공서비스 의사결정 등에 쓰이는 시스템은 해당 가능성을 살펴볼 수 있지만, 분야 이름만으로 자동 판정하지는 않습니다. 실제 사용 목적과 맥락, AI 결과가 사람에게 미치는 영향과 의사결정에서 맡는 역할을 함께 검토하세요.
개발·제공·이용 역할과 확인 절차를 기록합니다
법 제34조의 의무 주체는 고영향 AI 또는 이를 이용한 제품·서비스를 제공하는 인공지능사업자입니다. 외부 모델을 API로 이용하는 경우에도 실제 제품·서비스의 제공 주체와 역할, 시스템의 목적·용도, 기능 변경 여부를 확인해야 합니다. 대상 여부가 불분명하면 시스템의 기능과 사용 맥락을 정리하고, 필요하면 과학기술정보통신부장관에게 해당 여부 확인을 요청할 수 있습니다. 검토 기록에는 대상 업무, 이용자와 영향을 받는 사람, AI 결과가 최종 판단에 미치는 정도, 검토자, 판단 날짜와 근거를 남기세요.
위험관리 문서에 넣을 핵심 항목
시스템 설명과 적용 범위
문서 첫 부분에는 시스템명, 서비스 목적, 개발·제공·이용 주체, 사용 부서, 이용자, 영향을 받는 사람, 운영 환경을 적습니다. 입력 데이터의 종류와 출처, 출력 형식, 사람이 결과를 검토하거나 승인하는 지점도 밝혀야 합니다. 외부 모델이나 데이터 공급자에 의존한다면 공급 범위와 변경 통지 방식도 기록하면 이후 장애나 모델 변경의 영향을 추적하기 쉽습니다.
위험 식별·평가·처리
각 위험에는 고유 ID를 부여하고, 어떤 상황에서 누구에게 어떤 피해가 생길 수 있는지 구체적으로 작성합니다. 예를 들어 채용 AI라면 특정 집단의 지원자를 일관되게 낮게 평가하는 상황, 입력 자료 오류가 부적절한 평가로 이어지는 상황, 시스템 장애 중에도 결과가 확정되는 상황을 검토할 수 있습니다. 가능성·영향도 점수 체계를 쓰는 것은 실무상 선택 사항이며, 법이 특정 점수표나 등급을 정한 것으로 단정하면 안 됩니다. 조직이 정한 기준과 판단 이유를 함께 남기세요.
| 문서 항목 | 작성할 내용 | 확인할 증거 |
|---|---|---|
| 시스템 개요 | 목적, 사용 범위, 입력·출력, 담당 조직 | 요구사항·운영 절차 |
| 위험관리 | 위험 시나리오, 영향 대상, 대응책, 잔여 위험 | 평가표·조치 기록 |
| 설명·이용자 보호 | 결과와 주요 기준 설명 방안, 문의·이의 처리 | 안내문·문의 처리 기록 |
| 사람의 관리·감독 | 검토 담당자, 개입 조건, 중단·수정 권한 | 승인·점검 로그 |
| 공개 게시 | 위험관리·설명·이용자 보호 방안의 주요 내용, 감독자 성명·연락처 | 게시 페이지와 게시 이력 |
법에서 요구하는 조치를 문서로 연결하기
결과 설명과 이용자 보호
기술적으로 가능한 범위에서 AI의 최종 결과, 결과 도출에 활용된 주요 기준, 개발·활용에 사용된 학습용데이터의 개요를 어떻게 설명할지 정합니다. 영업비밀이나 보안상 민감한 세부사항을 무조건 공개해야 한다는 뜻으로 해석하기보다, 누구에게 어떤 수준의 설명을 제공할지와 그 근거를 설계하세요. 이용자 보호 항목에는 오류 신고 창구, 이의 제기 또는 재검토 방법, 피해 우려가 접수됐을 때의 담당자와 처리 흐름을 담습니다.
사람의 관리·감독
사람이 개입한다고만 적으면 실행 여부를 확인하기 어렵습니다. 누가 어떤 상황에서 결과를 검토하는지, 검토자가 결과를 보류·수정·거부할 권한이 있는지, 불확실하거나 위험 신호가 나타날 때 누구에게 전달할지를 명시하세요. 자동화된 결과를 사람이 형식적으로 승인하는 구조라면 감독이 실제로 작동한다고 보기 어려우므로, 검토 화면과 업무 시간, 교육, 대체 담당자까지 운영 절차에 반영하는 편이 좋습니다.
시행령상 게시 정보도 확인합니다
시행령 제27조는 위험관리정책·조직체계 등 위험관리방안의 주요 내용, 설명 방안의 주요 내용, 이용자 보호 방안, 해당 고영향 AI를 관리·감독하는 사람의 성명과 연락처를 사업자의 사무소·사업장 또는 인터넷 홈페이지 등에 게시하도록 정합니다. 다만 영업비밀에 해당하는 사항은 제외할 수 있습니다. 내부 관리 문서와 게시용 요약을 구분하고, 게시한 내용과 시점을 기록해 두세요.
위험관리 문서 작성과 운영 순서
- 대상 시스템과 버전을 특정합니다. 문서가 어떤 모델, 서비스 구성, 업무 흐름에 적용되는지 식별하고 적용 범위를 정합니다.
- 사용 맥락과 영향 대상을 기록합니다. 실제 이용자와 영향을 받는 사람, AI 결과가 사람의 권리나 안전에 미치는 경로를 정리합니다.
- 위험을 시나리오로 작성합니다. 원인, 발생 상황, 영향, 기존 통제책을 연결하고 데이터·보안·편향·오작동·공급망·사람의 감독 측면을 점검합니다.
- 대응책과 책임자를 지정합니다. 예방·탐지·완화 조치, 담당 조직, 완료 목표, 잔여 위험의 승인자를 적습니다.
- 검증하고 이력을 보관합니다. 테스트 결과와 운영 점검, 사고·불만 처리, 변경 승인 기록을 위험 항목과 연결합니다.
- 게시 정보와 근거 문서를 관리합니다. 공개 대상 내용과 영업비밀 제외 여부를 검토하고, 게시본과 조치 이행 근거의 버전을 연결합니다.
이 구조는 바로 적용할 수 있는 실무 템플릿 제안이지, 법령이 정한 유일한 서식은 아닙니다. 조직의 기존 보안·개인정보·품질 문서가 있다면 같은 증거를 재사용하되, 해당 고영향 AI와 연결되는 위치를 문서에서 찾을 수 있게 표시하세요.
변경·사고·보관에서 빠뜨리기 쉬운 점
모델과 업무가 바뀌면 영향도 다시 확인합니다
모델 교체, 학습데이터 변경, 입력 항목 추가, 자동화 범위 확대, 새로운 대상 집단으로의 적용은 기존 위험 평가의 전제를 바꿀 수 있습니다. 변경 요청서에 영향 검토와 재시험 필요 여부, 승인자를 두고, 변경 전후의 버전과 결과를 연결해 관리하세요. 운영 중에는 오답·편향 징후·서비스 중단·민원 같은 신호를 정기적으로 확인하고, 위험 수준이 달라지면 대응책을 갱신합니다.
이행 근거를 5년간 보관합니다
시행령 제27조에 따라 인공지능사업자는 법 제34조제1항 각 호의 조치를 이행하고 그 근거를 문서로 5년간 보관해야 합니다. 전자적 방법으로 보관할 수 있습니다. 문서 본문뿐 아니라 평가 결과, 승인 내역, 이용자 안내문 버전, 감독·점검 기록, 사고 대응 기록처럼 실제 이행을 보여 주는 자료를 함께 관리하세요. 보관 시작 시점, 접근 권한, 백업·삭제 통제는 내부 기록관리 기준과 맞추고, 개정 이력에는 변경일과 변경 사유를 남기는 것이 좋습니다.
기억할 기준: 법 제34조는 위험관리·설명·이용자 보호·사람의 관리·감독과 조치 문서화를 규정하고, 시행령 제27조는 게시 정보와 이행 근거의 5년 보관을 정합니다.
현행 조문은 국가법령정보센터 인공지능기본법 제34조, 시행령 제27조, 법 제2조·제33조에서 확인할 수 있습니다. 다른 법령에 따른 동등한 조치 인정 등 예외가 있으므로, 적용 업종의 규정과 시행령 별표도 함께 검토하세요.
자주 묻는 질문
Q. 위험관리 문서에 정해진 공식 서식이 있나요?
법 제34조는 포함해야 할 조치와 문서 작성을 규정하지만, 모든 사업자가 써야 하는 단일 위험관리 양식을 지정하지는 않습니다. 다만 문서만으로 조치의 근거를 확인할 수 있도록 시스템별 위험, 대응, 책임자, 점검 결과를 연결해 작성하세요.
Q. 발생 가능성과 영향도를 반드시 1~5점으로 평가해야 하나요?
그런 점수 척도는 실무에서 사용할 수 있는 방법 중 하나입니다. 법정 필수 점수 체계로 제시하지 말고, 조직이 선택한 평가 기준과 우선순위 결정 이유를 문서에 설명하세요.
Q. 이행 근거는 몇 년 동안 보관하나요?
시행령 제27조에 따라 법 제34조제1항 각 호 조치의 근거를 5년간 보관합니다. 전자적 방법으로 보관할 수 있으며, 운영 문서와 증거 자료를 함께 식별할 수 있도록 관리하는 것이 좋습니다.
Q. 외부 AI 모델을 API로 이용해도 문서를 준비해야 하나요?
외부 모델을 사용한다는 사실만으로 적용 여부가 결정되지는 않습니다. 사업자가 제공하는 제품·서비스의 기능과 활용 분야, 사람에게 미치는 영향, 개발·제공·이용 역할을 기준으로 고영향 해당 여부와 조치 이행 주체를 검토하세요. 개발사업자에게 필요한 자료를 요청할 수 있고, 개발사업자는 이에 협력하도록 노력해야 합니다.
Q. 고영향 AI인지 확신하기 어려우면 어떻게 하나요?
사용 목적과 의사결정 흐름, 영향받는 사람, 예상되는 영향과 판단 근거를 먼저 문서화하세요. 필요한 경우 과학기술정보통신부장관에게 고영향 AI 해당 여부 확인을 요청할 수 있습니다.
