기업 AI 영향평가 항목과 수행 절차 5단계
- 평가 대상의 사용 맥락과 영향을 받는 사람을 먼저 정리합니다.
- 데이터·공정성·개인정보·안전성·투명성 관련 위험을 증거와 함께 살핍니다.
- 완화 조치와 담당자, 운영 중 재평가 조건을 기록합니다.
기업 AI 영향평가는 AI 시스템이 실제 사용 환경에서 누구에게 어떤 이익과 피해를 줄 수 있는지 살피고 위험을 줄일 조치를 정하는 절차입니다. 2026년 1월 공개된 정보통신정책연구원(KISDI)의 인공지능 영향평가 가이드라인은 사전 준비, 본 평가, 사후 단계의 주요 고려사항과 평가서 작성 예시를 제시합니다. 이 글의 5단계는 이를 기업 내부 실무에 맞게 정리한 방법입니다.
기업의 자체 점검과 법상 영향평가를 구분하세요
‘AI 윤리영향평가’와 법 제35조의 ‘인공지능 영향평가’는 문맥과 목적을 구분해 읽어야 합니다. 정보통신정책연구원(KISDI)의 2025 인공지능 윤리영향평가 보고서는 2025년 평가 대상인 AI 채용 서비스의 윤리적 영향과 필요한 정책 지원·대응을 다룬 자료입니다. 이는 기업이 자체적으로 수행하는 실무 점검이나 법 제35조에 따른 고영향 인공지능 영향평가와 동일한 제도라고 단정할 수 없습니다.
한편 인공지능기본법 제35조는 인공지능사업자가 고영향 인공지능을 이용한 제품이나 서비스를 제공하는 경우, 사람의 기본권에 미치는 영향을 사전에 평가하기 위해 노력하도록 규정합니다. 평가에는 제품·서비스의 성격에 따라 인공지능취약계층의 특성이 반영되어야 합니다. 따라서 모든 기업과 모든 AI 시스템에 동일한 법적 평가 의무가 적용된다고 볼 수는 없습니다. 대상 여부와 요건은 현행 법령 및 실제 제품·서비스의 기능을 바탕으로 확인해야 합니다.
기업은 법상 대상 여부와 별도로, 개발·도입·운영 과정에서 위험을 찾기 위한 내부 점검을 운영할 수 있습니다. 문서에는 법적 의무에 따른 평가인지 내부 관리 목적의 점검인지, 대상 범위와 판단 근거가 무엇인지 구분해 적으세요. KISDI 가이드라인은 사전 준비, 본 평가, 사후 단계와 평가서 작성 예시를 제공합니다.
기업 평가에서 살펴볼 핵심 항목
목적, 사용자, 영향을 받는 사람
시스템 이름이나 모델 종류만으로는 위험을 판단하기 어렵습니다. 어떤 업무에서 결정을 지원하거나 자동화하는지, 결과를 누가 활용하는지, 그 결과의 영향을 받는 사람은 누구인지 적으세요. 채용 서류 분류 도구라면 직접 사용자는 채용 담당자지만, 영향을 받는 사람에는 지원자가 포함됩니다. 당초 목적을 벗어난 재사용이나 다른 서비스와의 결합 가능성도 살펴보세요.
데이터, 공정성, 개인정보
학습·검증·운영 데이터의 출처와 수집 근거, 품질, 최신성, 대표성을 확인합니다. 성별·연령·장애·지역 등 관련 집단별로 오류나 불리한 결과가 다르게 나타나는지 검토하고 비교 집단과 측정 방법을 기록하세요. 개인정보가 포함된다면 처리 목적과 항목, 접근 권한, 보관·삭제 기준도 확인합니다. 모델의 전체 성능 수치만으로 집단별 편향 여부를 판단하기 어려울 수 있으므로 실제 업무 사례와 집단별 결과를 함께 검토합니다.
안전성, 설명, 책임과 구제
오작동, 근거가 부족한 생성 결과, 악용, 보안 침해가 일어났을 때 피해가 어디까지 번질지 살핍니다. 결과를 사람이 검토하거나 시스템 사용을 중단할 수 있는지, 이용자가 AI 사용 사실과 한계를 알 수 있는지 확인하세요. 오류 신고와 재검토 요청을 받을 경로도 정합니다. 외부 공급자의 모델을 쓴다면 변경 공지, 사고 통보, 로그 제공 등 평가와 대응에 필요한 협력 조건을 확인합니다.
점수만 기록하지 마세요. 위험마다 확인한 증거, 영향을 받는 사람, 발생 가능성과 심각도 판단 근거, 담당자와 대응 기한을 연결해야 후속 조치를 확인할 수 있습니다.
| 평가 영역 | 확인 질문 | 증거 예시 |
|---|---|---|
| 목적·범위 | 사용 목적과 제한할 용도가 구분되어 있는가? | 서비스 흐름도, 이용 조건 |
| 데이터·공정성 | 집단별 결과 차이와 데이터 한계를 확인했는가? | 데이터 출처표, 집단별 시험 결과 |
| 개인정보·보안 | 정보의 처리·접근·보관·삭제가 관리되는가? | 처리 흐름, 권한·보관 정책 |
| 안전·책임 | 오류 대응, 사람의 개입, 이의 제기 경로가 있는가? | 사고 대응 절차, 재검토 기록 |
실무에 적용할 수행 절차 5단계
1단계: 평가 범위와 담당자를 정합니다
제품 전체를 막연히 평가하기보다 기능과 사용처가 분명한 단위로 대상을 정합니다. 개발, 서비스 운영, 보안·개인정보, 법무, 고객 대응 담당자를 참여시키고 최종 승인자를 지정하세요. 외부 AI 모델이나 데이터 공급자가 있다면 책임 범위와 확보할 수 있는 자료도 초기에 확인합니다.
2단계: 실제 사용 시나리오와 이해관계자를 정리합니다
정상적인 사용뿐 아니라 오입력, 결과 오해, 목적 외 사용, 자동화 결과에 대한 과도한 의존도 시나리오로 적습니다. 영향을 받는 사람의 관점에서 편익과 피해를 나누고, 취약한 상황에 놓인 집단이나 이의를 제기하기 어려운 이용자가 있는지 확인하세요. 필요하면 사용자 인터뷰, 민원·오류 사례, 현장 담당자의 의견을 모읍니다.
3단계: 위험을 평가하고 우선순위를 정합니다
각 위험에 대해 발생 가능성, 피해의 심각성, 피해의 회복 가능성, 영향을 받는 사람의 범위를 기록합니다. 점수 하나로 모든 윤리 문제를 단순화하지 말고 판단 기준과 불확실성을 함께 남기세요. 증거가 부족하거나 집단별 시험이 어려운 경우에는 ‘문제 없음’으로 처리하지 말고 ‘확인되지 않음’으로 기록해 추가 검증을 계획합니다.
4단계: 완화 조치를 정하고 출시 판단에 반영합니다
위험별 조치, 책임자, 완료 시점, 확인 방법을 정합니다. 사람의 재검토 절차, 특정 용도 제한, 안내 문구 개선, 추가 데이터 검증, 접근 통제, 오류 신고 경로를 적용할 수 있습니다. 조치 뒤 남은 위험을 다시 평가하고 승인, 조건부 승인, 보류 중 어떤 판단을 했는지 근거와 함께 기록합니다.
5단계: 운영 중 변화를 살피고 재평가합니다
출시 후 오류·민원·이의 제기, 성능 저하, 집단별 결과 변화, 공급업체의 모델 변경을 살필 지표와 담당자를 정합니다. 모델·데이터·목적·사용자 집단이 바뀌거나 중대한 사고가 발생하면 재평가를 시작하도록 조건을 정하세요. 평가서는 한 번 작성하고 끝나는 문서가 아니라 변경 이력과 후속 조치를 기록하는 운영 자료입니다. 생성형 모델의 오류 측정과 개선 방법은 생성형 AI 환각률 측정·개선 방법도 참고할 수 있습니다.
평가 결과를 실행 가능한 문서로 만드세요
평가 기록에는 시스템과 버전, 평가일, 목적과 적용 범위, 이해관계자, 사용 데이터, 항목별 증거, 위험 판단 근거, 완화 조치, 잔여 위험, 승인자, 다음 검토 조건을 담으세요. ‘공정성 검토 완료’처럼 결론만 쓰면 같은 조건으로 재검증하기 어렵습니다. 어떤 데이터를 어떤 집단으로 나누어 살폈는지, 기준과 예외를 어떻게 정했는지도 기록하는 편이 좋습니다.
- 범위 누락: 시험 환경뿐 아니라 실제 사용자 흐름과 목적 외 사용도 검토했는지 확인합니다.
- 증거 없는 확인: ‘예’라고 표시한 항목에 문서·로그·시험 결과 등 근거를 연결합니다.
- 책임 공백: 공급업체와 내부 담당자 사이에 사고 대응과 수정 책임이 비어 있지 않은지 확인합니다.
- 일회성 평가: 출시 후 재평가 조건과 모니터링 주기를 정합니다.
KISDI의 2026 인공지능 윤리기준 실천을 위한 자율점검표(안)는 인권 보장, 프라이버시 보호, 다양성 존중, 데이터 관리, 책임성, 안전성, 투명성 등을 포함한 10대 핵심요건과 분야별 점검표를 제시합니다. 이를 회사의 위험과 서비스 특성에 맞는 질문으로 활용할 수 있지만, 체크리스트 작성만으로 위험 통제가 완료되는 것은 아닙니다.
평가는 문서 작성에서 끝나지 않습니다. 위험을 수용하거나 출시를 보류한 경우에도 판단 이유와 승인 주체, 재검토 조건을 기록하세요.
자주 묻는 질문
Q. 모든 기업이 같은 AI 영향평가를 해야 하나요?
모든 기업에 동일한 항목과 절차가 적용된다고 단정할 수는 없습니다. 시스템의 목적, 영향을 받는 사람, 위험 수준과 관련 법령을 고려해 평가 범위와 깊이를 정하세요. 인공지능기본법상 고영향 인공지능 영향평가의 적용 여부와 요건은 공식 법령을 확인해야 합니다.
Q. 외부 업체의 AI 모델을 도입해도 평가해야 하나요?
모델을 직접 개발하지 않더라도 자사 서비스에 결합해 사용하는 방식과 이용자에게 미치는 영향을 살펴볼 필요가 있습니다. 공급업체의 데이터·성능·변경·사고 대응 정보를 확인하고, 확인하지 못한 부분은 평가의 한계와 보완책으로 기록하세요.
Q. 평가 점수가 낮으면 서비스를 출시할 수 없나요?
점수 하나만으로 출시 여부를 자동 결정하기보다 위험의 심각성, 완화 가능성, 남은 불확실성, 사람의 개입과 구제 수단을 함께 검토하세요. 승인 조건이나 보류 사유는 판단 근거와 함께 문서화합니다.
Q. 언제 다시 평가해야 하나요?
모델·데이터·기능·사용 목적이 바뀌거나 새로운 이용자 집단에 적용할 때, 중대한 오류나 피해 신고가 접수될 때 재평가하는 기준을 마련하세요. 변화가 없더라도 정기 점검으로 운영 지표와 기존 가정이 여전히 유효한지 살펴보는 것이 좋습니다.
