생성형 AI 결과물 검수 기준과 평가표 만드는 법
- 검수 기준은 업무 위험도와 결과물 용도에 맞춰 정합니다.
- 정확성·근거·완전성·보안 등 항목을 나눠 평가합니다.
- 점수만 보지 말고 치명적 오류는 별도 통과 기준으로 둡니다.
생성형 AI 결과물 평가표는 항목별 점수표에 더해, 오류의 영향과 승인 책임을 정리해야 실무에서 쓸 수 있습니다. 먼저 결과물을 사용할 업무와 독자를 정하고, 정확성·근거·요구사항 충족·표현·보안·편향을 평가하세요. 허위 출처나 개인정보 노출처럼 중대한 오류는 총점과 관계없이 수정 또는 사용 중단으로 처리하는 기준을 둡니다.
검수 기준을 먼저 정해야 하는 이유
생성형 AI는 자연스러운 문장을 만들 수 있지만, 문장이 매끄럽다는 사실만으로 내용이 맞다고 판단할 수는 없습니다. 결과물의 쓰임새에 따라 잘못된 정보가 미치는 영향도 달라집니다. 내부 회의용 아이디어와 고객에게 발송하는 안내문에 같은 검수 강도를 적용하면, 한쪽에서는 확인이 과하고 다른 쪽에서는 위험을 놓칠 수 있습니다.
업무 위험도와 사용 범위를 구분합니다
평가표 첫 칸에는 문서 종류, 사용 대상, 공개 범위, 담당 부서를 적습니다. 이어서 오류가 발생했을 때의 영향을 낮음·보통·높음으로 분류하세요. 이는 보편적인 법적 등급이 아니라 조직이 검수 강도를 정하기 위한 내부 분류입니다. 금전·안전·권리·개인정보에 영향을 줄 수 있는 결과물은 책임자가 원문 근거와 사실을 확인하도록 설계합니다.
평가와 승인 책임을 분리합니다
평가자는 기준에 따라 항목을 채점하고, 승인자는 결과물의 최종 사용 여부를 결정합니다. 작성자 한 사람이 생성·검수·승인을 모두 맡으면 놓친 오류를 발견하기 어렵습니다. NIST의 생성형 AI 위험관리 자료도 사용 맥락을 정하고, 측정과 문서화, 운영 중 모니터링을 고려하도록 안내합니다. 이 자료는 조직별 위험과 목적에 맞게 적용하는 참고 프레임워크입니다(NIST 생성형 AI 위험관리 프로파일).
실무 평가표에 넣을 항목과 점수
아래 항목은 출발점입니다. 업무 특성에 맞지 않는 항목은 빼거나 바꾸고, 점수의 의미를 평가자끼리 합의하세요. 1~5점 척도라면 1점은 기준 미달, 3점은 수정 후 사용 가능, 5점은 기준 충족으로 정의할 수 있습니다. 이 점수 구간은 제안하는 내부 운영 예시이며 업계 공통 표준은 아닙니다.
| 평가 항목 | 확인 질문 | 기록할 근거 |
|---|---|---|
| 정확성·근거 | 수치, 사실, 인용이 원자료와 일치하는가? | 대조한 문서·링크와 수정 내용 |
| 요구사항 충족 | 형식, 범위, 독자, 금지 조건을 지켰는가? | 요청사항별 충족 여부 |
| 완전성·논리 | 필수 내용이 빠지거나 앞뒤가 모순되지 않는가? | 누락·모순 위치 |
| 표현·가독성 | 독자에게 명확하고 오해 없이 전달되는가? | 수정 전후 표현 |
| 보안·권리·편향 | 민감정보, 권리 침해, 차별적 표현 위험이 있는가? | 위험 종류와 조치 |
점수 옆에는 근거와 조치를 함께 남기세요. 예를 들어 정확성 2점만 기록하면 무엇을 고쳐야 하는지 알기 어렵습니다. “기준일이 표시되지 않은 통계 문장을 삭제하고 공식 원문 확인”처럼 재현 가능한 메모를 씁니다. 평균 점수는 개선 흐름을 보는 데 쓰되, 치명적 오류를 상쇄하는 용도로 사용하지 않습니다.
평가표를 만드는 5단계
1단계: 사용 목적과 위험을 적습니다
결과물을 어디에 쓰고 누가 읽는지 한 문장으로 정의합니다. 외부 공개 여부와 오류 발생 시 영향을 함께 기록하면 검수 수준을 정하기 쉽습니다. 목적이 바뀌면 기존 평가표를 그대로 적용하지 말고 위험을 다시 살펴보세요.
2단계: 확인 가능한 평가 항목을 고릅니다
“좋은 글인가?”처럼 사람마다 다르게 해석하는 질문을 피하고, “핵심 주장마다 확인 가능한 출처가 있는가?”처럼 관찰 가능한 기준으로 바꿉니다. 항목은 결과물의 품질을 판단하는 데 필요한 것만 남기고, 서로 같은 내용을 중복 평가하지 않게 합니다.
3단계: 점수 정의와 중대 오류를 정합니다
각 점수의 의미를 짧게 적고, 점수와 별개로 즉시 보류해야 할 오류를 지정합니다. 예를 들어 근거 없는 핵심 사실, 실제와 다른 인용, 개인정보 노출, 차별적 표현은 조직의 업무 성격에 따라 중대 오류로 둘 수 있습니다. 어떤 오류가 중대 오류인지는 담당 부서와 승인자가 사전에 합의해야 합니다.
4단계: 대표 사례로 평가표를 시험합니다
이미 검토가 끝난 결과물 몇 건을 평가자들이 각자 채점해 보세요. 같은 결과에 점수 차이가 크다면 평가 항목이나 기준이 모호한 것입니다. 차이가 난 항목의 표현을 구체화하고, 정상·수정 필요·사용 보류 사례를 예시로 남깁니다.
5단계: 승인·수정·기록 절차를 붙입니다
최종 평가표에는 평가일, 평가자, 사용 모델이나 도구, 결과물 버전, 점수, 오류 근거, 수정 여부, 승인자를 기록합니다. 결과물을 반복 제작한다면 생성형 AI 콘텐츠 버전 관리 절차와 연결해 어떤 기준과 수정본이 사용됐는지 추적할 수 있게 하세요.
- 평가자가 기준에 따라 항목별 점수와 근거를 기록합니다.
- 중대 오류가 있으면 점수와 무관하게 사용을 보류하고 담당자에게 전달합니다.
- 수정본을 같은 기준으로 재검수하고 변경 이력을 남깁니다.
- 승인자가 사용 범위와 공개 여부를 확인한 뒤 최종 승인합니다.
통과 기준과 운영 시 주의할 점
평가표에는 점수뿐 아니라 결과 처리 규칙이 있어야 합니다. 예를 들어 모든 필수 항목이 기준을 충족하고 중대 오류가 없으면 승인, 수정 가능한 항목이 남으면 수정 후 재검수, 사실 확인이 불가능하거나 중대 오류가 해소되지 않으면 사용 보류로 나눌 수 있습니다. 특정 총점을 모든 조직에 공통인 합격선처럼 제시하지 말고, 과거 사례와 업무 위험을 검토해 내부 기준으로 설정하세요.
- 출처가 필요한 주장에는 원문을 열어 날짜·맥락·수치가 맞는지 확인합니다.
- 개인정보나 비공개 자료가 입력 또는 출력에 포함됐는지 점검합니다.
- 특정 집단을 묘사하는 결과는 고정관념이나 누락된 관점을 살펴봅니다.
- 법률·의료·재무 등 전문 판단이 필요한 결과는 자격 있는 담당자의 확인 절차를 둡니다.
- 모델이나 프롬프트가 바뀌면 이전 평가 결과가 그대로 적용되는지 재검토합니다.
국내 제도 적용 여부는 업무와 사업자 역할에 따라 달라질 수 있습니다. 조직의 AI 활용 정책을 만들 때는 시행 중인 법령의 범위와 의무를 별도로 확인하세요. 국가법령정보센터 인공지능 기본법에서 법령 원문을 확인할 수 있습니다. 내부 평가표는 법률 검토나 전문가 검수를 대체하지 않습니다.
기억할 기준: 총점이 높아도 중대 오류가 하나라도 남아 있으면 승인하지 않는 규칙을 두세요. 평가 점수와 사용 승인은 별도로 판단해야 합니다.
복사해 쓰는 평가표 항목 예시
아래 항목을 스프레드시트 열로 옮기면 간단한 평가표로 시작할 수 있습니다. 업무에 맞춰 항목과 처리 규칙을 조정하고, 기준 변경일도 기록하세요.
- 기본 정보: 업무명, 결과물 버전, 평가일, 평가자, 사용 도구
- 평가 내용: 항목, 점수, 확인 근거, 발견한 오류, 수정 요청
- 판정: 중대 오류 유무, 재검수 결과, 승인·수정·보류
- 관리 정보: 승인자, 공개 범위, 적용한 기준 버전
평가표의 목적은 사람을 대신해 기계적으로 합격 여부를 정하는 것이 아닙니다. 어떤 근거를 확인했고, 어떤 위험을 발견했으며, 누가 사용을 결정했는지를 남겨 검수의 일관성과 재검토 가능성을 높이는 데 있습니다.
자주 묻는 질문
Q. 생성형 AI 결과물은 모든 문장을 사람이 검수해야 하나요?
사용 목적과 오류 영향에 따라 달라집니다. 외부 공개되거나 중요한 판단에 쓰이는 결과는 사실과 근거를 사람이 확인하는 절차를 두고, 영향이 낮은 초안은 조직의 기준에 맞춰 표본 검수나 범위 제한을 검토할 수 있습니다.
Q. 평가 항목별 가중치와 합격 점수는 얼마로 정해야 하나요?
공통으로 적용되는 정답은 없습니다. 업무 위험과 과거 오류 사례를 바탕으로 내부 기준을 정하고, 시범 평가에서 평가자 간 차이와 누락 위험을 점검한 뒤 조정하세요. 중대 오류는 가중 평균과 별도로 처리하는 편이 명확합니다.
Q. 다른 AI 모델에게 결과물을 평가하게 해도 되나요?
보조 검토로는 활용할 수 있지만, 평가 모델도 사실을 놓치거나 같은 오류를 반복할 수 있습니다. 기준과 원자료를 제공하고 결과를 표본 확인하며, 중대한 판단과 최종 승인은 책임자가 맡도록 하세요.
Q. 평가표는 언제 다시 점검해야 하나요?
모델·업무·공개 범위가 바뀌거나 반복 오류가 나타날 때 기준을 재검토하세요. 정기 점검 주기는 조직이 정하되, 변경된 평가표의 버전과 적용 시작일을 기록하면 결과를 비교하기 쉽습니다.
