생성형 AI 환각률 측정·개선 방법: 실무 5단계
- 환각률은 평가 데이터와 오류 판정 기준을 먼저 정해야 합니다.
- 답변 단위와 사실 주장 단위 지표를 함께 보면 원인을 찾기 쉽습니다.
- 검색 근거 확인, 모름 응답, 사람 검토를 조합해 오류를 줄입니다.
생성형 AI 환각률은 정답이 확인된 질문이나 검증 가능한 사실 주장을 기준으로, 틀리거나 근거가 없는 응답이 얼마나 나오는지 계산하는 운영 지표입니다. 여기서 소개하는 계산법은 실무 평가를 위한 정의이며 모든 서비스에 통용되는 단일 표준 환각률이 아닙니다. 질문 분야, 정답 판정법, 답변을 거부한 경우의 처리에 따라 결과가 달라지므로, 실제 사용 상황을 반영한 평가 세트를 만들고 같은 조건에서 전후를 비교해야 합니다.
환각률은 무엇을 세는가
답변 단위와 주장 단위를 구분합니다
답변 단위 환각률은 평가 대상 답변 가운데 사실 오류가 하나 이상 포함된 답변의 비율로 정의할 수 있습니다. 계산은 ‘오류 답변 수 ÷ 평가한 답변 수 × 100’입니다. 질문 하나에 사실이 여러 개 담긴 긴 답변도 오류가 있으면 한 건으로 세므로, 답변 전체에서 오류가 얼마나 자주 나타나는지 보기 좋습니다.
주장 단위 오류율은 답변에 포함된 검증 가능한 사실 주장 중 틀렸거나 근거로 뒷받침되지 않는 주장의 비율로 정의할 수 있습니다. ‘오류 주장 수 ÷ 전체 검증 대상 주장 수 × 100’으로 계산합니다. 한 답변 안에 오류가 여러 개 있는지를 반영해 세부 개선에 유용합니다. 평가 시 사실 오류, 제공된 문서와의 불일치, 출처가 확인되지 않는 주장은 별도 유형으로 기록하세요.
정답률과 환각률은 같은 뜻이 아닙니다
모델이 답을 맞혔는지 보는 정확도와, 근거가 없거나 틀린 답을 생성했는지를 보는 환각 지표는 목적이 다릅니다. 답변을 거부한 경우도 정답으로 세면 안 됩니다. 정답, 오답, 근거 부족, 답변 거부를 구분해 기록하고, 거부율과 정답률도 함께 보고해야 “모르는 질문을 보류해 오류가 줄었는지”를 확인할 수 있습니다. 답변을 많이 거부하도록 바꿔 오류율만 낮추면 실제 사용성은 악화될 수 있습니다.
환각률을 보고할 때는 평가 질문 수, 오류 판정 기준, 답변 거부 처리법을 함께 밝히세요. 조건이 빠진 퍼센트만으로 모델이나 개선책을 비교하면 결과 해석이 달라질 수 있습니다.
실무에서 환각률을 측정하는 5단계
1단계. 평가할 사용 상황과 위험도를 정합니다
먼저 모델의 용도를 좁혀 정의합니다. 사내 규정 질의응답인지, 상품 정보 안내인지, 문서 요약인지에 따라 오류의 의미가 다릅니다. 규정 조항·금액·날짜처럼 잘못 안내했을 때 영향이 큰 항목은 일반 설명과 따로 분류하고, 평가 결과에 오류 심각도를 표시합니다. 고위험 답변에는 오류율이 낮더라도 사람이 확인해야 하는 기준을 둘 수 있습니다.
2단계. 대표 질문과 정답 근거를 준비합니다
실제 사용자가 자주 묻는 질문, 표현이 모호한 질문, 최신 정보가 필요한 질문, 자료에 답이 없는 질문을 포함합니다. 각 질문에는 정답만 적지 말고 근거가 되는 문서와 해당 문장, 문서의 기준일을 연결하세요. 정답이 시간이 지나 바뀌는 주제는 평가 시점도 보관합니다. OpenAI의 SimpleQA 소개는 짧고 답이 분명한 사실 질문을 평가하는 벤치마크 사례입니다. 이 벤치마크는 짧은 사실 질문을 다루므로, 장문의 답변이나 특정 업무의 실제 환각률을 대신하지 않습니다. 따라서 자체 질문 세트도 마련해야 합니다.
3단계. 출력 조건을 고정해 답변을 수집합니다
비교하려는 모델 버전, 시스템 지시문, 검색 문서, 생성 설정, 도구 사용 여부를 기록하고 동일 질문에 같은 조건을 적용합니다. 모델이나 프롬프트를 바꾼 뒤 이전 결과와 비교하려면 질문 세트를 그대로 유지해야 합니다. 운영 상황을 반영해 검색을 켠 평가와 끈 평가를 분리하면, 모델 자체 지식의 오류와 검색·문서 연결 과정의 오류를 구분하는 데 도움이 됩니다.
4단계. 답변을 주장으로 나누고 근거를 판정합니다
답변에서 검증 가능한 사실 주장을 추출한 다음, 기준 문서와 대조해 ‘뒷받침됨’, ‘모순됨’, ‘근거 없음’, ‘판정 불가’로 표시합니다. 계산 규칙을 정해 두면 평가자마다 기준이 흔들리는 일을 줄일 수 있습니다. 자동 평가를 쓰더라도 애매한 사례와 중요도가 높은 오류는 사람이 표본 검토하세요. 자동 판정 모델 역시 실수할 수 있으므로 평가 도구의 판정 오류를 별도로 점검해야 합니다.
5단계. 분모와 세부 유형을 공개하고 재측정합니다
전체 질문 수와 주장 수, 각 오류 건수, 답변 거부 건수, 오류 유형별 결과를 함께 기록합니다. 개선 전후에 같은 세트를 사용하고, 일부 질문의 출처가 변경되었거나 정답이 달라졌다면 변경 이력을 남깁니다. 전체 평균만 보면 특정 분야의 큰 오류가 가려질 수 있으니 업무 유형과 위험도별 결과도 나눠 보세요. 기준 문서에 대한 사실 일치도를 보는 방법으로는 Ragas의 Faithfulness 지표 설명을 참고할 수 있습니다.
결과를 해석할 때 함께 볼 지표
정확도·근거 충실도·거부율을 나란히 봅니다
검색 증강 생성(RAG, 답변 전에 관련 문서를 찾아 모델 입력에 제공하는 방식)을 쓰는 서비스라면, 답변이 검색된 문서에 충실한지와 질문에 맞는 자료가 검색됐는지를 구분해야 합니다. 문서에 없는 내용을 덧붙였다면 생성 단계의 문제일 수 있고, 필요한 문서가 검색되지 않았다면 검색 단계의 문제일 수 있습니다. 다음 표처럼 핵심 지표를 함께 두면 개선 위치를 좁히기 쉽습니다.
| 지표 | 무엇을 확인하나 | 주의할 점 |
|---|---|---|
| 답변 단위 환각률 | 오류가 하나 이상 있는 답변 비율 | 오류 개수나 심각도는 따로 표시 |
| 주장 단위 오류율 | 검증 대상 사실 주장 중 오류 비율 | 주장 추출 기준을 일관되게 적용 |
| 근거 충실도 | 답변이 제공 문서에서 뒷받침되는지 | 문서 자체의 정확성까지 보장하지 않음 |
| 정답률·거부율 | 정답과 답변 보류의 균형 | 거부를 정답 처리하지 않음 |
Ragas는 Faithfulness를 답변의 주장을 나눈 뒤 제공된 문맥에서 추론할 수 있는 주장의 비율로 설명합니다. 이는 문서에 대한 충실도를 보는 지표이지, 문서 자체가 현실의 최신 사실과 일치하는지까지 판정하는 지표는 아닙니다. 서로 다른 질문 세트나 평가 도구에서 나온 수치를 하나의 순위처럼 직접 비교하지 않는 편이 안전합니다.
평가 결과의 불확실성도 기록합니다
질문 수가 적으면 질문 몇 개의 결과만으로 비율이 크게 움직일 수 있습니다. 따라서 점수만 보고하지 말고 표본 수와 질문 구성, 평가자 합의 여부를 같이 남기세요. 정답이 모호하거나 출처끼리 충돌하는 질문은 판정 불가로 분리하고, 오류율 계산에 넣을지 제외할지 사전에 정합니다. NIST의 생성형 AI 위험관리 프로파일은 생성형 AI의 허위·모순 정보 생성 위험을 다룹니다.
측정 결과를 개선으로 연결하는 방법
검색과 출처 표시를 보완합니다
내부 문서 질의응답이라면 최신 문서가 검색되는지, 검색 결과가 질문과 관련 있는지, 서로 다른 버전의 문서가 함께 노출되지 않는지 확인합니다. 답변의 핵심 주장에 근거 문서나 위치를 연결하고, 자료가 없으면 추측 대신 “제공된 자료에서 확인되지 않습니다”라고 응답하게 설계하세요. 출처 표시가 있다고 해서 사실이 자동으로 보장되는 것은 아니므로, 인용한 내용과 답변 주장이 실제로 맞는지 표본 검토해야 합니다.
모호한 요청과 미확인 정보를 다룹니다
질문에 대상·기간·지역이 빠졌다면 모델이 임의로 조건을 채워 답하지 않도록 확인 질문을 유도합니다. 숫자, 인명, 법률 조항, 제품 사양은 별도 검증 규칙을 둘 수 있습니다. 검색이나 계산 도구가 필요한 답변은 도구 결과를 근거로 사용하고, 도구 실패나 검색 결과 부족 시 이를 숨기지 않도록 합니다.
프롬프트·모델 변경을 평가에 포함합니다
시스템 지시문이나 검색 설정을 바꾼 뒤에는 대표 질문뿐 아니라 과거에 오류가 났던 질문을 회귀 평가에 넣습니다. 모델 버전, 프롬프트, 기준 문서의 변경 이력을 함께 관리하면 오류가 어느 변경 뒤 늘었는지 추적하기 쉽습니다. 운영 체계까지 정리하려면 LLMOps와 MLOps의 운영 기준도 관련 주제입니다.
환각률 하나만 낮추는 것을 목표로 삼지 마세요. 정확도, 근거 충실도, 답변 거부율, 오류의 심각도를 함께 보며 실제 사용에서 위험이 줄었는지 판단해야 합니다.
자주 묻는 질문
Q. 생성형 AI 환각률을 계산하는 기본 공식은 무엇인가요?
답변 단위라면 오류가 하나 이상 포함된 답변 수를 평가 답변 수로 나눈 뒤 100을 곱합니다. 주장 단위는 틀리거나 근거가 부족한 사실 주장을 전체 검증 대상 주장 수로 나눕니다. 어떤 단위를 썼는지 결과에 밝혀야 합니다.
Q. 답변을 거부하면 환각으로 계산하나요?
보통 오답과 분리해 거부로 기록합니다. 거부를 정답으로 처리하지 말고, 정답률과 거부율을 함께 비교해야 정확한 답변을 유지하면서 불확실한 질문을 잘 보류하는지 알 수 있습니다.
Q. RAG를 적용하면 환각률이 0%가 되나요?
그렇지 않습니다. 검색된 문서가 오래되었거나 질문과 무관할 수 있고, 답변이 문서 내용을 잘못 해석하거나 근거 없는 내용을 추가할 수도 있습니다. 검색 품질과 답변의 근거 충실도를 각각 평가해야 합니다.
Q. 평가 질문은 몇 개 준비해야 하나요?
모든 서비스에 적용되는 고정 개수는 없습니다. 사용 분야와 질문 유형을 대표하도록 구성하고, 평가 결과에는 질문 수와 범위를 공개하세요. 표본이 작다면 결과를 확정적인 성능 수치로 해석하지 말고 같은 세트로 반복 비교하는 것이 좋습니다.
