A/B 테스트 유의성 검정, 어떤 방법을 써야 할까?

A/B 테스트 유의성 검정은 실험군과 대조군의 지표 차이가 우연에 의한 것인지, 실제 효과인지를 통계적으로 판단하는 절차입니다. 결론부터 말하면 지표가 연속형(체류시간, 매출액 등)이면 t-검정 계열을, 이항형(전환 여부, 클릭 여부 등)이면 카이제곱검정이나 비율 z-검정을, 표본이 작거나 분포가 비대칭이면 순열검정·부트스트랩 같은 재표본추출 기법을 선택하는 것이 원칙입니다. 아래에서 어떤 상황에 어떤 검정을 써야 하는지, 그리고 실무에서 자주 놓치는 함정까지 단계별로 정리합니다.

1단계: 가설을 먼저 세운다 — 귀무가설과 대립가설

검정 방법을 고르기 전에 반드시 가설부터 명확히 세워야 합니다. 귀무가설(null hypothesis)은 “두 그룹의 차이는 우연에 의한 것이다”라는 가설이고, 대립가설(alternative hypothesis)은 “두 그룹 사이에 실제 차이가 있다”는 가설입니다. 유의성 검정은 귀무가설이 참이라고 가정한 상태에서, 실제로 관찰된 차이가 나올 확률(p-value)을 계산하는 절차입니다.

일원검정 vs 이원검정

새 버전(B)이 기존 버전(A)보다 낫다는 방향성을 미리 전제한다면 일원검정(one-tailed test)을, B가 A와 다르기만 하면 되고 방향은 모른다면 이원검정(two-tailed test)을 사용합니다. 실무에서는 예상치 못한 방향으로 결과가 나올 가능성을 배제할 수 없으므로 이원검정을 기본값으로 쓰는 것이 안전합니다.

유의수준과 신뢰수준

유의수준(significance level, α)은 귀무가설을 잘못 기각할 위험을 얼마나 허용할지 정하는 기준입니다. 국내외 실무에서 가장 흔히 쓰이는 값은 α=0.05(신뢰수준 95%)이며, p-value가 이 값보다 작으면 “통계적으로 유의하다”고 판단합니다.

p-value가 0.05 미만이라고 해서 무조건 배포를 결정해서는 안 됩니다. 통계적 유의성과 실제 비즈니스 임팩트(실질적 유의성)는 다른 개념이며, 전환율이 0.01%포인트 개선되었더라도 통계적으로 유의할 수 있습니다. 반드시 효과 크기(effect size)를 함께 확인하세요.

2단계: 지표 종류에 맞는 검정 방법을 고른다

가장 많은 실수가 발생하는 지점이 바로 여기입니다. 지표의 성격을 무시하고 습관적으로 t-검정만 쓰는 경우가 흔한데, 지표 종류별로 적합한 검정 방법이 다릅니다.

연속형 지표(평균 비교)

세션당 체류시간, 1인당 구매액처럼 연속적인 값을 비교할 때는 t-검정 계열을 씁니다.

• Student’s t-test: 두 그룹의 분산이 같다고 확신할 수 있을 때 사용하는 검정입니다. 다만 이 가정이 성립하는지는 사전에 검증하기 어려운 경우가 많습니다.
• Welch’s t-test: 두 그룹의 분산이 다르거나 같은지 확신할 수 없을 때 사용하며, 분산 동질성을 사전에 검정하기보다 처음부터 Welch’s t-test를 기본값으로 사용하는 것이 권장되는 통계 실무 관행입니다.
• Mann-Whitney U-test: 표본이 작거나, 이상치(outlier)가 많거나, 데이터가 정규분포를 따르지 않는 비대칭 분포일 때 사용하는 비모수 검정입니다. 순위(rank) 기반이라 극단값의 영향을 덜 받습니다.

범주형·이항형 지표(비율 비교)

가입 여부, 클릭 여부, 이탈 여부처럼 “했다/안 했다”로 나뉘는 이항 데이터는 t-검정이 아니라 별도의 검정을 써야 합니다.

• 이표본 비율 z-검정(Two proportion z-test): 전환율처럼 두 그룹의 비율을 비교할 때 사용하는 가장 기본적인 방법입니다.
• 카이제곱검정(Chi-squared test): 셋 이상의 범주(예: 클릭한 버튼 A/B/C)를 동시에 비교하거나, SRM(샘플 비율 불일치) 여부를 점검할 때 사용합니다.
• ANOVA: 세 그룹 이상의 연속형 평균을 동시에 비교할 때(A/B/C 다중 실험) 사용합니다.

표본이 작거나 분포를 가정하기 어려울 때 — 재표본추출

표본이 작거나 지표의 분포 형태를 확신할 수 없을 때는 순열검정(permutation test)이나 부트스트랩(bootstrap) 같은 재표본추출 기법이 유용합니다. 순열검정은 실험군·대조군 데이터를 하나로 합친 뒤 무작위로 재배분하는 과정을 수천 번 반복해, 실제 관찰된 차이가 우연히 나올 수 있는 범위 안에 있는지를 시뮬레이션으로 확인하는 방식입니다. 분포 가정이 필요 없어 통계 지식이 부족해도 직관적으로 이해하기 쉽다는 장점이 있습니다.

지표 유형	추천 검정	사용 조건
연속형 평균 비교	Welch’s t-test	분산 다를 가능성, 표본 충분히 큼
연속형(이상치 많음)	Mann-Whitney U-test	비대칭 분포, 작은 표본
이항형 비율 비교	이표본 비율 z-검정	전환/클릭 여부 등 바이너리
3개 이상 범주 비교	카이제곱검정	독립적인 범주형 데이터
분포 가정 어려움	순열검정·부트스트랩	작은 표본, 비정형 분포

3단계: 검정 전 표본 크기와 테스트 기간을 계산한다

검정력 분석으로 표본 크기 산정

테스트를 시작하기 전에 검정력 분석(power analysis)으로 필요한 표본 크기를 미리 계산해야 합니다. 표본 크기는 다음 네 가지 요소로 결정됩니다.

1. 기준 전환율(baseline conversion rate) — 현재 지표의 평균 수준
2. 탐지하고자 하는 최소 효과 크기(minimum detectable effect) — 몇 %포인트 개선을 유의미하다고 볼지
3. 유의수준(보통 α=0.05)
4. 검정력(power, 보통 80% 이상 권장) — 실제 효과가 있을 때 이를 놓치지 않을 확률

탐지하려는 효과 크기가 작을수록, 검정력을 높게 잡을수록 필요한 표본 수는 급격히 늘어납니다. 표본 크기를 사전에 계산하지 않고 테스트를 돌리면, 정작 유의한 결과가 나올 때까지 얼마나 기다려야 하는지 알 수 없어 실무에서 흔히 “일단 돌려보고 유의해지면 멈추자”는 잘못된 습관으로 이어집니다.

피킹(Peeking) 문제와 조기 종료의 함정

사전에 계산한 표본 크기·기간에 도달하기 전에 중간 결과를 반복해서 확인하고 유의한 순간 테스트를 종료하는 행위를 “피킹(peeking)”이라고 합니다. 이는 잘못된 양성(false positive) 판정 확률을 크게 높이는 대표적인 실수입니다. 최소 실행 기간(주중·주말 패턴을 모두 포함하도록 보통 1~2주 이상)을 미리 정하고, 그 기간이 끝나기 전에는 결과만 모니터링하되 종료 여부를 판단하지 않는 원칙을 지켜야 합니다.

4단계: 결과를 해석하기 전에 SRM부터 확인한다

검정 결과를 신뢰하려면 그 전에 SRM(Sample Ratio Mismatch, 샘플 비율 불일치)이 없는지 반드시 점검해야 합니다. 실험 설계 시 실험군·대조군을 50:50으로 배정했다면, 실제 수집된 표본도 그 비율에 가까워야 합니다. 만약 60:40처럼 우연이라고 보기 어려운 비율로 어긋났다면, 그 자체로 실험 파이프라인에 문제가 있다는 신호이며 이 상태에서 나온 유의성 검정 결과는 신뢰할 수 없습니다.

SRM을 카이제곱검정으로 점검하는 법

실제 관찰된 그룹별 표본 수와, 설계한 배정 비율에 따른 기대 표본 수를 비교하는 카이제곱검정으로 SRM 여부를 확인할 수 있습니다. 이 검정에서 p-value가 낮게(예: 0.01 미만) 나오면 SRM이 의심되는 상황이며, 지표 검정을 진행하기 전에 원인부터 찾아야 합니다.

SRM의 흔한 원인

• 실험군/대조군 할당 로직 자체의 실수
• 이벤트 로그 전송 누락이나 지연(특정 그룹에서만 로그가 덜 쌓이는 경우)
• 데이터 집계 쿼리의 필터링 오류
• 봇 트래픽이나 캐싱 등으로 인한 인위적 개입

SRM이 확인되면 원인을 해결한 뒤 테스트를 재시작하는 것이 원칙이며, 원인 파악 없이 결과만 강제로 보정해서 해석하는 것은 권장하지 않습니다.

5단계: 통계적 유의성과 실질적 유의성을 함께 판단한다

p-value가 유의수준보다 작다는 것은 “차이가 우연이 아닐 가능성이 높다”는 뜻일 뿐, “그 차이가 비즈니스적으로 의미 있다”는 뜻은 아닙니다. 표본이 매우 크면 아주 작은 차이도 통계적으로 유의하게 나올 수 있으므로, 신뢰구간(confidence interval)과 함께 실제 개선폭이 의사결정에 반영할 만한 수준인지 별도로 판단해야 합니다.

신뢰구간으로 효과 크기 확인하기

부트스트랩 방법으로 지표 차이의 95% 신뢰구간을 함께 계산하면, “차이가 있다/없다”라는 이분법적 결론 대신 “실제 개선 효과는 몇 %에서 몇 % 사이일 가능성이 높다”는 범위 정보를 얻을 수 있어 의사결정에 훨씬 유용합니다.

다중 지표 검정 시 주의점

하나의 실험에서 여러 지표를 동시에 검정하면, 우연히 유의한 결과가 하나쯤 나올 확률(다중비교 문제)이 커집니다. 지표 수가 많을 때는 본페로니 교정(Bonferroni correction) 등으로 유의수준을 보수적으로 조정하거나, 사전에 정한 핵심 지표(primary metric) 1개를 기준으로 최종 판단을 내리고 나머지는 참고 지표로만 활용하는 것이 안전합니다.

자주 묻는 질문

Q. A/B 테스트에서 p-value가 얼마 이하여야 유의미하다고 볼 수 있나요?

일반적으로 유의수준 α=0.05를 기준으로 p-value가 0.05 미만이면 통계적으로 유의하다고 판단합니다. 다만 이는 업계 관례일 뿐 절대적 기준은 아니며, 의사결정의 중요도가 높을수록 더 보수적인 기준(0.01)을 적용하기도 합니다.

Q. t-검정과 카이제곱검정 중 어떤 것을 써야 할지 헷갈립니다.

비교하려는 지표가 평균·매출액처럼 연속적인 숫자라면 t-검정 계열을, 전환 여부·클릭 여부처럼 “했다/안 했다”로 나뉘는 범주형 데이터의 비율을 비교한다면 카이제곱검정이나 비율 z-검정을 사용합니다.

Q. 표본 크기가 작을 때도 A/B 테스트 유의성 검정이 가능한가요?

가능합니다. 다만 표본이 작으면 정규분포 가정이 깨질 수 있으므로 Mann-Whitney U-test 같은 비모수 검정이나, 부트스트랩·순열검정 같은 재표본추출 기법을 사용하는 것이 더 안전합니다.

Q. 유의한 결과가 나왔는데 왜 바로 배포하면 안 되나요?

SRM 미점검, 조기 종료(피킹), 다중비교 문제 등으로 인해 통계적으로 유의해 보여도 실제로는 우연이거나 실험 설계 결함에 의한 결과일 수 있기 때문입니다. SRM 점검, 최소 실행 기간 준수, 효과 크기 확인을 모두 거친 뒤 배포를 결정하는 것이 안전합니다.

Q. 여러 지표를 동시에 검정해도 되나요?

가능하지만 지표 수가 늘어날수록 우연히 유의한 결과가 나올 확률도 커지는 다중비교 문제가 발생합니다. 사전에 핵심 지표 1개를 정해 최종 의사결정 기준으로 삼고, 나머지는 참고용으로만 활용하는 것을 권장합니다.

참고자료

• Best practice in statistics: Use the Welch t-test when testing the difference between two groups (SAGE Journals)
• Why Psychologists Should by Default Use Welch’s t-test Instead of Student’s t-test (International Review of Social Psychology)