CRM 메시지 실험군·대조군 표본 수 계산법
- 표본 수는 기준 전환율과 감지할 최소 차이로 계산합니다.
- 분석 단위는 발송 건수가 아니라 무작위 배정한 고객입니다.
- 배정 비율과 발송 실패, 중간 확인 여부도 결과에 영향을 줍니다.
CRM 메시지 실험의 표본 수는 먼저 무엇을 전환으로 볼지 정하고, 기준 전환율과 감지하려는 최소 차이를 정한 뒤 계산합니다. 예를 들어 대조군 전환율이 10%이고 메시지 변경으로 12%까지 오르는 차이(2%p)를 검출하려면, 양측 유의수준 5%·검정력 80%의 균등 배정 두 비율 비교에서 대략 각 그룹 3,840명, 총 7,680명이 필요합니다. 이는 일반적인 정규 근사 계산에 따른 예시이며, 실제 결과는 계산 도구가 사용하는 검정 방식과 배정 비율에 따라 달라질 수 있습니다.
먼저 정할 것: 누구를 한 명으로 셀까?
발송 건수가 아닌 무작위 배정 고객이 기준입니다
CRM에서는 한 고객에게 여러 메시지가 발송될 수 있으므로 발송 수를 표본 수로 세면 안 됩니다. 실험 시작 전에 고객 단위로 실험군과 대조군을 나누고, 각 그룹에 배정된 고유 고객 수를 표본으로 봅니다. 결과 분석도 원칙적으로 배정된 고객 기준으로 해야 발송 실패나 미열람 고객을 임의로 제외해 생기는 편향을 줄일 수 있습니다.
전환 지표와 관찰 기간을 고정합니다
주요 지표는 구매율, 신청 완료율처럼 하나를 사전에 정하고 분모와 전환 인정 기간을 명시하세요. 예를 들어 ‘배정 후 7일 내 구매 고객 수 ÷ 배정 고객 수’처럼 정의합니다. 클릭률과 매출을 함께 살펴보더라도 어떤 지표로 승자를 판단할지 미리 정해야 결과를 본 뒤 유리한 지표만 고르는 일을 막을 수 있습니다.
표본 수를 좌우하는 네 가지 입력값
기준 전환율과 최소 감지 효과
기준 전환율은 기존 메시지 또는 대조군에서 예상하는 전환 비율입니다. CRM 과거 캠페인 중 대상과 조건이 비슷한 데이터를 사용하되, 시즌이나 할인 조건이 크게 달랐다면 그대로 대입하지 마세요. 최소 감지 효과(MDE)는 실험으로 구분해내고 싶은 최소 차이입니다. 기준 전환율 10%에서 12%를 목표로 한다면 절대 차이는 2%p이고 상대 상승률은 20%입니다. 계산기에 입력하는 값이 절대 차이인지 상대 차이인지 확인해야 합니다.
유의수준과 검정력
유의수준(α)은 실제 차이가 없는데 차이가 있다고 판단할 위험의 기준이고, 검정력(1−β)은 실제로 설정한 효과가 있을 때 이를 발견할 확률입니다. 예시의 5%와 80%는 자주 쓰이는 설계값이지만 모든 캠페인에 자동 적용되는 정답은 아닙니다. 더 엄격한 유의수준이나 더 높은 검정력을 택하면 일반적으로 필요한 표본이 커집니다.
핵심: 기대하는 차이를 작게 잡을수록 더 많은 고객이 필요합니다. 기준 전환율, MDE, 유의수준, 검정력을 결과 확인 전에 정해 기록하세요.
CRM 메시지 실험 표본 수 계산 4단계
1단계: 실험 대상과 분석 단위를 확정합니다
수신 동의, 제외 고객, 중복 계정 등 대상 조건을 정하고 고객 또는 계정 중 하나를 무작위 배정 단위로 선택합니다. 한 사람이 여러 채널이나 계정으로 중복 노출될 수 있다면 중복을 어떻게 처리할지도 사전에 정합니다.
2단계: 기준 전환율과 MDE를 정합니다
유사 조건의 과거 캠페인에서 기준 전환율을 추정합니다. 그다음 ‘통계적으로만 구분할 작은 변화’가 아니라 비용·매출·고객 경험 측면에서 의미 있는 최소 차이를 정합니다. 10%에서 10.2%로의 변화가 사업적으로 의미 없다면 그 정도까지 검출하도록 설계할 필요는 없습니다.
3단계: 검정 조건과 배정 비율을 넣어 계산합니다
전환율처럼 결과가 전환/비전환 두 값인 경우에는 두 비율 비교용 표본 수 계산기를 사용합니다. 양측 검정 여부, 유의수준, 검정력, 각 군의 예상 비율을 입력하고 결과가 군별 표본 수인지 전체 표본 수인지 확인하세요. 독립 두 비율의 검정력과 표본 수는 Statsmodels 공식 문서에서 확인할 수 있으며, 두 비율 비교의 표본 수 산출과 불균등 배정은 Stata 공식 문서에도 설명되어 있습니다.
4단계: 도달 가능 고객 수와 실행 기간을 대조합니다
계산된 수가 그룹별 필요 인원이라면 두 그룹 수를 합쳐 필요한 전체 고객 수를 구합니다. 대상 고객 풀이 부족하면 MDE를 현실적으로 조정하거나 여러 주기 캠페인으로 모집할 수 있는지 검토하세요. 단, 메시지나 대상 조건을 도중에 바꾸면 같은 실험으로 합산하기 어려울 수 있습니다.
배정 비율과 실제 CRM 운영에서 주의할 점
| 설계 요소 | 확인할 내용 | 표본에 미치는 영향 |
|---|---|---|
| 1:1 배정 | 두 그룹에 비슷한 고객 수 배정 | 같은 총 표본에서 비교 효율이 좋은 기본안입니다. |
| 불균등 배정 | 예: 실험군 80%, 대조군 20% | 대조군이 작아져 필요한 총 표본이 늘 수 있습니다. |
| 발송 실패·수신 제외 | 배정 후 실패 고객을 사후 제외하는지 | 배정 인원과 실제 관찰 가능 인원이 달라질 수 있습니다. |
| 반복 노출·군집 배정 | 가구·매장 단위로 함께 배정되는지 | 고객 간 결과가 독립적이지 않으면 단순 계산을 보정해야 합니다. |
대조군을 줄이면 필요한 모집단을 다시 계산합니다
실험군을 크게 두면 더 많은 고객에게 새 메시지를 보낼 수 있지만, 대조군이 작아져 비교의 불확실성이 커집니다. 전체 대상 수가 고정되어 있다면 비율만 바꾼 뒤 기존 표본 계산 결과를 그대로 적용하지 말고 해당 비율을 넣어 다시 산출하세요. 비용이나 리스크 때문에 대조군을 작게 두려면 총 대상 수가 얼마나 더 필요한지 함께 판단해야 합니다.
중간에 결과를 보고 조기 종료하지 않습니다
매일 유의확률을 확인하다가 유리해 보이는 순간 멈추면 우연한 차이를 효과로 오판할 가능성이 커질 수 있습니다. 계획한 표본 수나 종료 시점을 미리 정하고, 그 기준에 도달한 뒤 분석하세요. 반복 확인이 불가피한 운영이라면 순차 검정처럼 중간 분석을 고려한 방법을 사용해야 합니다.
CRM 메시지로 고객을 무작위 홀드아웃하고 효과를 비교하는 구조라면 홀드아웃 테스트 설계 단계도 배정과 비교군 구성 관점에서 참고할 수 있습니다.
계산값을 실험 계획으로 옮기는 체크리스트
- 실험 대상, 제외 기준, 무작위 배정 단위를 기록합니다.
- 주요 전환 지표의 분모·분자와 전환 인정 기간을 고정합니다.
- 기준 전환율과 사업적으로 의미 있는 MDE를 근거와 함께 남깁니다.
- 계산 결과가 군별인지 전체인지, 배정 비율을 반영했는지 확인합니다.
- 종료 표본 수와 분석 시점을 사전에 정하고 중간 변경 사항을 기록합니다.
전환율이 매우 낮거나 고객이 그룹·매장 단위로 묶여 배정되는 실험은 단순한 독립 두 비율 계산과 맞지 않을 수 있습니다. 이런 경우에는 정확 검정, 시뮬레이션 또는 군집 구조를 반영하는 분석을 검토하고, 계산 도구의 가정과 실제 배정 구조가 맞는지 확인하세요.
자주 묻는 질문
Q. CRM 메시지 실험은 꼭 1:1로 나눠야 하나요?
꼭 그렇지는 않습니다. 다만 같은 전체 고객 수라면 대체로 균형 배정이 비교 효율이 좋습니다. 다른 비율을 사용하면 그 비율을 반영해 표본 수를 다시 계산하세요.
Q. 발송 실패 고객은 표본 수에서 빼도 되나요?
무작위 배정 후 실패 고객을 임의로 빼면 그룹 간 차이가 생길 수 있습니다. 기본 분석은 배정 기준으로 하고, 전달 성공 고객만 보는 분석은 보조 결과로 구분하는 편이 해석에 유리합니다.
Q. 실험 도중 유의미해 보이면 바로 끝내도 되나요?
사전에 정한 중간 분석 계획이 없다면 바로 종료하는 방식은 피하세요. 반복적으로 결과를 확인하고 멈추면 우연한 차이를 효과로 판단할 위험이 커집니다.
Q. 계산한 표본 수를 확보하지 못하면 어떻게 하나요?
실험을 진행하기 전에 목표 효과의 사업적 의미와 모집 가능한 고객 수를 다시 검토하세요. MDE를 조정하거나 모집 기간을 늘릴 수 있지만, 대상이나 메시지를 바꿀 경우에는 별도 실험으로 관리하는 것이 안전합니다.
