리테일미디어 홀드아웃 테스트 설계 5단계
- 광고를 보일 집단과 제외할 집단을 먼저 무작위로 나눕니다.
- 매출·구매 건수 등 핵심 지표와 측정 기간을 사전에 정합니다.
- 광고 노출 오염과 표본 부족을 점검하고 증분효과를 해석합니다.
리테일미디어 홀드아웃 테스트는 광고 대상 중 일부를 무작위로 대조군에 배정해 광고를 보이지 않고, 두 집단의 구매 결과 차이를 비교하는 실험입니다. 핵심은 광고를 본 고객의 매출을 합산하는 데 그치지 않고, 광고가 없었어도 발생했을 구매를 대조군으로 추정하는 것입니다. 아래 순서대로 대상·지표·기간을 먼저 고정하면 결과를 예산 결정에 활용하기 쉬워집니다.
1. 먼저 실험 질문과 범위를 고정합니다
무엇의 효과를 측정할지 정합니다
실험 질문은 한 문장으로 좁히세요. 예를 들면 “앱 검색 광고가 광고 대상 상품의 구매액을 늘리는가?”처럼 매체, 캠페인, 대상 상품, 결과를 명시합니다. 한 번에 여러 매체와 혜택을 바꾸면 어느 변화가 결과를 만들었는지 분리하기 어렵습니다. 가능하면 한 테스트에서는 광고 유형이나 타깃 등 주요 변경 요소를 하나로 제한합니다.
대상 고객과 구매 범위를 합의합니다
광고 대상이 될 수 있는 고객의 조건, 대상 SKU(개별 상품 식별 단위), 브랜드·카테고리의 구매를 어디까지 셀지 정합니다. 광고 상품뿐 아니라 브랜드 전체 매출이나 오프라인 구매까지 볼 것인지도 사전에 합의해야 합니다. 분석 기간 동안 품절·가격·쿠폰·진열 변경이 생기면 실험에 영향을 줄 수 있으므로, 변경 계획을 기록하고 양 집단에 동일하게 적용할 수 있는지 확인합니다.
2. 실험군과 대조군을 배정합니다
가능하면 고객 단위 무작위 배정을 사용합니다
적격 고객을 실험군과 대조군으로 무작위 배정하고, 배정된 집단을 기준으로 결과를 분석합니다. 이 방식은 광고를 실제로 본 사람만 골라 비교하면서 생기는 자기선택 편향을 줄입니다. 배정은 캠페인 시작 전에 마치고, 이후 구매 여부나 광고 반응에 따라 집단을 바꾸지 마세요. 집단 크기는 관행적인 비율을 그대로 쓰기보다 과거 구매 변동, 예상 효과, 측정 가능한 고객 수를 고려해 정합니다.
고객 단위 배정이 어렵다면 지역·매장 단위를 검토합니다
매장 화면 광고처럼 고객 ID로 광고를 차단하기 어렵다면 비슷한 매장이나 지역을 짝지어 일부에는 광고를 집행하고 나머지에는 보류하는 방식을 고려할 수 있습니다. 이 경우 고객 무작위 실험보다 지역 간 차이와 이동, 매장별 프로모션의 영향을 더 많이 받을 수 있습니다. 과거 매출과 고객 구성으로 짝의 유사성을 확인하고, 실험 전후에 다른 조건이 달라졌는지 기록하세요. 관찰 자료로 보정한 결과는 무작위 실험과 같은 수준의 인과 증거라고 단정하지 않습니다.
| 설계 요소 | 권장 기준 | 확인할 위험 |
|---|---|---|
| 배정 단위 | 고객·가구 또는 매장·지역 | 같은 단위가 두 집단에 중복되는지 |
| 실험군 | 대상 광고를 집행하는 집단 | 다른 캠페인 노출이 함께 바뀌는지 |
| 대조군 | 해당 광고만 제외하는 집단 | 대체 광고나 쿠폰에 노출되는지 |
| 분석 기준 | 최초 배정 집단 기준 | 노출자만 골라 비교하지 않는지 |
기억할 점: 광고를 실제로 본 고객만 실험군으로 다시 추리면 원래 광고를 더 잘 보거나 구매할 가능성이 높은 고객이 선택될 수 있습니다. 주 분석은 최초 무작위 배정 기준으로 하세요.
3. 지표·기간·표본 규모를 사전에 정합니다
주요 지표 하나와 보조 지표를 구분합니다
주요 지표는 실험의 성공 여부를 판단할 한 가지 결과로 정합니다. 매출을 보려면 대상 상품 매출인지 브랜드 전체 매출인지, 취소·반품과 할인액을 어떻게 처리하는지까지 정의하세요. 구매자 수, 주문 수, 객단가, 신규 고객 비중은 보조 지표로 두면 결과를 입체적으로 읽을 수 있습니다. 노출수와 클릭률은 광고 전달·반응을 설명하지만 그 자체로 추가 매출을 증명하지는 않습니다.
구매 지연과 표본 변동을 반영합니다
짧은 기간만 보면 광고를 본 뒤 늦게 구매하는 고객을 놓칠 수 있고, 지나치게 긴 기간에는 시즌·가격·경쟁 캠페인 같은 외부 변화가 끼어들 수 있습니다. 과거 구매 주기와 캠페인 일정을 보고 측정 기간과 구매 관찰 창을 정한 뒤 변경하지 않는 것이 좋습니다. 표본 규모는 기준선의 변동성과 사업적으로 의미 있는 최소 효과를 바탕으로 계산합니다. 결과가 불확실하면 “효과 없음”으로 단정하지 말고, 표본 부족으로 구분할 수 없는 범위를 보고하세요.
IAB/MRC의 리테일미디어 측정 가이드라인은 증분효과 분석에서 결정론적 데이터의 활용을 권고하고, 데이터 연결에 제약이 있으면 결과 연결에 사용한 가정·기법·추정 방법을 공개하도록 안내합니다. IAB/MRC 리테일미디어 측정 가이드라인
4. 광고 노출 오염과 데이터 품질을 관리합니다
대조군이 광고를 받지 않는지 확인합니다
같은 고객이 다른 캠페인, 검색 결과, 앱 푸시, 쿠폰 또는 오프사이트 광고를 통해 같은 상품 광고를 볼 수 있습니다. 실험 기간에는 관련 캠페인을 목록화하고, 대조군 차단 규칙을 적용할 수 있는지 리테일러와 확인하세요. 차단이 불완전하다면 노출 가능한 경로와 규모를 기록하고 결과의 한계로 공개합니다. 여러 기기나 계정으로 고객 식별이 나뉘면 집단 간 오염 가능성도 점검합니다.
노출·구매 데이터를 같은 기준으로 맞춥니다
배정 로그, 광고 송출 로그, 온라인 주문, 매장 POS(판매 시점 거래) 데이터의 날짜·상품 코드·고객 식별 기준을 맞추고 누락과 중복을 검사합니다. 광고 노출이 없거나 매출 데이터 연결이 안 된 사례를 임의로 제외하지 말고, 사전에 정의한 제외 규칙을 적용하세요. 개인정보는 목적에 필요한 범위만 사용하고 접근 권한과 보유 기간을 정해 처리합니다.
- 실험군과 대조군의 대상자 수 및 기본 구매 수준을 배정 시점 기준으로 확인합니다.
- 광고 차단 실패, 다른 캠페인 노출, 품절·가격 변경을 날짜와 범위별로 기록합니다.
- 매출 데이터의 취소·반품 처리와 온라인·오프라인 구분을 보고서에 명시합니다.
5. 결과를 증분효과로 계산하고 결정에 연결합니다
집단 차이를 최초 배정 기준으로 비교합니다
무작위 배정이 잘 이뤄졌다면 실험군과 대조군의 구매 결과 차이를 광고의 증분효과 추정치로 읽습니다. 집단 크기가 다르거나 유효 관측 수가 다르면 총액만 나란히 놓지 말고 고객당 매출, 구매율처럼 미리 정한 단위 지표로 비교합니다. 실험 전 구매 수준을 보정하는 분석을 추가할 수 있지만, 보정 방식과 결과를 함께 투명하게 공개하세요.
예를 들어 실험군의 구매액에서 대조군의 구매액을 뺀 값은 증분 구매액의 기본 개념입니다. 증분 ROAS(iROAS)는 이 증분 구매액을 광고비로 나눈 값으로, 일반 ROAS와 달리 광고가 없었어도 발생했을 매출을 구분하려는 지표입니다. 구매액 대신 이익을 의사결정에 써야 한다면 할인·원가·반품을 반영한 공헌이익 기준도 함께 검토하세요. Google Ads의 전환 상승도 안내도 실험군과 통제군의 전환 가치 차이를 광고비로 나눠 증분 ROAS를 계산하고, 기여도가 부여된 표준 ROAS와 구분합니다. 사용자 기반 전환 상승도 측정 데이터 이해하기
불확실성과 다음 조치를 함께 보고합니다
점 추정치만으로 예산 확대를 결정하지 말고 신뢰구간 또는 불확실성 범위, 표본 규모, 대조군 오염, 측정 범위를 같이 제시하세요. 범위가 넓으면 확대·중단을 단정하기보다 실험 연장이나 더 넓은 대상 모집이 필요한지 판단합니다. 증분효과가 양수여도 마진과 운영 비용을 감안해 사업적으로 의미 있는지 따져야 합니다. 반대로 전체 평균이 낮더라도 사전에 정한 신규 고객 등 세그먼트 차이가 일관되게 관찰되면 후속 실험의 가설로 삼을 수 있습니다.
보고서에 함께 남길 항목: 실험 질문, 집단 배정 방식, 대상 상품과 기간, 주요 지표 정의, 광고비, 오염·데이터 누락, 효과 추정치와 불확실성, 분석에서 제외한 항목입니다.
실행 전 최종 점검
- 질문과 범위 확정: 어떤 광고가 어떤 고객의 어떤 구매 결과를 바꾸는지 문장으로 씁니다.
- 집단 배정: 고객 또는 지역 단위를 정하고, 캠페인 전에 무작위 배정과 대조군 차단을 설정합니다.
- 측정 계획 고정: 주요 지표, 관찰 기간, 표본 규모 산정, 취소·반품 처리 기준을 문서화합니다.
- 품질 점검: 노출·주문·POS 데이터 연결, 품절과 다른 프로모션, 광고 오염을 확인합니다.
- 결과 해석: 최초 배정 기준으로 증분효과와 불확실성을 계산하고, 다음 예산·실험 결정을 기록합니다.
2025년 IAB와 IAB Europe이 공개한 커머스 미디어 증분 측정 가이드는 신뢰할 수 있는 반사실, 편향 통제, 신호와 잡음의 분리를 주요 원칙으로 제시합니다. 홀드아웃은 광고 효과를 확인하는 강한 방법이지만, 설계가 깨끗하지 않거나 표본이 부족하면 결론의 범위가 제한됩니다. Guidelines for Incremental Measurement in Commerce Media – IAB & IAB Europe
자주 묻는 질문
Q. 홀드아웃 비율은 몇 퍼센트로 정해야 하나요?
모든 캠페인에 적용할 정답 비율은 없습니다. 목표로 하는 최소 효과, 구매 변동성, 적격 고객 수, 대조군에 광고하지 않는 기회비용을 바탕으로 표본 규모를 산정해 정하세요.
Q. 광고를 실제로 본 고객만 비교하면 더 정확한가요?
그렇지 않습니다. 광고를 본 사람은 원래 구매 의도가 높았을 수 있습니다. 주 분석은 광고 노출 여부가 아니라 캠페인 전 무작위 배정된 집단을 기준으로 해야 합니다.
Q. 리테일러가 고객 단위 무작위 배정을 지원하지 않으면 어떻게 하나요?
유사한 매장이나 지역을 짝지어 광고 집행군과 보류군을 비교하는 방식을 검토할 수 있습니다. 다만 지역별 고객 구성이나 프로모션 차이가 결과에 영향을 줄 수 있으므로 사전 매칭과 외부 요인 기록이 중요합니다.
Q. ROAS가 높으면 광고의 증분효과도 높은가요?
꼭 그렇지는 않습니다. ROAS는 설정한 기여 규칙에 따른 매출 대비 광고비이고, iROAS는 대조군과 비교해 추정한 추가 매출 대비 광고비입니다. 두 지표의 정의와 데이터 범위를 구분해 보고하세요.
Q. 결과가 통계적으로 불확실하면 테스트는 실패인가요?
아닙니다. 표본이 작거나 구매 변동이 크면 효과의 범위를 좁히기 어렵습니다. 불확실성 범위와 검출 가능한 효과를 보고, 실험을 연장하거나 더 많은 표본을 모을지 결정하세요.
