지오 실험 측정 방법, 광고 증분 효과 확인하기
- 지오 실험은 광고 노출 지역과 대조 지역의 결과 차이로 증분 효과를 추정합니다.
- 실험 전 KPI와 지역 배정, 예산 변경, 분석 방법을 미리 정해야 합니다.
- 전환 지연과 지역 간 광고 노출 오염을 고려해야 결과를 제대로 해석할 수 있습니다.
지오 실험(Geo Experiment)은 지역을 광고 노출군과 대조군으로 나누고, 두 집단의 결과 차이로 광고가 추가로 만든 전환을 추정하는 방법입니다. 광고 관리자에 표시되는 전환 수나 ROAS만으로는 광고가 없었어도 발생했을 전환과 광고로 새롭게 발생한 전환을 구분하기 어렵습니다. 그래서 핵심은 지역별 매출을 단순 비교하는 것이 아니라, 실험이 없었을 때의 결과를 대조군으로 추정하는 데 있습니다.
지오 실험은 무엇을 측정하나요?
광고 기여 전환과 증분 전환은 다릅니다
광고 플랫폼의 기여 전환은 설정된 기여 기간과 규칙에 따라 광고에 연결된 전환입니다. 반면 증분 전환은 광고가 없었을 상황과 비교해 추가로 발생한 전환입니다. 지오 실험은 이 차이를 추정해 예산을 늘리거나 줄일 근거를 만듭니다. Google은 광고 노출 지역과 비노출 지역의 후속 전환 차이로 지역 기반 Conversion Lift를 측정한다고 설명합니다. 다만 계정별 이용 가능 여부와 지원 조건은 다를 수 있으므로 실행 전에 공식 안내를 확인해야 합니다.
먼저 실험 유형을 질문에 맞춥니다
새 채널이나 캠페인을 처음 시험한다면 일부 지역에만 새 광고비를 투입하는 홀드백 설계를 검토할 수 있습니다. 운영 중인 캠페인의 기존 효과를 확인하려면 일부 지역의 광고를 중단하는 고다크(go-dark) 설계가 적합할 수 있습니다. 예산 증액의 한계 효과가 궁금하다면 테스트 지역에 추가 예산을 투입하는 헤비업(heavy-up)을 고려합니다. 헤비업은 기존 운영 수준과 증액 수준을 비교해 예산 확대의 추가 반응을 봅니다. Google의 GeoX 자료도 이 세 유형을 목적별로 구분합니다.
핵심 기준: 실험군과 대조군의 차이는 광고 집행 방식이어야 합니다. 실험 기간에 가격, 프로모션, 재고, 영업 정책까지 한쪽 지역에서만 바뀌면 광고 효과와 다른 변화의 영향을 분리하기 어렵습니다.
지오 실험 측정 방법: 실행 순서 5단계
1단계: 의사결정 질문과 KPI를 고정합니다
“광고 성과가 좋은가?”처럼 넓은 질문 대신 “이 캠페인을 중단하면 매출이 얼마나 줄어드는가?” 또는 “예산을 늘렸을 때 추가 매출이 비용을 넘어서는가?”처럼 결과에 따라 행동이 달라지는 질문을 정합니다. 주 KPI는 실험 전에 하나를 정하세요. 구매 전환, 매출, 가입처럼 사업 목표에 직접 연결되는 지표가 보통 적합합니다. 클릭이나 장바구니 담기는 구매보다 빨리 관측되는 보조 지표로 둘 수 있지만, 그것만으로 매출 효과를 단정하지는 않습니다.
2단계: 지역 단위와 배정 방식을 정합니다
지역은 광고 플랫폼이 실제로 타기팅할 수 있고, 결과 데이터를 같은 기준으로 집계할 수 있는 단위로 정합니다. 시·도나 시·군·구처럼 익숙한 행정 구역을 그대로 쓰기보다 플랫폼의 타기팅 단위, 지역별 전환량, 이동과 생활권을 함께 살펴야 합니다. 가능한 경우 유사한 지역끼리 짝을 만든 뒤 각 쌍에서 실험군과 대조군을 무작위 배정합니다. 지역 수가 적거나 사전 성과 차이가 크면 합성 대조군 등 사전 데이터 기반 방법을 검토할 수 있습니다.
3단계: 사전 데이터로 실행 가능성을 확인합니다
실험 전 기간의 지역별 KPI와 광고비를 모아 추세, 변동성, 결측 여부를 확인합니다. 최소한 지역, 날짜, KPI 값이 같은 기준으로 연결되어야 하며, 가능하면 프로모션·가격·재고 같은 설명 변수를 함께 기록합니다. 실험 시작 전에 최소 검출 효과(MDE, 통계적으로 구분하고 싶은 최소 효과 크기)나 필요한 예산·기간을 계산하세요. 지역 수와 전환량이 부족하면 실제 효과가 있어도 결과가 불확실할 수 있습니다. 여러 지역과 실험 셀을 추가하면 비교는 세밀해지지만 필요한 데이터와 예산도 커집니다.
4단계: 광고 집행과 오염 방지 규칙을 적용합니다
실험군에만 광고를 노출하거나, 고다크 설계라면 정해진 지역에서 광고가 중단되도록 캠페인을 구성합니다. 지역 제외만 설정하고 끝내지 말고 위치 옵션, 공유 예산, 자동 예산 재배분 여부를 점검하세요. 예산 제한 캠페인에서 일부 지역의 노출을 막으면 남은 지역에 예산이 몰려 대조군의 광고량이 달라질 수 있습니다. 테스트·대조 지역의 광고비, 노출, 입찰 전략과 캠페인 구성을 사전에 기록하고, 중간에 바꾸면 변경 시점과 이유를 남깁니다. Google의 Geo 실험 캠페인 설정 안내는 위치 누수와 예산 구성에 관한 실행 지침을 제공합니다.
5단계: 실험 종료 후 증분 효과와 불확실성을 함께 읽습니다
가장 단순한 비교는 실험군의 실험 전후 변화에서 대조군의 같은 기간 변화를 빼는 차이의 차이 방식입니다. 지역별 규모가 다르면 전환 총량만 비교하지 말고 기준 기간의 전환 수준이나 인구·고객 규모 등을 고려한 추정치를 사용해야 합니다. 실제 분석은 무작위 배정, 매칭, 합성 대조군 등 설계에 맞는 방법으로 진행합니다. 증분 전환 가치와 추가 광고비가 있으면 증분 ROAS(iROAS)를 계산할 수 있습니다. 일반적인 형태는 ‘증분 전환 가치 ÷ 증분 광고비’입니다. 추정치 하나만 보고 결론을 내리지 말고 신뢰구간, 데이터 충분성, 실험 전 추세도 확인하세요.
결과 지표와 해석을 한눈에 보기
| 지표 | 확인할 내용 | 해석 시 주의점 |
|---|---|---|
| 증분 전환 | 광고로 추가 발생한 전환 추정치 | 대조군과 분석 설계에 따라 달라집니다 |
| 증분 전환 가치 | 추가 전환이 만든 매출 또는 가치 | 취소·환불 등 데이터 처리 기준을 맞춥니다 |
| 증분 광고비 | 실험군과 대조군의 비용 차이 | 공유 예산 재배분 여부를 확인합니다 |
| iROAS | 증분 전환 가치 ÷ 증분 광고비 | 불확실성 범위와 함께 판단합니다 |
Google의 지역 기반 Conversion Lift 측정 지표 안내는 증분 전환 가치, 증분 비용, iROAS와 신뢰구간의 의미를 설명합니다. 광고 클릭일과 구매일 사이에 시차가 긴 업종이라면 전환 수집 기간을 캠페인 종료일에 맞춰 바로 닫지 마세요. 전환 지연을 반영하는 방식은 광고 전환 지연 측정 방법도 참고할 수 있습니다.
실험 결과를 흐리는 흔한 실수
- 지역 간 오염: 실험 지역에서 광고를 본 사람이 대조 지역에서 구매하거나, 위치 판정이 부정확해 대조군에 광고가 노출되면 차이가 작게 측정될 수 있습니다.
- 예산 재분배: 지역 제외 후 남은 지역에 광고비가 자동으로 이동하면 실험에서 의도한 비교가 달라집니다.
- 동시 변화: 특정 지역에서만 할인, 재고 확보, 오프라인 행사를 진행하면 광고 외 요인이 결과에 섞입니다.
- 짧은 측정 기간: 구매 주기가 길거나 지역별 전환량이 적으면 효과가 나타나기 전에 측정이 끝날 수 있습니다.
- 결과가 나온 뒤 KPI 변경: 여러 지표 중 유리한 것만 골라 보고하면 우연한 변동을 성과로 오해할 수 있습니다.
지역 간 이동이나 광고 노출 누수는 효과를 대체로 희석할 수 있지만, 모든 설계에서 같은 방향이나 크기로 나타나는 것은 아닙니다. 실험 전 위치 타기팅 및 제외 설정을 점검하고, 실험 기간에는 지역별 광고비와 실제 노출 상태를 기록하세요. 여러 광고 플랫폼을 동시에 비교한다면 지역 경계, 전환 기준, 측정 기간, 독립적인 매출 데이터의 정의를 맞춰야 합니다. GeoLift 가이드도 날짜·지역·KPI를 기본 데이터로 두고 사전 데이터를 활용한 설계를 안내합니다.
실험을 시작하기 전 마지막 점검
- 실험이 답할 질문과 주 KPI, 성공 판정 기준을 문서로 고정합니다.
- 지역 단위, 배정 방식, 실험 유형과 예상 오염 경로를 검토합니다.
- 실험 전 KPI 추세와 전환량으로 예산·기간의 실행 가능성을 확인합니다.
- 지역별 광고 설정과 예산 재배분을 점검하고 변경 기록을 남깁니다.
- 종료 후 증분 효과, 신뢰구간, 전환 지연을 함께 검토해 예산 결정을 내립니다.
지역 실험은 플랫폼 리포트의 대체물이 아니라, 광고가 실제로 추가 가치를 만들었는지 확인하는 보완 측정입니다. 결과를 단일 숫자로 단정하지 말고 설계 조건과 불확실성을 함께 보고, 다음 예산 결정에 연결하세요. Google Meridian의 GeoX 실험 유형 안내와 Meta의 GeoLift 방법론 및 워크스루에서 설계와 분석을 더 살펴볼 수 있습니다.
자주 묻는 질문
Q. 지오 실험과 지역별 전후 비교는 같은 방법인가요?
아닙니다. 전후 비교만 하면 계절성이나 시장 변화가 광고 효과처럼 보일 수 있습니다. 지오 실험은 광고 노출을 달리한 대조 지역을 두어 같은 기간의 변화를 비교하고, 설계에 따라 사전 추세도 반영합니다.
Q. 실험 지역은 몇 곳이 필요하나요?
정해진 공통 숫자는 없습니다. 지역 수뿐 아니라 각 지역의 전환량, 사전 성과 변동, 원하는 최소 검출 효과와 예산이 함께 영향을 줍니다. 사전 데이터로 검정 가능성을 계산하고, 지역이 적다면 매칭이나 합성 대조군 같은 방법을 검토하세요.
Q. 광고를 중단하는 실험만 가능한가요?
아닙니다. 신규 캠페인이나 채널에 광고를 추가하는 홀드백, 기존 집행을 일부 지역에서 중단하는 고다크, 기존 예산에 추가 투자하는 헤비업 등 질문에 따라 설계를 선택할 수 있습니다.
Q. 실험 결과가 유의하지 않으면 광고 효과가 없다는 뜻인가요?
그렇게 단정할 수 없습니다. 효과가 없을 수도 있지만, 전환량이나 지역 수가 부족해 효과를 구분하지 못했을 가능성도 있습니다. 추정치와 신뢰구간, 데이터 충분성, 실험 설계 준수 여부를 함께 확인하세요.
Q. 광고 플랫폼의 지역 기반 리프트 도구를 누구나 사용할 수 있나요?
플랫폼과 계정에 따라 제공 여부와 요건이 다릅니다. 예를 들어 Google Ads 안내는 지역 기반 Conversion Lift가 모든 계정에서 이용 가능하지 않으며 계정 담당자 문의가 필요할 수 있다고 설명합니다. 실행 전 공식 계정에서 지원 캠페인과 측정 조건을 확인하세요.
