광고 문구를 두 개 걸어 두고 2주 뒤에 결과를 열어 봤습니다. A는 클릭률 2.4%, B는 2.1%. 숫자만 보면 A를 남기면 됩니다. 그런데 이 정도 차이는 같은 문구 두 개를 걸어 놓아도 흔히 나옵니다.
병원 광고 A/B 테스트에서 가장 자주 생기는 일은 판정을 너무 일찍 내리는 것입니다. 우리 병원 노출량으로는 어떤 차이까지 가려낼 수 있는지, 표본 크기를 먼저 계산해 두면 테스트를 시작할지 말지부터 정할 수 있습니다.
클릭률 0.5%p 차이를 믿으려면 노출이 얼마나 필요할까?
통계에서 흔히 쓰는 기준을 그대로 가져왔습니다. 신뢰수준 95%, 검정력 80%입니다. 쉽게 말하면 “우연히 차이가 난 것을 진짜로 착각할 확률은 5% 이하로, 진짜 차이가 있을 때 놓칠 확률은 20% 이하로” 잡는다는 뜻입니다.
이 기준으로 문구 하나당 필요한 표본을 계산하면 아래와 같습니다.
| 비교하는 지표 | A안 | B안 | 문구 하나당 필요한 표본 |
|---|---|---|---|
| 클릭률 | 2.0% | 2.5% | 노출 약 13,800회 |
| 클릭률 | 2.0% | 3.0% | 노출 약 3,800회 |
| 클릭 대비 전화 비율 | 5% | 7% | 클릭 약 2,200회 |
| 클릭 대비 전화 비율 | 5% | 10% | 클릭 약 430회 |
표에서 눈여겨볼 곳은 둘째 줄입니다. 차이가 두 배로 커지면 필요한 표본은 4분의 1 가까이로 줄어듭니다. 차이의 제곱에 반비례하기 때문입니다. 미세한 차이를 가려내는 데는 노출이 많이 들고 확연한 차이는 적은 노출로도 드러납니다.
계산식은 두 비율을 비교하는 표준 공식입니다. 엑셀에서도 한 줄이면 됩니다.
n = 7.84 × (p1(1−p1) + p2(1−p2)) ÷ (p1 − p2)²
7.84는 95% 신뢰수준(1.96)과 80% 검정력(0.84)을 더해 제곱한 값입니다. p1, p2 자리에 기대하는 두 비율을 넣으면 됩니다.
하루 노출 400회인 정형외과에 대입해 보면
지역명과 진료과목을 묶은 키워드로 파워링크를 돌리는 의원을 가정했습니다. 하루 노출 400회, 클릭률 2%, 하루 클릭 8회입니다. 동네 의원에서 흔히 보는 규모입니다.
- 클릭률 2.0% 대 2.5%를 가리려면 두 문구 합쳐 노출 약 27,600회가 필요합니다. 69일이 걸립니다.
- 클릭률 2.0% 대 3.0%라면 약 7,600회, 20일 남짓입니다.
- 전화 전환 5% 대 7%를 가리려면 클릭 약 4,400회가 필요합니다. 하루 8클릭으로는 550일, 1년 반입니다.
- 전화 전환 5% 대 10%라면 클릭 약 860회, 108일입니다.
숫자를 놓고 보면 결론은 분명합니다. 이 규모의 의원이 전화 전환율로 문구를 비교하는 건 현실적으로 어렵습니다. 1년 반이면 계절이 바뀌고 경쟁 병원 입찰가도 달라집니다. 문구에 쓴 진료시간이 그사이 바뀔 수도 있습니다. 비교의 전제가 끝까지 유지되지 않습니다.
그래서 작은 병원에서는 클릭률로 1차 비교를 하고 전화 전환은 누적 추이로만 봅니다. 클릭률이 높은 문구가 엉뚱한 사람을 끌어오는지 확인하는 정도로요. 전화 버튼 클릭을 세는 방법은 홈페이지 전화 버튼 클릭을 세는 GA4 설정에 따로 적어 두었습니다.
테스트 전에 정해 둘 네 가지.
1. 노출 방식을 고르게 맞추기
광고 플랫폼은 기본적으로 성과가 좋아 보이는 문구를 더 자주 내보냅니다. 비교하는 동안에는 이 기능을 꺼야 합니다. 구글 애즈 고객센터는 이 설정을 이렇게 설명합니다.
“‘최적화하지 않음’ 옵션을 사용하면 광고가 무기한으로 더 균등하게 광고 입찰에 참여합니다.”
네이버 파워링크는 광고그룹 고급 옵션의 소재 노출 방식에서 ‘성과기반 노출’ 대신 ‘동일 비중 노출’을 고르면 됩니다. 최적화가 켜진 채로 비교하면 초반에 운 좋게 클릭을 받은 문구가 노출을 더 가져가 표본이 한쪽으로 쏠립니다.
2. 기간은 주 단위로 끊기
병원 검색은 월요일과 화요일에 몰리고 주말에 줄어드는 곳이 많습니다. 목요일에 시작해 다음 주 수요일에 멈추면 요일 구성이 한쪽으로 기웁니다. 계산상 20일이 나왔다면 3주로 올려 잡습니다.
3. 중간에 열어 보고 멈추지 않기
매일 결과를 확인하다 처음으로 차이가 보이는 날 테스트를 끝내면 실제로는 차이가 없는데도 차이가 있다고 결론 내릴 확률이 크게 올라갑니다. 기간은 먼저 정해 둡니다. 그 전에는 숫자를 보더라도 판정하지 않습니다.
4. 한 번에 한 군데만 바꾸기
제목과 설명문, 연결 페이지를 동시에 바꾸면 무엇이 차이를 만들었는지 알 수 없습니다. “야간 진료 평일 9시까지”와 “주차 30대 가능”처럼 내세우는 정보 하나만 달리하는 편이 해석하기 쉽습니다.
노출이 적은 병원이 할 수 있는 비교는 따로 있습니다.
위 계산대로라면 하루 노출이 100회 안팎인 병원은 클릭률 비교조차 몇 달이 걸립니다. 이럴 때는 비교의 목표를 바꿉니다.
첫째, 차이가 큰 안끼리만 붙입니다. 표현을 조금 다듬은 두 문구 대신 진료시간을 내세운 문구와 위치를 내세운 문구처럼 방향이 다른 안을 비교하면 차이가 크게 나서 적은 표본으로도 판정이 납니다.
둘째, 노출이 많은 키워드 한두 개에서만 테스트합니다. 계정 전체를 쪼개 테스트하면 표본이 흩어집니다. 결과는 그 키워드에서 얻습니다. 다른 광고그룹에는 이긴 문구를 옮겨 씁니다.
셋째, 판정 기준을 미리 낮춰 둡니다. 95% 대신 80% 신뢰수준으로 보면 필요한 표본이 60% 정도로 줄어듭니다. 대신 차이가 없는데 있다고 잘못 볼 확률이 다섯 번에 한 번꼴이 된다는 걸 알고 쓰는 겁니다. 문구 교체는 되돌리기 쉬운 결정이라 이 정도 위험은 감수할 만합니다.
숫자를 볼 때 하나 더 확인할 것이 있습니다. 무효클릭이 섞이면 클릭률이 부풀어 보입니다. 특정 문구에만 클릭이 몰렸다면 파워링크 무효클릭 필터링을 먼저 확인합니다.
문구를 새로 쓸 때는 의료광고 기준도 함께 봅니다. 광고 매체에 따라 심의 대상이 되면 문구를 바꿀 때마다 새로 심의를 받아야 할 수 있습니다. 비교 표현이나 보증성 표현은 테스트용이라도 쓸 수 없습니다. 대상 여부는 의료광고 심의 대상과 절차에서 확인할 수 있습니다.
테스트 하나에 몇 주가 걸린다는 걸 받아들이면 1년에 돌릴 수 있는 비교는 많아야 열 번 남짓입니다. 계산보다 오래 고민하게 되는 건 결국 무엇을 먼저 비교하느냐입니다.