A/B 테스트
A/B Testing
A/B 테스트란?
- A안·B안을 무작위로 나눠 보여주고 성과를 비교
- '감'이 아니라 데이터로 더 나은 버전 결정
- 한 번에 하나만 바꾸고 충분한 표본이 원칙
A/B 테스트가 바꾸는 것은 화면이 아니라 회의실 분위기입니다. '제 생각엔 파란 버튼이 낫습니다' 하고 목소리 큰 사람이 이기던 자리가, 2주 뒤 숫자를 들고 다시 모이는 자리로 바뀝니다. 더 큰 효용은 마케터가 틀릴 권리를 확보한다는 점입니다. B안이 져도 '이 방향은 아니다'라는 확정 정보가 남기 때문에, 떨어진 안도 다음 실험의 밑천으로 쌓입니다. 연 40회를 돌리는 팀과 분기에 한 번 전면 개편하는 팀의 격차는 여기서 벌어집니다.
설계에서 먼저 정할 것은 표본과 기간입니다. 전환율 2%를 3%로 올리는 차이를 유의수준 95%, 검정력 80%로 잡으려면 그룹당 대략 2천~3천 명이 필요합니다. 월 방문 5천 명인 B2B 사이트라면 테스트 한 번에 한 달이 걸린다는 뜻입니다. 그래서 실무에서는 최종 문의 대신 자료 다운로드·가격 페이지 도달 같은 마이크로 전환을 1차 지표로 쓰고, 요일별 편차를 흡수하도록 최소 2주는 끊지 않고 돌립니다. 요소를 동시에 여러 개 바꾸는 다변량 테스트는 조합 수만큼 표본이 더 필요해 트래픽이 적은 회사에는 맞지 않습니다.
자주 혼동되는 것이 '개편 전후 비교'입니다. 지난달 대비 이번 달 전환율이 올랐다는 식의 비교는 시즌, 광고 집행량, 경쟁사 이슈가 뒤섞여 원인을 가릴 수 없습니다. 같은 기간의 트래픽을 무작위로 쪼개는 것이 A/B의 본질이고, 그래서 전후 비교와는 신뢰도가 다릅니다. 반면 이기는 쪽에 트래픽을 점점 몰아주는 밴딧 방식은 단기 캠페인 배너에는 유리하지만 '왜 이겼는가'를 남기지 못해 학습 축적에는 불리합니다.
현장에서 가장 흔한 사고는 중간에 들여다보고 멈추는 것입니다. 3일 차에 B안이 앞선다고 종료해 버리면, 표본이 더 쌓였을 때 뒤집혔을 차이를 승리로 굳히게 됩니다. 유의하다는 말과 돈이 된다는 말은 다릅니다. 클릭률이 12% 올라도 그 유입이 계약으로 이어지지 않으면 영업팀의 헛된 검증 시간만 늘어납니다. 버튼 색과 문구 미세 조정을 반복하다 제안 자체가 약하다는 진짜 문제를 반년 동안 못 보는 경우도 잦습니다.
통계학의 대조 실험(A/B) 원리를 웹·마케팅에 적용한 것으로, 디지털 실험 도구의 발전과 함께 표준 방법이 됐습니다.
가상의 사례로 살펴보겠습니다. 임직원 90명, 연매출 130억 원 규모의 산업용 센서 제조사 A사 이야기입니다. 제품 페이지에 월 4,200명이 들어오는데 견적 문의는 28건(0.67%)에 그쳤습니다. 마케팅팀은 '헤드라인이 스펙만 나열해서다'와 '가격이 없어서다'로 갈려 두 달째 제자리였습니다.
- 김 팀장이 "회의로는 안 끝납니다, 4주만 돌려보죠"라며 헤드라인 한 줄만 바꾼 두 버전을 만들었습니다. A는 '3축 고정밀 센서 시스템', B는 '설비 정지시간 30% 감소'였습니다.
- 데이터 담당 이 대리가 그룹당 2,100명, 전환 40건이 쌓일 때까지 멈추지 않기로 못 박고 종료일을 달력에 고정했습니다. '2주 차에 결과 묻지 않기'도 팀 규칙으로 걸었습니다.
- 월 28건뿐인 견적 문의로는 차이를 잡을 수 없어 1차 지표를 카탈로그 다운로드로 바꿨고, 영업 박 부장의 "다운로드만 늘면 우리만 고생합니다"라는 말에 문의 건수와 상담 유효율을 보조 지표로 붙였습니다.
- 10일 차에 B가 앞서자 대표가 "그냥 B로 갑시다"라고 했지만, 김 팀장이 "지금 멈추면 뒤집힙니다"라며 예정일까지 끌었고 실제로 15일 차에 격차가 절반으로 줄었습니다.
- 4주 뒤 다운로드 전환율은 3.1%에서 4.4%로 올랐고, 견적 문의는 월 28건에서 41건으로 늘었으며 상담 유효율은 61%에서 64%로 유지됐습니다. 팀은 가격 공개 여부를 2차 테스트 주제로 잡았습니다.
- 방문·표본이 충분히 많을 때
- 한 요소의 효과를 명확히 검증할 때
- 전환율 개선 여지가 있을 때
- 트래픽이 적어 통계가 안 나올 때
- 여러 요소를 동시에 바꿔야 할 때
- 빠른 결단이 더 중요한 초기