시장 지배자들은 A/B 테스트를 “많이" 합니다.

구글, 아마존, 페이스북, 넷플릭스, 마이크로소프트, 부킹닷컴과 같은 글로벌 테크 기업뿐만 아니라 쿠팡과 같은 국내 테크기업 또한 많은 A/B 테스트를 수행하기 위해 자체적인 A/B 테스트 플랫폼을 구축했습니다.

2019년, 구글은 검색 알고리즘 개선을 위해 62,937건의 A/B 테스트를 진행하였고 신규 기능 출시를 위해 17,523건의 A/B 테스트를 진행했습니다. 페이스북, 아마존, 넷플릭스, 마이크로소프트, 부킹닷컴은 동시에 1,000건 이상의 A/B 테스트를 진행하고 있으며, 매년 10,000건 이상의 A/B 테스트를 수행합니다.

마이크로소프트는 A/B 테스트를 통해 검색엔진 Bing에 매월 수십 개의 개선사항을 적용하였으며, 이는 검색당 수익률을 10%에서 25%로 높였습니다. 아마존은 홈 화면에 위치한 신용카드 제안을 장바구니 페이지로 이동하는 A/B 테스트를 통해 연간 수익이 수천만 달러나 증가했습니다. 👉🏻참고

쿠팡 역시 검색/추천로직 고도화, 개선 UX 반영, 신규 기능 출시를 위해 연간 1,000건 이상의 A/B 테스트를 진행하고 있습니다. 필자는 쿠팡에서 결제가 실패한 고객들을 장바구니 페이지가 아닌 결제수단을 선택할 수 있는 화면으로 이동하는 A/B 테스트를 한 적이 있으며, 이 테스트를 통해 해당 고객들의 결제 전환율이 20% 이상 증가했습니다.

‍

‍

A/B 테스트를 왜 하는 걸까요?

넷플릭스는 A/B 테스트를 진행하고 나서 모든 제품 변경사항을 출시합니다. 새로운 경험이 이전보다 낫다는 것을 증명할 수 있는 A/B 테스트 프로세스를 생략하고 배포를 진행한다는 것은 너무 위험부담이 크다고 생각하기 때문입니다. 이미지를 A/B 테스트하여 컨텐츠 시청률이 기존 대비 20~30% 높아지는 예도 있다는 것을 생각해보면 넷플릭스가 왜 가능한 모든 제품 변경에 대해 A/B 테스트를 하는지 이해할 수 있습니다.

부킹닷컴에서 A/B 테스트 플랫폼 개발을 리딩하는 Lukas Vermeer는 A/B 테스트를 하는 이유에 대해 이렇게 말합니다.

• 순전히 가정에 기반한 변경은 제품이 불필요한 변화에 따른 위험을 감당하게 합니다. 우리가 제품에 적용하는 변경사항이 실제로 사용자들의 행동에 기대하는 효과를 보이는지를 확인하는 것은 매우 중요합니다.
• 우리가 할 수 있는 가장 최악의 행동은 지속적으로 우리 제품에 이러한 변경사항을 적용하는 것이고, 의도대로 동작하지 않는 제품 변경이 사용자들을 혼란스럽게 만드는 것 입니다.

경험에 기반한 접근 방식은 제품 변경을 가장 많은 의견, 가장 큰 목소리, 가장 높은 직급을 가진 사람에 의해 주도되는 경향이 있습니다.

하지만, A/B 테스트는 사용자들이 더 선호하는 경험을 실제 데이터로 확인할 수 있으며 이것을 선택함으로써 우리가 제품 변경에 있어 합리적인 의사결정을 할 수 있도록 도와줍니다.

‍

‍

제품 변경사항의 효과를 정확히 측정할 수 있을까요?

소프트웨어 제품을 만드는 많은 기업들은 변경사항을 출시한 이후와 이전의 성과를 비교하는 방식으로 이를 측정하고 있습니다. 하지만, 이 방법은 외부환경의 변화로 인해 제품 변경사항의 영향을 정확히 측정하기 어렵습니다.

가령 우리가 속해있는 산업의 성장 혹은 축소의 영향은 어떻게 가려낼 수 있을까요? (예: COVID-19의 영향으로 이커머스 시장이 성장한 영향이 우리 제품 변경의 영향인 것으로 간주된 것은 아닐까요?) 혹은 계절별 영향이나 매년 바뀌는 규제정책의 영향은 어떻게 가려낼 수 있을까요?

A/B 테스트는 이를 해결할 수 있는 솔루션입니다. 검증하고자 하는 매개변수만 변경하고, n개의 대안을 병렬로 운영하여 어떤 대안이 더 높은 성과를 보이는지 비교할 수 있습니다. 이 때, 외부환경의 변화는 모든 대안에 동일하게 적용되기에 각 대안에 반영된 제품 변경사항의 효과를 정확히 측정할 수 있습니다.

‍

‍

그래도 A/B 테스트가 선택사항일까요?

A/B 테스트를 통해 제품 변경사항의 효과를 숫자로 검증함으로써 스타트업은 제품 변경에 있어 효과적인 의사결정을 할 수 있고 구성원들은 그들의 창의성을 보다 쉽게 제품에 반영할 수 있습니다.

A/B 테스트는 결코 어려운 수단이 아닙니다. 그러나 숫자로 의사결정을 하는 문화를 도입한다는 것은 조직 차원의 노력을 요구하고, 시행착오 역시 요구할 것 입니다. 하지만 그때마다 이 물음에 스스로 답해보면 도움이 되리라 생각합니다.

‍

‍

“지금 쏟아야 하는 노력과 시간, 그리고 직감과 우연에 제품을 맡기는 것 중 어떤 것이 더 아깝다고 생각하시나요?”

핵클은 스타트업이 A/B 테스트를 도입하여 더욱 고객에게 사랑받는 제품을 만들 수 있도록 <Hack the Product> 프로그램을 운영하여 A/B 테스트를 쉽게 도입할 수 있도록 무료 컨설팅 서비스를 제공하고 있습니다.

프로그램의 자세한 커리큘럼과 신청방법은 hack-the-product.hackle.io 에서 확인하실 수 있습니다.

‍