GA4 퍼널에서 이탈 구간을 찾았다면 다음은 원인을 추정하는 것이 아니라 가능한 가설을 수립 & 검증하는 일입니다. 이 글에서는 GA4 퍼널 분석을 통해 이탈 구간을 파악하고, 핵클 A/B 테스트를 통해 가설을 검증하는 과정과 방법을 짚어봅니다.
마케터가 실무에서 쇼핑몰의 이탈률을 분석하는 상황을 떠올려 보겠습니다.
먼저 GA4 퍼널 탐색에서 view_item → add_to_cart → begin_checkout → purchase 단계를 확인합니다. 상품 상세를 본 사용자는 많은데 장바구니 담기로 넘어가는 비율이 낮습니다. 오랜 논의 끝에 구매 CTA 버튼을 화면 하단에 고정하자는 의견이 나옵니다.
여기서 먼저 확인해야 할 점이 있습니다. 이들이 GA4에서 확인한 것은 이탈이 발생한 구간이지 사용자가 이탈한 이유가 아닙니다. 설사 회의에서 결정된 대로 버튼 위치를 바꾼 뒤 장바구니 담기가 늘었다 하더라도 시즌, 유입 채널이나 함께 진행한 프로모션의 영향을 분리해서 보기가 어렵습니다.
이럴 때 GA4의 퍼널 분석과 핵클에서의 A/B 테스트를 상호보완적으로 활용하면 효용성이 훨씬 극대화됩니다. GA4에서는 개선이 필요한 구간과 사용자를 찾고, 핵클 A/B 테스트에서는 같은 기간의 대조군과 실험군을 비교해 변경안이 목표 지표에 영향을 주었는지 확인할 수 있습니다. 이때 핵클 GTM template과 핵클 SDK를 이용해서 간편하게 원클릭으로 GA4와 핵클을 연동하고 A/B 테스트까지 진행할 수 있습니다. 이 글에서는 GA4로 발견한 이탈 구간을 핵클 A/B 테스트로 개선하는지, 그 구체적인 방법에 대해 설명드립니다.
퍼널 분석을 할 때는 어떤 이벤트들을 활용하여 분석할지를 정해야 합니다. 이때 기간, 퍼널 단계, 단계 사이의 순서와 전환 기간, 개방형·폐쇄형 여부가 달라지면 분석 대상이 되는 사용자도 달라집니다.
커머스 서비스라면 다음과 같이 시작할 수 있습니다.
실제로 GTM에서는 위 이벤트들을 온라인 판매 측정을 위한 권장 이벤트로 안내하고 있습니다. 다만 권장 이벤트가 GTM을 통해 자동으로 수집되는 것은 아니므로, 퍼널을 분석하기 전에 각 이벤트가 실제 화면의 의도한 시점에 한 번씩 발생하는지 확인해야 합니다. purchase가 일부 결제 수단에서 누락되거나 add_to_cart가 중복 발생한다면 분석의 신뢰도가 떨어질 수 있습니다.
GA4 퍼널 분석에서 이탈률이 가장 큰 구간으로 view_item → add_to_cart 를 식별했다고 가정해 보겠습니다. 하지만 view_item은 발생했지만 add_to_cart가 발생하지 않았다는 단편적인 사실만으로는 명확한 이탈 원인을 확정할 수 없습니다. 상품 가격이나 배송 조건을 확인한 뒤 구매하지 않았을 수도 있고, 페이지 오류가 발생했거나 상품이 품절 상태였을 수도 있기 때문입니다. GA4 퍼널 분석만으로는 이 가능성 가운데 하나를 특정하기가 어렵습니다.
이때 필요한 것이 바로 A/B 테스트입니다. A/B 테스트는 특정한 기간동안 실제 사용자를 기존안과 신규안에 노출시킨 후에 각 안이 전환율, 리텐션, 매출 같은 핵심 지표에 미친 영향을 상호 비교하기 위해 고안된 방법론입니다.
실험을 만들기에 앞서 먼저 A/B 테스트의 가설을 세워야 합니다. 가설이란 관찰한 문제를 바탕으로, 특정 대상에게 한 가지 요소를 바꾸면 어떤 측정 지표가 어떻게 달라질지를 검증 가능한 문장으로 정리한 것입니다.
예를 들어 상품 상세가 길고 구매 버튼이 화면 하단에만 있으며, 실제 UI 리뷰에서도 구매 버튼을 찾기 어렵다는 문제가 제기되었다고 가정하겠습니다. 이때 가설은 다음처럼 씁니다.
가설: 상품 상세 하단에 구매 CTA를 고정하면, 기존 화면보다 상품 상세 조회 사용자 중 장바구니 담기를 완료한 사용자 비율이 높아질 것이다.
가설을 세웠다면 A/B 테스트 기획 문서에 문제, 근거 데이터, 가설과 기간을 먼저 적고 대조군·실험군, 대상과 성공 지표를 정의합니다. 위 사례를 적용하면 다음과 같이 정리할 수 있습니다.
성공 지표를 add_to_cart로 정하더라도 구매 관련 지표를 함께 봐야 합니다. 구매 CTA가 장바구니 담기를 늘렸지만 구매 완료로 이어지지 않는다면 버튼 노출만 늘었을 가능성도 검토해야 합니다. 페이지 오류나 로딩 시간처럼 변경 때문에 나빠지면 안 되는 값은 가드레일 지표로 구분합니다.
기획 문서가 정리되면 핵클 대시보드에서 새 A/B 테스트를 만들고 현재 화면을 그룹 A, 하단 고정 CTA 화면을 그룹 B로 등록합니다. 테스트 그룹은 시작하기 전에 확정하고 핵클 SDK를 연결합니다.
그다음 상품 상세를 보는 사용자가 변경안을 처음 만나기 직전에 테스트 그룹이 분배되도록 코드를 적용합니다. 이미 기존 화면을 충분히 본 뒤 그룹을 나누면 두 그룹이 서로 다른 경험을 한 상태에서 비교될 수 있습니다. 특정한 사용자만 대상으로 삼는다면 대시보드의 타겟팅 규칙을 사용할 수 있으며, 이때 운영체제나 기기 속성이 GTM 및 핵클 SDK를 통해 실제로 수집되는지도 확인해야 합니다.
이 과정에서 GTM에서 수집되는 이벤트와 핵클 지표의 정의를 매핑시켜야 합니다. GTM에서 add_to_cart를 수집하고 있다고 하더라도 같은 이벤트가 핵클의 실험 지표에 자동으로 반영되는것은 아닙니다. 같은 이벤트 키를 사용하더라도 핵클 SDK에서 같은 행동을 동일한 시점에 전송해야 합니다.
이때, GA4 이벤트 전송을 GTM으로 관리하고 있다면 GTM 템플릿의 Hackle Browser SDK 템플릿을 활용해서 간편하게 이벤트를 핵클로 전송할 수 있습니다. 이 방식을 통해 특정 이벤트가 발생했을 때 GA4와 핵클에 각각 이벤트를 동일하게 전송할 수 있습니다. 한편, 실제 A/B 테스트 그룹 분배와 변경안 적용은 핵클 SDK의 직접 설치가 필요합니다. GTM 템플릿과 관련된 더 자세한 사항이 궁금하시면 핵클 가이드 문서를 참고해주세요.
핵클의 데이터 분석 탭에서 add_to_cart 사용자 전환율을 성공 지표로, begin_checkout 사용자 전환율을 보조 지표로, purchase 사용자 전환율을 가드레일 지표로 설정할 수 있습니다. 페이지 오류와 로딩 시간도 함께 보려면 핵클에서 계산할 수 있는 이벤트 또는 속성으로 수집하거나 별도의 모니터링 도구에서 같은 기간을 확인합니다.
설정이 끝나면 개발 환경과 내부 테스트 기기에서 사용자 식별자, 그룹별 화면, 목표 이벤트 발생 여부를 확인합니다. 운영 환경에서 테스트를 시작할 때는 노출할 트래픽 비중을 정합니다. 핵클에서는 테스트를 시작한 뒤 트래픽 비중을 높일 수 있지만 이전 값보다 낮출 수 없으므로, 리스크가 있는 변경이라면 적은 비중으로 시작해 점진적으로 늘리는 방식을 권장드립니다.
진행하고 계신 A/B 테스트 화면 하단의 퍼널 탭에서는 그룹별 노출 사용자 수와 목표값, 그룹 A 대비 개선율과 통계 분석 결과를 확인할 수 있습니다.
첫날 그룹 B의 수치가 높게 보이더라도 바로 전체 적용하는 것은 권장드리지 않습니다. 핵클에서는 요일 영향으로 인한 왜곡을 줄이기 위해 최소 1~2주 동안 테스트할 것을 권장드리고 있습니다.
종료 시점에는 결과에 대해 아래 세 가지 경우로 나누어 분석해볼 수 있습니다.
다만, A/B 테스트의 승자가 반드시 최종 결론이 되는 것은 아닙니다. 이는 단지 서비스의 상품 상세를 특정한 실험 대상에게, 특정한 기간 동안, 그룹 B가 그룹 A와 비교해 어떤 결과를 보였는지에 대한 판단입니다. 이후에도 계속 A/B 테스트를 통해 점진적으로 가설을 발전 및 개선시켜 나가야 합니다.
GA4 퍼널 분석에서 주요 이탈 구간을 식별하고, 이를 핵클의 A/B 테스트를 통해 개선시켜 나갈때, 데이터 기반의 성장은 극대화 될 수 있습니다. 핵클에서 A/B 테스트를 설정하는 방법이 더 궁금하시다면 아래 가이드에서 단계별 내용을 확인해 보세요!
.png)
