안녕하세요. 핵클 프로덕트 디자이너 Jackie입니다.
얼마전 핵클의 A/B 테스트 노하우를 바탕으로 마케터분들을 위해 간편한 설정으로 사용자들의 반응을 빠르게 확인해볼 수 있는 인앱 메시지 A/B 테스트 기능을 출시했습니다.
우리가 만든 신규 기능, 어떻게 고객들에게 알려드리면 좋을까? 고민하다 우리가 만든 기능 우리가 써보자! 라는 결심을 가지고 A/B 테스트를 진행하기로 하였습니다. 이번 글에서는 저희가 직접 만든 기능으로 사용자분들을 대상으로 A/B 테스트를 진행하고, 궁금한 데이터를 직접 찾아본 생생한 경험담을 들려드릴게요.
B2B 프로덕트의 특성상 여러 직군의 사용자들이 대시보드에 진입합니다. 따라서 단순히 신규 기능만을 앞세운 문구로는 쉽게 사용자의 마음을 움직이기 어려울 것이라고 생각했습니다. 다양한 주제의 메시지를 노출하여 반응이 좋은 메시지를 찾아보고자 했습니다.
효과적인 메시지 내용을 찾아내는 것이 이번 실험의 목적이었기 때문에 배경 색상, 이미지 등은 유지하고 사용자의 반응을 확인하고자 하는 문구를 강조하여 총 3개의 시안을 준비하였습니다.
다음과 같이 메시지를 설정하고, 핵클 대시보드 홈 화면을 보게되는 모든 사용자를 대상으로 인앱 메시지를 노출하기로 하였습니다.
많은 분들이 A/B 테스트를 진행하며 유의미한 데이터가 무엇인지, 언제 테스트를 종료할 수 있을지에 대한 고민이 많을것 같은데요, 인앱 메시지 A/B 테스트에서는 트래픽 분배 유형으로 자동 분배 (MAB 테스트*) 를 제공하고 있습니다. 이를 통해 별도의 설정이나 조작없이 테스트 시작후 전환율이 더 높은 메시지가 더 많은 사용자에게 노출됩니다!
*MAB 테스트란? 그룹별 트래픽을 자동으로 조정하여 성공지표를 가장 극대화할 수 있는 방향으로 진행되는 실험 방식입니다.
상세 페이지의 A/B 테스트 영역에서 매시간 각 그룹의 트래픽이 자동으로 분배되는 모습을 직접 확인할 수 있었습니다. 데이터를 살펴보니 그룹 B의 전환율이 가장 높았으며 며칠동안 그룹 A,B,C의 접전 끝에 B의 트래픽이 더 많이 분배되었습니다. 이후 데이터를 바탕으로 그룹 B를 Winner로 선정하고 테스트를 종료하였습니다.
이번 인앱 메시지 A/B 테스트를 통해 사용자들은 간편한 설정을 강조한 메시지를 더 선호한다는 것을 확인할 수 있었습니다.
인앱 메시지의 [지금 보러 가기]를 클릭한 사용자 중 실제로 인앱 메시지를 생성한 사용자의 비율은?
통계 영역의 상세 성과 분석하기를 클릭하여 퍼널 뷰로 인앱 메시지에 노출된 사용자의 전환율을 확인해보니 전체 인앱 메시지 캠페인의 전환율이 기대보다 낮아 아쉬움이 있었습니다.
데이터를 살펴보다보니 문득 제가 설정한 인앱 메시지를 본 사용자들에 대해 궁금해졌습니다. 집념의 디자이너는 핵클의 데이터 분석을 활용하여 사용자 데이터를 샅샅이 살펴보기 시작했습니다.
인앱 메시지를 본 사용자들은 모두 어디로 갔을까?
유저 패스를 활용하여 사용자들의 이동 경로를 파악해보았습니다. 테스트 진행 기간 동안 인앱 메시지에 반응한 사용자들은 A/B 테스트와 데이터 리포트를 확인하러 갔군요.
인앱 메시지 A/B 테스트를 통해 간편한 세팅으로 고객의 반응을 더 빠르게 확인해볼 수 있었어요. 데이터를 빨리 확인할 수 있고, 해석의 번거로움도 줄어드니 더 빠른 iteration을 통해 여러 가설을 검증해 볼 수 있어 직군에 상관없이 핵클 팀에서도 출시후 지금까지도 신규 기능 출시나 공지사항 등 고객과 서비스 내에서 커뮤니케이션하는 툴로 다양하게 활용하고 있습니다.
이 외에도 핵클의 여러 기능을 활용한 팁들을 공유하고 있어요. 데이터 분석을 통해 사용자 행동 데이터에 숨은 인사이트를 찾고, 맞춤형 CRM 마케팅을 통해 서비스 전환율을 높여보세요!
인앱 메시지 A/B 테스트로 전환율을 끌어올리고 싶으시다면? 핵클이 추천하는 전환율 10X 늘리기 바로가기 >
.png)
