MAU가 150만, DAU도 50만이 넘는 글로벌 커플 다이어리앱 썸원의 운영사 모니모니는 연인의 사랑을 측정하기 위해 어떤 지표들을 보고 있을까요?
모니모니에 핵클 데이터 사이언티스트 팀이 방문했습니다.
핵클을 통해 데이터 기반 의사결정을 위한 분석과 A/B 테스트를 본격적으로 시작하신 모니모니의 성공적인 온보딩을 위한 데이터 분석 세션을 진행하기 위함이었는데요,
핵클의 데이터 사이언티스트 Wonder님이 비즈니스 의사 결정에 데이터를 이제 막 활용하기 시작하신 모니모니의 상황에 맞춘 세션을 준비 했습니다.
.jpg)
모니모니에서 가장 중요하게 생각하는 지표는 무엇인가요?
Wonder님의 질문으로 세션이 시작 되었습니다. 모니모니 대표님은 “리텐션을 가장 중요하게 보고 있고, 특정 기능이 사용자의 리텐션에 얼마나 영향을 끼치는지 핵클의 데이터 인사이트 기능을 통해 확인하고 싶다”라고 답변을 해주셨고요. 이미 MAU 150만, DAU 50~60만인 썸원 서비스를 운영하고 있다면 당연히 리텐션을 중요하게 생각하고 있다는 것을 알고 있으셨을 텐데 Wonder님은 왜 이런 질문을 하셨던 걸까요?
그 이유는 오늘 세션에서 “좋은 지표란 무엇인지 설명을 드릴 건데 지금 모니모니에서 보고 있는 지표가 이런 좋은 지표에 속하고 있는지 우리가 좀 더 좋은 지표 우리 서비스에 맞는 지표는 어떻게 발굴하고, 개선해야 될지 생각하면서 들으시면 더 좋을 것 같아서 여쭤봤다”고 합니다.
지표 모델을 설계할 때 고려해야 할 사항들
지표는 크게 두가지로 구분 됩니다.
Output metric은 결과론적인 지표를 말합니다. 예를 들면 매출, 활성 사용자와 같은 지표들인데요. 이 지표들의 특징은 다수의 세부 metric을 포괄하고 있고, 직접적으로 통제를 하기가 어렵다는 것입니다. Output metric 통제가 어렵다면 비즈니스 지표를 사람의 힘으로 개선할 방법이 없다는 뜻일까요? 아닙니다. Output metric을 구성하는 세부 metric들인 Input metric을 개선하면 됩니다. Input metric은 간단하게 말하면 Output metric에 기여할 수 있는 지표들 입니다.
예를 들어 보겠습니다. Output metric을 쉽게 상상할 수 있는 커머스의 매출이라고 하면 이것에 대한 Input metric으로는 어떤 것이 있을까요? 구매 전환율 (CVR)과 평균 주문 금액 (AOV) 같은 것들이 증가하면 매출이 올라가겠죠? 매출을 우리가 바로 올린다고 생각하면 무엇을 할 수 있을까? 와 같이 Output metric 기준으로 질문을 하면 너무 포괄적이어서 어려운 질문이 될 수 있는데, 어떻게 하면 구매전환율을 올릴 수 있을까? 어떻게 하면 평균 주문금액을 올릴 수 있을까? 처럼 Input metric을 기준으로 질문을 바꿀 경우 답을 하기 좀 더 수월해 집니다. 처음에는 어렵겠지만 Output Metric에 영향을 미치는 Input Metrics, 우리가 서비스를 통해 직접 통제할 수 있는 지표를 계층적으로 생각하고 탐색하는 작업은 매우 중요합니다.
.png)
2) Vanity metric (허상지표) vs Actionable metric (실행가능지표)
Vanity metric은 그럴싸해 보이지만 정작 비즈니스의 미래 전략을 결정하는 데에는 도움이 되지 않는 지표 입니다.
예를 들면 시간의 흐름과 특정 페이지의 뷰(PV) 수가 비례하여 증가한다고 가정해 봅니다. 단편적으로만 지표를 모니터 할 경우 PV의 증가세만 보고 “사용자들이 서비스를 잘 쓰고 있고, 서비스가 성장하고 있다” 라고 잘못된 결론을 내리게 될 수 있습니다. 정작 비즈니스의 목표인 “매출”은 정체 하는데도 말이죠. 이런 경우 PV는 "Vanity metric" 라고 볼 수 있습니다.
때때로 기업들은 Vanity metric 이용하기도 합니다. 플랫폼 서비스들이 “MAU n백만 돌파했다”자랑하는 기사를 종종 보셨을 겁니다. 회사의 빠른 성장이나 건재함을 강조하고 싶을 때 발행하는 종류의 기사들인데요, MAU를 이야기할 때 중요한 건 절대적인 숫자가 아니고, 전체 사용자의 몇 퍼센트가 활성 사용자인지 비중을 따져보는 것이 중요합니다. Vanity metric 에 현혹되시면 안됩니다.
우리가 지표를 볼 때 Vanity metric 대신에 Actionable metric 을 찾는 게 중요한데요. 이름에서도 알 수 있다시피 의사 결정을 내리는 데 도움이 되는 지표라고 할 수 있습니다. 같은 지표라도 Vanity metric 될 수도 때론 Actionable metric 될 수도 있습니다. 예를 들어 DAU 라는 지표는 크게 줄어들거나 감소할 수 있는데, 이때 내가 여기서 무슨 행동을 하면 이것을 움직일 수 있을까? 라고 질문해 봤을 때 답을 모르겠다면 그 지표는 Vanity metric 입니다. 하지만 DAU가 올랐을 때, 오른 원인을 정확히 파악하여 다른 시점에 똑같이 활용함으로써 상승폭을 다시 한번 만들어 낼 수 있다면 이것은 Actionable metric이 됩니다.
핵클 데이터 사이언티스트가 추천하는 모니모니 핵심 지표
커플들이 썸원에 푹 빠진 핵심 기능이 하루에 한번 생성되는 질문 이라고 합니다. 그런 만큼 커플들이 좋아하는 질문을 만들어 내는 것이 중요하겠지요? 질문별로 질문이 커플들에게 제공되고 답변이 생성되는 전환율을 또한 중요할 거에요. 그리고 CEO님이 특정 기능이 리텐션에 얼마나 영향을 끼치는지 핵클을 통해 확인하고 싶다고 하셨는데 Wonder 님도 세션을 준비하면서 텔레파시가 통했던 것인지 이 부분까지 포함 하셨답니다.
마지막으로 모니모니에서 추가로 확인하고 싶으신 지표가 있으신지 들어보고, 솔루션을 제공하는 Q&A 시간을 가졌습니다.
[Question #1] 커플끼리 반려몽을 키울 수 있는데 반려몽이 알에서 태어나 성장하는데 속도가 더딘 편입니다. 향후에 반려몽 성장속도에 변화를 주는 실험을 하고, 이 성장 속도에 따라 커플들의 리텐션이 얼마나 달라지는지 확인하고 싶습니다.
[DS Solution] 핵클의 실험 기능을 통해 실험 그룹 단위로 성장속도를 다르게 설정해 개별 그룹들의 리텐션에 어떤 영향을 미치는지 확인하실 수 있습니다. 게임 고객사에서 유사하게 게임 레벨이 올라가는 속도가 유저들의 활성화에 어떤 영향을 미치는지 확인하는 실험을 이미 많이 하고 있습니다.
[Question #2] 지금 썸원에서는 질문을 하루에 한개만 제공하고, 질문에 답변을 커플 2인이 모두 하지 않으면 새로운 질문을 제공하지 않는 상황에서 질문답변 리텐션을 개선하는 것을 목표로 하는 실험을 할 때 그룹간 리텐션이 얼마나 차이가 있는지 보려면 30일+ 실험 기간이 길어지는 것이 우려 됩니다.
[DS Solution] 썸원의 경우 DAU가 굉장히 높게 꾸준히 유지되고, 재방문 비율도 그 어떤 서비스보다 높은 상황이기 떄문에 서비스 전체 트래픽을 대상으로 오랜 실험을 하기 보다는, 일부 트래픽만을 활용해 장기적으로 실험하는 것을 추천 합니다. 실험과 분석 하는 과정 중에 궁금한 것이나 고민이 되는 포인트들은 언제든 핵클 공식 슬랙에서 질문 주시면 2시간 이내에 답변 해드리니 부담 없이 언제든 질문 주세요.
.png)
.jpg)