가설을 가지고 프로덕트 개선을 검증을 할 수 있는 정교한 A/B 테스트를 해보고 싶었습니다. 핵클을 통해 적은 리소스로 빠르게 혁신을 축적해나갈 수 있어요!
👉🏻 해당 인터뷰는 2부입니다. 1부는 여기에서 확인하세요.
팀스파르타는 국내에서 가장 빠르게 성장하고 있는 에듀테크 스타트업 중 하나로 온라인 종합 코딩 교육 플랫폼을 제공하고 있습니다.
창업 2년만에 매출 100억을 달성하고, 이후 130억 시리즈A 투자까지 유치한 스파르타 코딩클럽. 황순영 팀스파르타 CMO님은 서비스가 이처럼 빠르게 성장할 수 있었던 비결로 제품 주도 성장을 꼽았습니다. 인터뷰를 통해 더 자세한 내용을 확인해보세요.
핵클은 쿠팡에서 초기 실험 조직을 만든 시니어 PO, 시니어 엔지니어들이 만든 회사인 만큼, 핵클을 사용한다는 것은 A/B 테스트의 좋은 사례(best practice)를 접하고 관련 도메인 지식을 한 번에 훔칠 수 있는 기회라고 생각합니다.
더불어, 핵클은 대시보드가 고객 관점에서 잘 만들어져있다고 생각합니다. 구글 옵티마이즈도 베이지안을 지원해주긴 했지만, 핵클은 빈도주의(p-value)를 추가적으로 제공함으로써 성공 지표(success metric)를 직관적으로 확인할 수 있도록 도와주고 있습니다. 핵클은 쿠팡에서 수백건의 A/B 테스트를 직접 진행하며, 다양한 관점에서 결과를 해석하고 의사결정을 한 경험이 있는 멤버들이 만들었잖아요? 대시보드에서 확인가능한 정보(빈도주의, 베이지안 등)들은 이런 멤버들이 큐레이션해주는 것인 만큼, 실험의 결과에 대한 winning 판단을 내리는데 큰 도움이 되었습니다.
* 베이지안 확률이란, 종속적 관계에 놓인 사건들을 기반으로 구하는 조건부 확률을 의미합니다. 유저수가 충분치 않아 빈도주의(p-value)를 통해 통계적으로 유의미한 결과를 얻기 어려운 경우 베이지안 확률을 참고하여 의사결정을 할 수 있습니다.
구글 옵티마이즈는 세션 기반이어서 정확한 데이터 확인이 어렵다는 점에서 아쉬웠습니다. 핵클은 디바이스 기준으로 유저를 식별할 수 있고, 유저 ID까지 할당한 회원 대상으로 하는 실험에서는 더 정교한 실험이 가능하다는 점이 좋았습니다. 그리고 옵티마이즈는 시작한 실험이 서비스에 적용되기까지 반나절 정도의 시간이 걸렸는데, 핵클에서는 변경사항이 실시간으로 서비스에 적용된다는 점도 좋았습니다.
당시, 옵티마이즐리, VWO, 옵티마이즈 이렇게 비교해봤는데요. 우선 옵티마이즐리의 경우 가격이 너무 비쌌어요. 그 가격을 지불할 정도로 확신할 수 없었습니다. 반면, 핵클은 사용량 기반으로 과금되기 때문에, 작은 규모의 스타트업도 부담없이 사용해볼 수 있었어요.
옵티마이즈는 싱글 랜딩 페이지를 최적화하는데 초점을 두고 있는데, 제대로 된 가설을 끝까지 밀어부칠 수 있는 프로덕트 A/B 테스팅 솔루션은 아니라고 생각했습니다. 카피라이팅, CTA 등을 테스트하는 것까지는 가능했지만 깊은 배움을 얻기에는 부족했죠. 제대로 된 가설을 가지고 가설을 검증을 할 수 있는 정교한 A/B 테스트를 해보고 싶었습니다.
핵클은 수 많은 A/B 테스트를 경험해 본 쿠팡 출신의 파운더들이 만들었다는 점이 매력적입니다. 사실 이러한 테스트는 데이터의 정확성이 안 맞으면 모든 가설이 무너지는 것인만큼, 데이터 정확성에 대한 신뢰가 중요한데요. 파운더들의 경력과 실력을 봤을 때 믿음이 갔고, 특히 우리가 초기 고객이면 더 많은 지원을 받을 수 있을 것이라고 생각했습니다. 실제로 핵클의 개선 방향성을 볼 때, 저희가 쓰기 좋은 프로덕트가 되어가고 있다고 느끼고 있습니다. 핵클은 고객의 목소리를 잘 듣고 빠르게 반영하는 팀이라고 생각합니다.
고객 구매 여정의 서비스 핵심 경로(Critical path)에 있는 경우에는 대부분 실험을 통해서 검증하고 있습니다. Critical path는 제품에 있어서 흔들리면 안되는 척추와 같다고 생각합니다. 따라서, Critical path에서 새로운 것을 할 때는 반드시 A/B 테스트를 하는 편입니다.
핵클을 통해 <리뷰가 구매에 미치는 영향을 검증>하는 실험을 진행했습니다. 해당 테스트를 통해 검증하고자 했던 가설은, ‘수강생 후기 디자인을 개선하고 후기가 더 잘 보이도록 페이지 하단에서 상단으로 위치를 이동하면 더 많은 사용자들이 강의를 구매할 것이다.’ 였습니다. 새로운 디자인이 기존 디자인보다 시각적으로 눈에 잘 띄지만, 놀랍게도 새로운 디자인을 본 사용자들의 구매전환율이 50% 가량 낮았습니다. 현재 디자인을 페이지 상단에 노출한 것과 비교를 했을 때도, 상단에 노출한 후기를 본 사용자들의 구매전환율이 약 5% 정도 낮았습니다. 기존안을 그대로 유지하는 것으로 결정했었죠.
또 다른 실험으로는 <Critical path에서 퍼널을 빼는 것이 구매에 미치는 영향을 검증> 해 본 적이 있어요. 3단계에서 4단계로 가는 과정의 전환율이 50%밖에 안 돼서 2가지의 단계를 합치면, 전체 전환율이 올라갈 거라고 예상했었습니다. 놀랍게도, 기대와는 달리 3~40%가 빠졌습니다. 각 페이지와 후속 사이에 일관성이 존재하는데, 극단적으로 이를 없앴기 때문에 고객경험과 UX 라이팅이 망가지는 결과를 가져온 것이었습니다. 바로 다시 기존안으로 바꿨죠! 이 실험을 통해 각 퍼널에서 바라는 고객기대행동과 이를 충족시키기위한 좋은 메시지를 던지는게 필요하다는 것을 배웠습니다.
적은 리소스로 빠르게 혁신을 축적해나갈 수 있었다는 점인데요. 이전에는 많은 리소스가 투입되고 속도가 느려질 수 있다는 점 때문에 실험을 한다는 것은 부담스러운 결정이었죠. 당시에는 전/후 지표를 주시하고 문제가 있을 경우 롤백을 하는 식으로 진행하곤 했었습니다. 핵클 도입 이후, Critical path에 해당하는 부분에 대해서는 확실한 실험으로 점검한 후 진행할 수 있어서 좋았습니다. 인하우스에서 직접 개발해서 A/B 테스트를 진행할 때와 비교했을 때는 확실히 속도가 빨라진 편입니다.
더불어, 가설이 틀릴 수 있다는 생각을 더더욱 갖게 되었다는 점입니다. 핵클을 도입하면서 가설이 완전히 깨지는 경험들을 많이 했습니다. 정말 좋았습니다. 강한 확신을 가지고 있고, 논리도 말이 되고, 기존에 축적된 데이터를 바탕으로 이건 winning 할거라고 확신했던 것들이 losing 한적이 꽤 많았습니다. A/B 테스트를 하지 않았다면, 그리고 마케팅의 효과나 시즈널한 이슈랑 맞물려서 전체 메트릭이 올라갔다면, 분명히 착각했을 겁니다. 테스트를 함으로써 내가 틀렸다는 것을 발견할 수 있어서 좋았고, 쓰던 초기에는 굉장히 놀라운 경험이 많았어요.
저희가 직면한 과제는 늘 그렇듯 더 좋은 고객경험인데요. 고객들로 하여금 더 와우한 경험을 줄 수있을까? 그래서 더 진정성 넘치는 방향으로 프로덕트가 나아가고, 우리의 솔루션을 사용함으로써 고객이 더 큰 효용을 느끼도록 만들고 싶습니다. 압도적인 수준의 고객 경험을 제공해서 고객과 회사가 함께 성장하려고 합니다.
창업 2년만에 연 매출 100억을 조금 넘겼는데요. 올해가 다시 한번 크기 위한 중요한 해라고 판단하고 있습니다. “누구나 큰 일 낼 수 있게” 소프트웨어 역량을 효과적으로 보급하고 소프트웨어 역량을 갖춘 이들이 계속해서 성장하려면 우리도 더더욱 큰 회사가 되어야 할 거라고 생각합니다. 올해는 코딩교육을 확실히 넘어, SW 메이커들에게 다양한 가치를 제공하는 회사로 거듭날 것입니다.
팀스파르타는 이 시장에서 가장 빠르게 성장한 팀입니다. 그렇지만 가장 자랑하고 싶은 것은 이러한 수치적인 성장세가 아닌 이러한 성장세를 일구어낸 바탕이 된 팀의 문화인데요. 늘 문화를 고민하고 있고, 조직 문화를 바탕으로 핵심 가치에 의거해서 일하고 있습니다. 앞으로 더욱 좋은 문화, 더욱 좋은 조직, 더욱 크고 멋진 회사가 되기 위해 끊임없이 노력하려하구요. 이러한 여정을 함께할 분들을 모시고 싶습니다. 지금까지의 성과를 불과 30명의 인원으로 이루어낸 것이 더욱 자랑스럽기도 한데요, 그만큼 한 분 한 분의 시간과 성장을 귀하게 여기고 있어요. 아래에 티타임을 신청해주시면, 찾아뵙고 회사를 소개드리고자 하니 많은 관심 부탁드리겠습니다.
.png)
