안녕하세요. 핵클 Growth Marketer Zoe입니다.
핵클 고객사 중에는 교육 서비스가 정말 많은데요. 그 중에서도 핵클을 적극적으로 이용해주시고, 슬랙 커뮤니티에서도 활발히 소통해주시는 ‘링글'팀과 인터뷰를 진행했습니다. 링글 팀이 핵클과 함께 A/B테스트와 데이터기반 의사결정의 문화를 정착한 비결, 인터뷰를 통해 알아볼까요?
주연님 : 안녕하세요. Product Designer 박주연이라고 합니다. 주로 핵클을 이용해 A/B테스트를 설계할 때, 어떤 방식으로 visualize 할지에 대해 기획합니다. 기존 안과 대비해서 배치를 바꿀지, 새로 디자인을 할지 등을 결정하고, 결과 데이터를 분석할때도 참여하고 있습니다.
영주님 : 안녕하세요! Frontend 개발자 김영주입니다. 데이터와 프론트 사이에 접목되는 부분에서의 매니징을 하고 있습니다. 그로스를 테크로 풀 수 있는 기술과 해결하는 방식을 고민합니다. 주로 핵클을 이용하며 관련된 거의 모든 개발적인 영역과 마케팅팀에 도움이 될만한 어시스턴트 역할을 하고 있습니다:)
용훈님 : 안녕하세요. 데이터 인텔리전스 팀 정용훈입니다. 링글팀의 데이터를 전반적으로 보고 있어요. 핵클은 다른 회사에서 데이터직무를 맡고계신 지인의 추천을 통해 알게 되었고, 불편함 없이 잘 사용하고 있습니다!
영주님 : 링글은 누구나 영어의 장벽을 넘어 더 큰 기회를 잡을 수 있는 세상을 만듭니다. 링글은 영어라는 본질적인 문제를 해결합니다. 영어는 한국인들에게 평생 따라다니는 숙제이지만, 아무도 아직까지 본질적으로 해결하지 못했습니다.
링글은 고도화된 기술을 통해 영어를 해결하고자 합니다. 학습 효과에 집중하여 고객의 입에서 어떻게 하면 좋은 영어 표현을 나오게 할지, 어떻게 하면 고객이 열광하는 튜터를 모집할 수 있을지, 어떻게 하면 끝나고 남는 게 있는 의미있는 수업을 구성할지, ‘영어 학습’이라는 본질에 집중합니다.
궁극적으로 링글은, 이런 서비스를 통해 영어라는 문제 해결을 가능케 해 고객들에게 더 넓은 세상에서 꿈꿀 수 있는 기회를 제공하는 곳입니다.
주연님 : 데이터기반 서비스로 성장하기 위해 핵클을 도입했습니다. 핵클을 이용하면 데이터를 더 쉽게 수집하고, 저장하고, 분석하고, 시각화할 수 있기 때문에 더욱 정확하고 신속한 의사결정을 내릴 수 있기 때문에 스타트업에서 가장 중요한 ‘속도’의 측면에서 확실한 이점이 있다고 판단했어요. 확실히 다양한 테스트가 쉽고 빠르게 가능하기 때문에 이를 통해 얻는 인사이트가 많았습니다. 기존에는 단기적으로 필요하다고 생각되는 데이터를 그때그때 살펴보는 방식으로 iteration을 했었는데, 핵클을 쓰면서 전체적인 프로세스를 애자일하게 가져갈 수 있었어요. 실험-검증-실험-검증의 체계적인 과정이 핵클도입과 함께 가능해졌고, 앞으로도 이 방식으로 성장해나갈 생각입니다.
영주님 : 페이지 전환율 기준으로 성공적이었던 테스트가 기억에 남네요. 홈 랜딩페이지 리뉴얼을 진행했을 때 핵클의 도움을 받았습니다. 기존 랜딩페이지의 스크롤뎁스가 짧은 편이였는데, 핵클에서 ‘교육 업계는 랜딩페이지가 길때 효율이 더 잘 나오는 경향이 있었다. 링글에서도 테스트 해보면 좋겠다’는 인사이트를 주셔서, 그 가설을 검증하는 테스트를 진행했고, 실제로 결과가 좋았어요. 이런 레퍼런스를 얻을 수 있다는 것도 핵클의 큰 장점 중 하나인 것 같아요!
주연님 : 작게는 CTA 버튼명을 여러가지로 배리에이션하는 테스트부터, 회원가입 직후 웰컴페이지라고 부르는 랜딩페이지 개선 실험 등 다양한 실험을 진행했어요.
특히 기억에 남는 부분은,핵클에서 특정 조건을 설정해서 세부분석을 할 수 있는 기능을 이용해서 안드로이드와 ios에서 전환율 차이가 꽤 있는 지점을 발견했어요. 테스트를 진행할때도 마찬가지로 기기별로 다른 테스트를 할 수 있어서, 특정 모바일 운영체제에서만 실험을 진행했던 부분도 도움이 됐습니다.
무엇보다 새로운 디자인 시안에 대해 논의할때, 핵클로 실험을 해보면 어떤 시안이 더 좋다는 데이터가 확실히 나오니 거기서 얻은 lesson learn을 적용해 다음 시안을 만드는 방식으로 디자인 작업을 할 수 있었고, 시안이 그렇게 나온 이유를 더 설명할 필요가 없어졌습니다. 핵클 대시보드를 다같이 보고 있으니까요!
덕분에 커뮤니케이션 시간을 확실히 줄일 수 있었습니다:)
주연님 : 프로모션을 진행할 때 특히 큰 임팩트를 가져왔던 것 같아요. 프로모션의 특성상 아무래도 시간이 한정적이다보니 빠르게 판단하고 최대한 큰 효율을 내는 것이 성공여부를 결정하는데, 핵클로 테스트를 하니 시간을 훨씬 효율적으로 쓸 수 있었습니다. 모수가 많지 않아도 통계적 유의미성을 알아서 판단해주니, 빠른결정과 next action을 도출할 수 있었거든요!
이처럼 빠른 결정이 필요할 때, 상세 계획에 대한 결정사항들을 합의하는 과정에서 한번 결정하면 돌이킬 수 없다면 신중하게 결정해야하기 때문에 의사결정하는데 시간이 정말 많이 걸릴 수 있는데, 핵클로 A/B테스트를 하면 실제 유저데이터를 보고 금방 판단할 수 있으니까 그럴 필요가 없었습니다. discussion이나 설득에 쓰는 시간을 아껴서 winner그룹을 버전업시키는데 시간을 더 쏟을 수 있기 때문에 좋은 결과가 나올 수밖에 없는 것 같아요:)
영주님 : 테스트를 통해 더 옳은 판단을 할 수 있는 것 같아요. 실제로 실험을 해보니 직감과 다른 결과가 나온 실패사례가 생각보다 꽤 있었습니다. 핵클을 도입하기 이전이라면 직감에 의존한 결정을 내려서 바로 출시하고 손실을 그대로 감당해야했다고 생각하니... 실험을 안할 수가 없었죠. 확실히 실제로 해봐야 실험의 중요성을 느낄 수 있더라구요.
영주님 : 기존 A/B테스트에 있는 파라미터 기능을 원래도 잘 활용하고 있었던 와중에, Remote Config 기능 출시소식을 들었습니다. 마침 핵클을 통해 경험했던 실험-검증-설험-검증의 프로세스를 전사적으로 도입하는 차원에서, 기존에 활용하던 홈화면 뿐만 아니라 프로덕션에도 쓰면 좋겠다고 생각 중이였어서 정말 반가웠죠!
구체적으로 계획하고 있는 사용법을 말씀드리자면, Remote Config를 활용해 광고 맞춤형 랜딩페이지를 노출시켜 마케팅 효율을 높일 수 있을거라 기대하고 있어요.
아예 다른 페이지를 만드는게 아니라, UTM소스와 컨텐츠 기반으로 섹션 순서를 다르게 한다거나, 특정광고를 보고 들어왔을 때 특정 정보를 추가로 노출하는 방식 등의, 비유하자면 레고를 조합하는 형태로 진행할 예정인데요. 이 조합에 대한 페이지를 일일이 개발하자니 리소스가 너무 많이 들어가기 때문에 마케터분들이 자유롭게 활용하실 수 있는 콘솔같은 형태로 만들어야겠다고 생각했고, 그 방법으로써 고객친화적인 UI를 가진 핵클이 다같이 사용하기에 적합하다고 판단했죠.
영주님 : 전체적으로 다른 툴들에 비해 사용하기 편했어요. UI가 사용자의 입장에서 잘 정리되어있다는 인상을 받았습니다. 처음 A/B테스트를 했을 때는 구글 옵티마이즈를 사용했었는데, 아무래도 비주얼에디터 방식이다보니 더 큰 범위의 테스트는 한계가 있더라구요. 반면에 핵클은 웹과 앱 모두에서 사용할 수 있게 다양한 환경에서 쓸 수 있는 SDK를 지원하기 때문에 개발자 입장에서도 편하고 마케터나 디자이너분들도 UI를 보면 따로 학습하지 않아도 금방 사용하실 수 있어요. 본격적으로 A/B테스트를 통해 성장하고 싶다면, 실험 프로세스로 애자일하게 성장하고 싶다면 핵클을 추천합니다!
주연님 : 인하우스로 통계적 분석이 없는 테스트도 해봤는데, 결국 데이터를 믿을 수 있어야 확실한 의사결정이 가능하더라구요. P-value와 베이지안 등 통계적 유의미성도 다각도로 제공하고, 실험결과 데이터도 깔끔하고 편하게 보여져서 대시보드를 보고 의사결정을 할 때 잘 활용할 수 있어요. 이렇게 디테일하고 복잡한 기능들을 한 눈에 들어올 수 있게 디자인적으로 풀어주신걸 보면, 유저들이 편하게 사용할 수 있게 하기 위해 얼마나 많이 고민하셨을지 보이더라구요. 정말 감사히 잘 쓰고 있습니다:)
핵클과 함께 A/B테스트를 시작하면서, 데이터기반 의사결정의 프로세스를 만들어가는 링글, 핵클의 기능들을 알차게 활용해주시며 성장해가는 모습이 인상깊었습니다:)
앞으로 활용할 Remote Config를 통해, 마케팅 성과 지표에도 큰 임팩트를 낼 수 있도록 핵클에서도 지원을 아끼지 않을 계획입니다.
‘영어학습’이라는 본질적인 부분에 집중해서 고객들이 더 큰 꿈을 꿀 수 있게 노력하고 있는 링글, 앞으로도 더 큰 성장을 할 수 있도록 핵클이 응원하겠습니다!
.png)
.jpg)