‍

👉🏻 해당 인터뷰는 2부입니다. 1부는 여기에서 확인하세요.

'게임듀오'는 2019년 설립된 만 3년차 게임 스타트업. ‘매드탱크'를 시작으로 '아처 키우기' ‘닌자대전'등 다양한 장르의 게임을 개발했습니다. 최재원, 송승준 공동대표는 고등학생 동창으로 만나 ‘게임을 만드는 것이 즐거운 사람들'을 모토로 게임듀오를 설립했습니다.

‍

‍

어떤 영역에서 A/B 테스트를 주로 진행하시는지? 소개해주실만한 A/B 테스트 사례가 있나요?

최재원) 아처키우기 튜토리얼을 가지고 실험을 진행해봤어요.
A : 튜토리얼이 간략하게만 나오는 버전
B : 퀘스트에 대해 상세히 안내를 해주는 버전
‍

실험결과 그룹 B의 신규 유저 리텐션이 좋은 것으로 나와서 현재는 B안이 적용된 상태입니다.

‍

‍

실험할 때, 가장 중요하게 보는 목표지표는 무엇인가요?

최윤성) 가장 중요하게 보는 지표는 ARPU예요. 예를 들어, 특정 패키지의 구성변화를 진행할 때, 전체 패키지의 ARPU를 가드레일 지표로 활용합니다. 신규 패키지로 인해 기존 패키지의 ARPU가 하락하는 카니발라이제이션이 발생하면 안되기 때문입니다.

ARPU(Average Revenue Per User)는 '유저당 평균 결제액'으로 전체 매출을 전체 유저수로 나눈 단위당 수익을 말합니다

‍

‍

상호배타 실험과 같은 실험플랫폼에 대한 추가 기능 요청사항이 있었는데요. 상호배타 기능은 왜 필요했나요?

최윤성) 앱 사이클이 짧다보니, 대부분의 실험은 신규 유저를 대상으로 진행하고 있어요. 실험 참여 모수가 적기 때문에 특히 결과 해석에 있어서 정확성이 요구되는데요. 동시에 여러 실험이 진행된 경우, 실험을 해석하는 과정에서 어려움이 있어요. 한 실험이 다른 실험에 영향을 주는 경우가 있어서, 상호배타 기능이 실험 간섭효과를 제거하기에 용이하다고 판단했죠. [👉🏻상호배타적 실험 자세히 알아보기]

저희는 핵클이

1. 상호배타적 실험을 지원한다.
2. 시계열 데이터를 손쉽게 볼 수 있다.

라는 것 때문에 핵클을 도입하기로 했어요. 막상 도입을 하고보니 리소스가 크게 절약되고 팀원에게 결과를 공유하기 편하다는 예상치 못한 베네핏들이 있었는데요.

‍

이전에는 데이터 접근 권한이 없거나, SQL을 다뤄보지 않은 팀원들은 스스로 A/B 테스트 결과를 확인하거나 이해하기 어려웠어요. 그러나 핵클을 통해서는 간단한 조작법, 대시보드 사용법을 익히면 모두가 의사결정에 참여할 수 있다는게 정말 큰 강점인 것 같아요. 상호배타 기능이 3분기에 업데이트 되더라도, 우리가 충분히 기다리면서 사용해봐도 좋겠다라는 생각을 했죠. [상호배타적 실험이 업데이트 되었습니다! 👉🏻자세히 알아보기]

 

‍

지금까지 한 실험 외에 핵클에서 더 하고싶은 실험이나 활용하고 싶은 기능은 어떤 것이 있나요?

최재원) 인게임 레벨링 테스트는 꼭 하고 싶은 테스트인데, 아직 거기까진 못한 상황이예요. 가령,

• 스테이지 보스가 얼마나 어려워야하나?
• 난이도가 1~10일 때, 유저가 어떤 레벨에서 가장 흥미를 느끼고, 결과적으로 LTV(고객 생애 가치)가 높아질까?

이런 고민들을 실험으로 검증해보고 싶어요. 향후 핵클에서 ML을 통해서, 수치를 정해주고, 최적값을 찾아주면 좋겠어요!

‍

‍

A/B테스트를 통해 얻은 조직 내 인사이트가 있다면?‍

최재원) 가장 중요한 배움은 개발자의 시선과 유저의 시선은 다르다는 것입니다. A/B 테스트가 그 간극을 메워주는 도구라고 생각해요. 이커머스 회사와는 상황이 조금 다를 수 있는데, 우리 서비스의 경우엔 핵클을 포함해서 실험할 때마다 느끼는 거지만 실험군 간의 매출 상승폭이 굉장히 큽니다.  ARPU가 10% 증가한다는 것은 사실 임팩트가 굉장히 큰데요. 제 직관만으로 실험없이 진행했다면, 혹은 A/B 테스트를 프로덕트 개발 후반부에 진행했다면, 이 만큼의 매출을 날려버렸겠죠.

‍

 두 번째는, 국가별 유저들의 특성이 매우 다르다는 것입니다. 핵클에서 국가별 통계를 제공하고 있어서, 예상하지 못한 인사이트들을 많이 얻을 수 있었습니다. 국가별로 베이스 콘텐츠를 다르게 기획하고 적용하는 것도 계획 중에 있습니다.  

‍
‍

마지막으로 하고 싶으신 말

최재원) A/B 테스트는 성과가 한 눈에 보이고, 피드백이 빠르게 이루어지다보니, 이에 대해 더 흥미를 느끼고 열심히 하게 되는 것 같아요. ARPU의 10%의 변화는 매출로 따지면 작게는 수천만원, 월단위로 보면 억단위의 성과로 연결됩니다. 특히 테스트는 누적된 성과로 이어지다보니, 빠르게 J커브를 그릴 수 있게 됩니다.

A/B 테스트를 해야되는 이유 중에 하나는 게임의 수치가 안 좋아질 수 없다는 확신도 있습니다. 실험을 통해 개발한 것을 날릴 수는 있을지언정, 우리 전체 게임이 안좋아질 수는 없다고 생각해요. 직관에 의존해서 의사결정을 진행하다보면, 어느 순간 게임이 안좋아지는 상황이 발생할 수 있는데, 이런 경우를 방지할 수 있죠. 많은 게임회사에서 핵클을 사용했으면 좋겠어요! 그렇게 되면 핵클이 게임회사들을 위한 좋은 기능들을 더 많이 개발해주시지 않을까 기대해요.

‍

• 실제 게임듀오가 A/B 테스트 툴로 핵클을 사용하게 된 이유를 게임듀오 인터뷰 1부에서 확인해보세요.
• 지금 바로 무료로 시작해보세요! 핵클은 스타트업 무료플랜을 제공합니다.
• 📩 핵클에 대해 궁금하신게 있다면? 간편하게 데모 신청해주세요!

‍