✔ 본 포스팅에서는 지난 12월 진행되었던 A/B 테스트 원서 스터디 후기를 전합니다.
✔ 핵클에서는 향후에도 데이터 기반 제품 개발을 주제로 하는 스터디, 북클럽을 운영할 예정입니다. 포스팅 하단에 안내된 ‘A/B 테스트 실무자 커뮤니티‘에서 관련 내용 확인하세요!
핵클 신규 입사자라면 한 번쯤 거쳐야 하는 관문이 있다는 사실을 알고 계셨나요? 바로 2020년 4월, 출시와 동시에 A/B 테스트 교과서로 등극한 Trustworthy Online Controlled Experiments — A Practical Guide to A/B Testing (a.k.a 하마책) 원서 스터디입니다.
핵클 플랫폼에서 제공하는 주요 기능 중 하나가 A/B 테스트이다보니, 개발, 디자인, 비즈니스 전 직군에 걸쳐 A/B 테스트의 이론적 배경을 이해하고 실제 사례들을 접하는 것이 많은 도움이 되기 때문인데요. (굳이 원서로 스터디를 하는 이유는… 번역본이 아직 출시되지 않았기 때문입니다 😇)
신규 입사자 몇 명이 모여 소소한 스터디를 진행한 적도, 다양한 기업의 PM/PO/마케팅 부서에서 A/B 테스트 실무를 담당하고 계신 분들과 대대적인 스터디를 진행한 적도 있었는데요. 1년 반 남짓한 기간동안 무려 4회에 걸친 스터디를 진행하다보니, 이 책에 대한 핵클 조직의 이해도는 탄탄해져갔습니다.
이러한 배경에서 2021년 하반기, 각각 UX 디자인, 사업개발, 마케팅 직군으로 핵클에 입사한 Jackie, Sophie, Holly 3인의 스터디 미션이 시작되었습니다. 이번 포스팅에서는 핵클이 참여한 다섯번째 하마책 스터디 후기를 전하고자 합니다.
신규 입사자들의 스터디 미션이 시작될 무렵, 마침 핵클에서는 힙서비 커뮤니티와 함께 ‘힙한 데이터의 비밀 (힙데비)’ 챌린지를 주관하고 있었습니다. 힙데비에는 데이터를 통해 프로덕트를 성장시키는 방법을 배우고 싶었던 수백 명의 잠재적 동지들이 있었는데요! 그 중 A/B 테스트 공부에 뜻을 둔 분들이 계시지 않을까 하는 생각에 스터디원 모집 공지를 올려보기로 합니다.
공지를 올리긴 했지만 연말이기도 하고, 원서이기도 해서 (😇) 내심 저희끼리의 조촐한 모임이 될 수도 있겠다는 마음의 준비는 하고 있었는데요. 그 걱정이 무색하게 많은 분들이 열화와 같은 성원을 보내주셨고, 결국 PM/PO/데이터 분석가/마케터 등의 다양한 직군으로 구성된 20인 규모의 스터디가 출범하게 되었습니다!
스터디원 다수가 테크 기업 소속으로, 담당 프로덕트를 빠르게 개선하며 키워나가고자 하는 열정으로 가득찬 분들이셨는데요, 학습에 대한 열기는 뜨거웠지만 한편으론 회사 업무에 부담이 가지는 않는 선에서 스터디를 운영하고자 했기에, 전체 인원이 6개 팀으로 나누어져 한 번씩 담당 챕터를 요약발표 하는 방식으로 진행하기로 했습니다.
첫 모임에서는 서로 인사도 나누고, 핵클 멤버들이 요약 정리한 챕터1 내용으로 가볍게 이야기를 나누었어요. (글로벌 기업들의 A/B 테스트 사례를 다룬 챕터1 요약이 궁금하신 분들은 여기를 클릭!) 이후 모임을 3회 더 가지며 챕터 2~8의 내용들을 커버하는 스터디를 진행했답니다.
모든 모임은 온라인으로 진행되었습니다. 오프라인으로 직접 만나지 못했던 점은 아쉬웠지만, 덕분에 평일 저녁 시간임에도 불구하고 모두가 참여할 수 있었던 장점도 있었답니다.
스터디원 중에는 실무에서 A/B 테스트를 진행하고 계신 분들도, 도입을 검토중인 분들도 계셨는데요, 다양한 경험들이 어우러져 원서의 내용을 더 깊고 넓게 이해할 수 있었습니다. 매 모임마다 A/B 테스트 꿈나무들의 끝없는 질문 공세에 명쾌한 답변을 주신 스터디 멘토, 핵클 김종민 PO의 활약 또한 빛났습니다.
1. Introduction and Motivation (글로벌 기업들의 A/B 테스트 사례)
2. Running and Analyzing Experiments : An End-to-End Example (A/B 테스트를 위한 통계 기초 다지기)
3. Twyman’s Law and Experimentation Trustworthiness (트와이먼의 법칙과 실험의 신뢰도)
4. Experimentation Platform and Culture (조직의 실험 문화)
5. Speed Matters : An End-to-End Case Study (속도에 대한 실험)
6. Organizational Metrics (조직의 지표)
7. Metrics for Experimentation and the Overall Evaluation Criterion (실험 지표와 OEC)
8. Institutional Memory and Meta-Analysis (조직의 제도적 기억 쌓기)
한 달 간의 스터디를 통해 다룬 챕터들은 위와 같습니다. 데이터를 통해 빠르게 성장하고자 하는 테크 기업들이 왜 A/B 테스트를 도입해야 하는지부터 실험에서는 어떤 지표를 측정하고 개선할 것인지, 결과를 해석할 때의 주의사항은 무엇인지 등의 내용을 폭넓게 배울 수 있었던 시간이었습니다.
책을 읽고 모르는 부분들은 추가로 조사하여 요약 자료를 준비하는 과정에서 모두가 A/B 테스트 정복이라는 목표에 한발짝 더 가까워졌음을 느낄 수 있었습니다. 본격적으로 A/B 테스트 환경을 구축하고 실행하기 위한 심화 내용들이 등장하는 책의 후반부도 다시 만나 스터디 할 것을 약속하며, 아쉬운 작별인사를 나눴습니다.
서로에게 끝까지 동기부여가 되어 주었던 스터디 멤버들! 감사의 마음을 전하며, 마지막 모임일에 나누었던 후기를 공유합니다 :)
현재 회사에서 A/B 테스트는 여러 번 해봤지만 스터디를 통해 새로운걸 많이 알게되었습니다. 일하면서 매주 스터디를 준비하는게 쉽지만은 않았지만, 동기부여가 돼서 좋았습니다. 다양한 생각을 나누는 과정들이 도움 되었어요! — Product Manager, M사
연말연초에 지표 설정하는 시간을 많이 갖게 되는데, 스터디에서 실무 이슈들이 리캡 돼서 좋았습니다. 오늘도 회사에서 A/B 테스트 얘기 하는데 아는척 했어요! :) — Product Manager, H사
처음 시작할 때는 A/B 테스트에 대해서만 다룰 거라고 생각했는데, 지표에 대한 내용이나 데이터 해석에 대한 다른 인사이트도 배울 수 있어서 좋았습니다. 혼자 했으면 완주하기 힘들었을 텐데, 모두의 도움으로 여기까지 온 것 같아요. 감사드립니다! — :)
지금 회사에서는 A/B 테스트를 직접 해보기 어려워서 책을 읽어봐야지 했는데, 스터디를 만난 타이밍이 좋았던 것 같습니다. p-value 등 A/B 테스트에 활용되는 개념들은 어렵지 않지만 실무에서 어떻게 적용되는지가 어려운 부분인데, 책 보면서 많은 생각, 아이디어를 얻을 수 있었습니다. — Data Analyst, N사
A/B 테스트 툴을 사용해 본 적은 있지만 사용되는 개념들의 이론적 배경을 따로 익힌 적은 없었는데, 이 기회에 제대로 짚고 넘어갈 수 있어 좋았습니다. 혼자 했으면 이만큼 공부하지 못했을 거예요! — Marketing Manager, C사
PM 1년차인데, A/B 테스트를 실무에 적용해보기 전에 미리 공부할 수 있어서 좋았습니다. 스터디 내용들이 새록새로 기억나면서 많은 도움이 될 것 같아요! — Product Manager, S사
팀별로 나누어 챕터 요약발표를 준비하면서 내부 토론을 했던 경험이 특히 좋았습니다. 팀웍이 생기면서 재밌게 준비할 수 있었고, 책의 내용도 더 자세히 이해할 수 있었습니다. — Product Manager, M사
핵클에서는 A/B 테스트를 시작하고 싶으시거나 더 잘 하고 싶으신 분들이 정보를 공유하고 교류하실 수 있는 ‘A/B 테스트 실무자 커뮤니티’를 운영중입니다.
앞으로도 ‘데이터를 통한 프로덕트 성장’을 주제로 다양한 스터디, 북클럽을 진행할 예정이오니 공지 참고해주시고, 함께 읽고 싶은 책이 있으시다면 자유롭게 모임을 제안해주세요 :)
.png)
