플랩풋볼의 데이터와 실험을 통한 서비스 개선, 그리고 실험 문화 정착기를 소개합니다.
‘풋살’이라고 하면 이제 더 이상 낯설지 않죠. TV 방송부터, 주변에서 즐기는 사람들도 늘어나고 있어요. 그중에서도 ‘플랩풋볼’은 국내 풋살 대중화의 선두주자로, 풋살을 더 쉽고 즐겁게 할 수 있도록 돕는 국내 1위 플랫폼입니다.
‘마이플레이컴퍼니’에서 운영하는 플랩풋볼은 풋살 경기장을 예약하고 다양한 사람들과 함께 매치를 즐길 수 있는 서비스입니다. 전국에서 약 60만 명의 회원이 매월 1만 회의 매치를 통해 풋살을 즐기고 있는데요. 최근 사용자가 보다 쉽게 매치에 참여하도록 만들기 위해 ‘홈 화면 개선 프로젝트’를 진행했고 사용자 당 매치 신청 수를 9.76% 개선했어요.
자세한 내용이 궁금하신가요? 플랩풋볼과 핵클의 데이터와 실험을 통한 서비스 개선, 그리고 실험 문화 정착기를 소개합니다.
[플랩풋볼 성공 사례 요약]
- 배경: 데이터와 실험에 기반한 의사결정 문화를 정착시키고자 함
- 목표: 홈 화면을 개선해서 사용자가 쉽게 더 자주 매치를 참여하게 만들기
- 핵심 지표: 사용자 당 매치 신청 수
- 지표 개선 방법: A/B 테스트를 반복해서 최적의 개선안 찾아내기
- 성과: 사용자 당 매치 신청 수 약 9.76% 개선
플랩풋볼을 운영하는 마이플레이컴퍼니는 ‘많은 사람들이 스포츠가 주는 다양한 감정을 즐기며 살아갈 수 있도록’이라는 비전을 실현하고자 합니다. 스포츠로 경험할 수 있는 즐거운 긍정적인 감정은 물론, 승리와 패배로 인해 느낄 수 있는 부정적인 감정도 자연스럽게 느끼며 일상에 활력을 줄 수 있도록 노력하고 있어요. 이러한 미션에 공감하는 팀원들이 모여 ‘건강과 성장’이라는 주요 가치와 더불어, ‘최상의 컨디션’과 ‘연구자의 마음으로’, 그리고 ‘쉽고 재밌게’, ‘결국 원팀’으로라는 핵심 가치를 중심으로 함께하고 있습니다. 플랩풋볼도 이러한 가치를 기반으로, 내가 원할 때 언제라도 근처 풋살 경기장에서 다양한 사람과 함께 풋살을 즐길 수 있도록 도와주고 있죠. 더 많은 사람들이 쉽고 재밌게 서비스를 이용할 수 있도록 앱 출시도 준비하고 있습니다.
플랩풋볼 서비스는 급격한 성장으로 참가자와 매치 수가 증가했으나, 이에 따라 사용자가 원하는 매치를 홈 화면에서 쉽게 찾기 어려운 문제가 발생했습니다. 이를 해결하기 위해 마이플레이컴퍼니 서비스 팀은 홈 화면 개선을 목표로 삼았고, 개선 성과 측정을 위해 사용자 당 매치 신청 수를 핵심 지표로 설정했습니다.
서비스 팀은 개선된 홈 화면에서 사용자가 더 쉽게 매치를 찾을 수 있게 되면, 자연스럽게 사용자 당 매치 신청 수가 증가할 것이라는 가설을 세웠습니다. 이 지표는 매출과도 직접 연결되기 때문에, 성공적인 개선을 통해 마이플레이컴퍼니에 데이터 기반의 실험 문화를 정착시키는 계기가 될 것이라고도 기대했습니다 .
플랩풋볼의 ‘홈 화면 개선 프로젝트’는 A/B 테스트를 통한 점진적 개선 방식으로 진행했는데요. 개선을 위한 다양한 아이템을 시도해 보고, 데이터로 검증하고 확인하며 빠르게 정답에 가까워지기 위함이었습니다. 특히 핵클의 A/B 테스트와 데이터 분석 기능을 활용하여 홈 화면 개선을 목표로 실험을 진행했습니다.
“홈 화면 프로젝트를 위해 핵클의 ‘A/B 테스트’, ‘데이터 분석’ 기능을 주로 사용했어요. 핵클은 프로젝트 진행에 핵심적인 역할을 했어요. 핵클의 A/B 테스트 설정은 물론, 데이터 분석 UI/UX도 편리하고 직관적이어서 편리했어요.”
- 서인수, 마이플레이컴퍼니 서비스 팀 프론트엔드 개발자
Step 1. 개선하고 싶은 지점과 이를 통해 달성하고 싶은 지표 설정하기
플랩풋볼에서는 한 명의 사용자가 횟수에 제한 없이 여러 번 매치에 참여할 수 있어요. 하지만 플랩풋볼의 서비스가 활성화되면서 홈 화면에 보이는 매치 수가 늘어나고, 사용자가 원하는 매치나 자주 신청하는 매치를 찾는 것이 불편해졌죠. 그래서 이를 개선함으로써 사용자가 원하는 매치를 더 빠르고 쉽게 찾을 수 있도록 만든다면, 홈 화면 개편만으로도 사용자들이 더 많은 매치에 참여할 것이라는 가설을 세웠습니다. 그리고 핵심 지표를 ‘사용자 당 신청 수’로 설정했습니다.
Step 2. 점진적인 개선을 위한 여러 번의 실험 진행하기
사용자에게 가장 좋은 경험을 제공하기 위해 반복적인 A/B 테스트를 통해 최적의 안을 찾고자 했어요. 한 번의 실험에서 얻은 인사이트를 기반으로 특정 요소를 강화하거나 결합하며 다음 실험을 진행하는 방식이었어요.
가장 먼저, 사용자의 기존 신청 내역과 같은 데이터 기반으로 ‘추천 매치’ 섹션을 생성하고 이에 대한 효과를 확인하는 실험을 진행했어요. 추천 매치 섹션이 유의미한 성과를 보이는 것을 확인하고, 다음엔 관계 정보 데이터를 기반으로 ‘친구 매치’ 그리고 ‘팀 멤버 매치’ 등 관계성을 추가해가는 실험을 했어요. 결과적으로 사용자가 더 쉽고 빠르게 원하는 매치를 찾을 수 있는 최적의 안을 발견했습니다.
Step 3. 실험 진행하며 데이터 분석하기
실험을 반복하는 과정에서 데이터를 분석하는 과정은 필수였습니다. 실험 중에도 실험 지표를 모니터링했고, 실험 종료 이전부터 결과와 그에 대한 원인을 빠르게 파악하고자 노력했죠. 이 과정에서 핵클의 데이터 분석 기능을 활용했습니다. 데이터 분석 차트를 통해 다양한 각도로 실험 관련 이벤트를 분석하며 변화가 발생한 근거를 찾아갔습니다.
실험을 여러 차례 진행하며 예상과 다른 결과가 나온 적도 있었습니다. 결과가 더 좋아서 Winner 그룹이 될 것이라고 예상한 그룹의 성과가 좋지 않았던 적도 종종 있었는데요. 그 결과가 나온 이유를 추론해 보고, 설정해두었던 이벤트를 종합적으로 검토하며 그 원인을 파악하고자 했습니다. 그리고 다음 실험 기획에 반영 혹은 제외하며 더 좋은 결과를 만들어 갔습니다.
Step 4. 실험을 설계/운영하며 어려운 점은 핵클과 함께 해결
실험을 진행하던 중 예상치 못한 문제를 발견했을 때는 핵클 팀의 도움을 받아 해결했습니다.
동일한 조건으로 실험을 반복하려고 했지만 반대의 결과가 나왔던 적이 있습니다. 이때 핵클 팀의 프라이빗 슬랙 채널과 온라인 미팅으로 구체적인 발생 원인과 앞으로의 실험 설계 가이드를 전달 받았습니다. 동일한 실험을 진행하더라도 실험 시기가 다르고 프로모션 기간이나 이미 해당 기능을 경험한 사용자의 존재 여부 등 외부 변인이 완전히 통제되지 않았던 점이 가장 큰 원인이었어요. 게다가 극단치 사용자도 실험의 결과가 달라질 수 있는 이유라는 점을 발견했죠. 이처럼 실험과 관련된 전문적이면서도 쉬운 설명으로 문제를 빠르게 해결할 수 있었습니다. 이외에도 핵클 도입 직후, 이벤트 택소노미 정의와 같은 가장 중요한 작업에 대해 핵클 팀과 함께하며 데이터를 볼 수 있는 기반을 만들었습니다.
“여러 A/B 테스트 툴을 검토했지만, 가장 인상 깊었던 부분은 핵클의 문서였어요. 핵클의 서비스 가이드를 읽어보면서 개발적으로도 쉽게 적용할 수 있다는 점을 확인했죠. 그리고 핵클의 블로그 포스트를 보며 핵클에서는 이 툴을 사용하는 사람들에게 도움 주기를 원한다는 인상을 받았고 신뢰가 생겼어요.”
- 서인수, 마이플레이컴퍼니 서비스 팀 프론트엔드 개발자
.png)
결과적으로, 6차에 걸친 A/B 테스트를 통해 사용자당 매치 신청 수가 9.76% 증가하는 성과를 거두었습니다. 점진적인 개선의 과정을 통해 6번의 실험 이후 최종안에서 위와 같은 좋은 결과를 얻었죠.
플랩풋볼은 기존의 필터링 방식에서 벗어나, 개인별 데이터를 기반으로 매치를 추천하는 시스템을 도입해 사용자가 원하는 매치를 더 쉽게 찾을 수 있도록 개선했습니다. 이전에는 ‘지역/성별/레벨 등의 매치 필터’에 의존하여 원하는 매치를 찾는 방식만을 제공했다면, 실험을 통해 ‘개인별 데이터(신청내역/관계 정보)’를 활용하여 매치를 추천하는 방식으로 더 쉽고 빠르게 원하는 매치를 찾을 수 있도록 개선했어요. 이 성과는 매출 증가로도 이어졌으며, 홈 화면 개선만으로도 비즈니스 성과에 긍정적인 영향을 미쳤습니다.
.png)
.jpg)
