안녕하세요. “머신러닝을 활용한 지표 탐지 모델 만들기"를 썼던 Data Science 팀의 Wonder입니다. 요즘 저희 팀에서는 핵클 AI를 만들고 있는데요. 저번 글에서는 ‘핵클 AI를 만들 게 된 배경과 지표 변화를 탐지하는 Prophet 모델’에 대해서 이야기를 했습니다.
많은 서비스가 데이터 기반 성장을 어려워하는 이유 중 하나는 데이터를 분석하는 데 상당한 리소스가 필요하기 때문입니다. 데이터를 본다는 건 단순히 데이터를 수집하는 과정을 넘어서, 지표를 정의하고 변화를 지속적으로 모니터링해서 지표가 언제, 왜 움직이는지를 살펴보는 작업입니다.
핵클 AI는 SDK를 통해 이벤트 데이터가 수집되면, 이후에 지표를 정의하고 모니터링하는 과정을 자동화하여 고객들이 보다 효율적으로 리소스를 활용할 수 있도록 도와줍니다. 이 외에도 다양한 기능을 가지고 있는데요. 이번 글에서는 핵클 AI의 여러 기능들과 활용 방법을 소개하도록 하겠습니다.
지금까지는 대화창에 질문이 등록되면 저희 팀에서 직접 답변을 달았었는데, 이제는 핵클 서비스와 관련된 질문이라면 핵클 AI가 자동으로 답변을 해줍니다.
이 기능은 GPT 모델에 핵클 서비스 가이드를 embedding 하여 빠르게 만들 수 있었는데요. 어떻게 개발했는지 궁금하신 분들은 “GPT 할루시네이션 오류와 비용 문제 해결하기” 글을 참고해 주세요.
퍼널/유저 패스 그래프는 유저가 서비스에서 가장 중요한 이벤트(예. 구매, 구독)를 하기 전까지 거친 이벤트들을 시각적으로 보여줍니다. 이를 통해 어떤 단계에서 가장 많이 이탈하고 있는지를 파악하고, 개선 전략을 수립하는 데 활용할 수 있습니다.
핵클은 퍼널과 유저 패스 기능을 모두 제공하고 있는데요. 핵클 대시보드에서 퍼널 또는 유저 패스를 만들고 저장해놓았다면 핵클 AI가 프로세스 마이닝 방법을 활용해 어떤 단계를 개선하면 가장 효율적일지 추천해 드립니다.
Prophet 모델을 사용해 지표에 이상 징후가 탐지되면 메시지가 전송됩니다. 많은 지표를 일일이 사람이 직접 모니터링하고 대응하는 일은 무척 번거로운 작업이지만 꼭 해야만 하는 일입니다. 이제 핵클 AI의 도움을 받아 지표에 이상이 생기면 빠르게 대응해 보세요.
변곡점은 데이터 패턴이 하락에서 상승 또는 상승에서 하락하는 지점으로, 변곡점 탐지를 통해 지표 추세의 변화를 감지할 수 있습니다.
이상 징후 탐지와의 차이점은 변곡점 탐지는 추세 변화 지점을 찾아주고, 변화에 영향을 가장 많이 미친 요인을 분석하여 제공해 줍니다. 반면에 이상 징후 탐지는 일반적인 패턴에서 벗어나는 지점을 준 실시간으로 찾아줍니다.
핵클 AI로부터 지표 이상 징후 탐지와 변곡점 탐지 메시지를 받고 싶다면 지표 관리 메뉴를 통해 가드레일 지표를 등록해 주세요. 단, 최근 28일 동안의 데이터가 있어야 하고 평균 DAU가 100명 이상 있는 등 추가 조건을 만족해야 합니다.
서비스마다 중요하게 생각하는 지표가 다 같을 수는 없지만, 그래도 공통적으로 확인하는 지표는 있습니다. WAU (Weekly Active User) 와 Stickiness ( = DAU / WAU)는 그 중 대표적인 예로, 서비스의 성장과 건정성을 확인할 수 있습니다.
매출처럼 값이 높을수록 좋은 지표가 최근 기간 내에 최솟값을 가진다면, 이는 지표가 하락하고 있다는 신호일 수 있습니다. 지표의 최댓값 또는 최솟값 탐지는 간단하지만 직관적으로 서비스의 상태를 알 수 있습니다. 만약 지표가 N일동안 연속으로 최솟값/최댓값을 기록한다면, 해당 정보도 추가적으로 알려줍니다.
지금 진행 중인 실험, 기능 플래그, 원격 구성 리스트를 알려드립니다. 최근 1주일 동안 데이터가 가장 많이 수집된 순서대로 최대 5개를 알려주기 때문에 핵클 사용 현황을 파악할 수 있습니다.
실험에 참여하는 사용자 수가 많을수록 실험 결과의 정확도는 증가하지만, 이는 리소스를 효율적으로 사용하는 방법은 아닙니다. 데이터가 일정 수준 이상으로 쌓이면 통계적 의사 결정을 내릴 수 있는 만큼의 정보가 확보되었다고 간주하고, 실험을 종료하는 게 좋습니다.
핵클은 실험 기간을 최소 1주일에서 2주일로 안내하고 있습니다. 시작한 지 2주가 넘은 실험은 의사 결정을 할 수 있다고 판단되기 때문에 매주 한 번씩 핵클 AI가 해당 실험 목록을 제공해 드립니다.
지금은 단순히 실험 진행 일수만 확인하고 있지만 곧 실험 결과를 해석하고, 실험을 계속 진행해서 데이터를 더 모아야 할지 중단해도 괜찮을지 가이드를 주는 메시지까지 줄 수 있도록 고도화될 예정입니다.
이처럼 핵클 AI는 SDK를 통해 수집된 이벤트 데이터와 데이터 분석 / 실험 / 기능 플래그 등 핵클 서비스 내의 설정 정보를 활용해 고객사에서 필요로 하는 유용한 정보를 자동 생성하여 다양한 유형의 메시지를 제공하고 있습니다. 이 과정에서 활용되는 모든 데이터는 별도의 저장 과정을 거치지 않고 기존의 핵클 서비스 제공을 위해 구축된 데이터 파이프라인을 활용하고 있어 고객사별로 관리되며, 안전하게 처리되고 있습니다. 이에 정보 유출의 염려가 없고, 당초의 데이터 수집 목적과 다른 용도로는 활용되고 있지 않습니다.
핵클 AI는 고객사들이 데이터를 기반으로 제품주도 성장을 하는 데 필요로 하는 다양한 영역을 자동화하는 시도를 이어갑니다. 예를 들면 앞에서 잠깐 언급한 실험 의사 결정 자동화뿐만 아니라 사용자 행동 예측, 행동 및 유저 속성 기반 코호트 자동 생성 등을 준비하고 있습니다.
앞으로 많은 기대와 관심 부탁드리고. 핵클 AI 관련해서 전달하고 싶은 피드백이 있다면 대화창에 메시지를 남겨주세요!
.png)
.jpg)
.png)