지난 한국 비즈니스 실험 심포지엄 2026에서, 핵클 그로스 어드바이저 프레드님이 'AI 에이전트와 함께하는 비즈니스 실험 이터레이션'을 주제로 강연을 진행해 주셨습니다. 인상 깊었던 이야기를 정리해 소개합니다
AI가 업무의 거의 모든 영역에 들어온 지금, 실험도 예외가 아닙니다. 가설을 세우고, 결과를 해석하고, 보고서를 쓰는 일까지. 예전엔 몇 주씩 걸리던 실험이 이제는 훨씬 빠르고 가벼워졌습니다.
그런데 정말 중요한 질문은 그다음입니다. "실험이 쉬워진 시대에, 진짜 경쟁력은 어디서 나올까?"
이번 글에서는 프레드님의 발표를 따라, 세 가지를 짚어봅니다.
실험 문화가 궁금했던 분이라면, 이번 글을 끝까지 따라와주세요. 🙌
여러분 회사에서 중요한 결정은 어떻게 내려지나요?
어떤 기능을 넣을지, 화면을 어떻게 바꿀지, 가격을 얼마로 할지
열심히 토의하지만, 막상 회의에서 제일 높은 분의 의견으로 정해지지 않나요?
이런 현상을 업계에서 반쯤 농담으로 '히포(HIPPO)'라고 부릅니다.
Highest Paid Person's Opinion, 가장 월급 많이 받는 사람의 의견이라는 뜻이죠.
프레드님이 던진 첫 메시지는, 이 히포의 시대가 이미 저물고 있다는 것이었습니다.
아마존, 넷플릭스, 부킹닷컴 같은 빅테크는 10여 년 전부터 히포가 아니라 실험으로 의사결정을 해왔습니다.
아마존 창업자 제프 베조스는 말했습니다.
"아마존의 성공은 우리가 1년, 한 달, 1주, 하루에 얼마나 많은 실험을 하는지에 달려 있다."
그리고 여기에 AI가 기름을 부었습니다. AI 시대가 되며 고객 행동은 더 다양해지고 예측이 어려워졌습니다. 어제 통하던 메시지가 오늘은 통하지 않고, 한 달 전 계획이 이번 주에 무너집니다. 변화의 속도가 사람의 예측 능력을 넘어선 것이죠. 히포가 아무리 경험 많고 똑똑해도, 이제 몇 달 앞을 확신할 수 없습니다.
정답은 바로 고객입니다. 정확히는, 고객이 누르고, 망설이고, 이탈하며 남긴 행동 데이터입니다. 우리는 답을 모르지만, 고객은 데이터로 답을 알려줍니다. 그리고 그 데이터를 얻는 유일한 방법은 직접 만들고, 반응을 보고, 다시 고치는 실험(Build → Measure → Learn)뿐입니다.
그래서 프레드님은 실험을 '생존의 문제'라고 표현했습니다. 발표에서 소개된 현장 사례들을 볼까요?
지식구독 서비스 롱블랙은 결제 페이지 요소를 바꾼 실험으로 전환율을 10% 개선했습니다. 흥미로운 건, 업계에서 흔히 쓰는 '하루에 얼마' 식 일별 가격 표기가 롱블랙 고객에겐 효과가 없었다는 점입니다. "남들 다 하니까" 넣었다면 오히려 전환율이 낮아졌을 겁니다. 실험이 "우리 고객은 다릅니다"라는 답을 준 것이죠.
온·오프라인을 넘나드는 고객 여정 단계마다 촘촘하게 CRM 자동화를 세팅하고, 하나하나를 실험으로 개선합니다. 매장 결제만 하는 고객엔 앱 유도 푸시를, 온라인 가입만 한 고객엔 쿠폰과 알림톡을 보내는 식으로요.
가입 전환율이 곧 생존인 보험에서도, 상품 선택 → 정보 입력 → 결제로 이어지는 각 단계를 A/B 테스트로 최적화합니다.
지식 구독, 편의점, 보험까지 업종은 달라도 공통점이 있습니다. 실험한 것이 전부 매출과 직결되는 지표라는 점이죠. 실험은 비즈니스 그 자체입니다.
예전에 실험은 손이 많이 가는 일이었습니다. 가설 세우고, 화면 만들고, 개발 붙이고, 분석하고, 보고서 쓰고 이 일련의 과정 하나에 몇 주씩 걸렸죠. AI가 도입되면이 이 과정은 완전히 바꿨습니다. 가설 제안도, 결과 해석도, 보고서 작성도 AI가 돕습니다.
프레드님은 AI를 쓰는 고객들을 직접 인터뷰해 발견한 공통된 3가지 변화를 소개했습니다.
① 누구나 — 결과 해석을 AI에게 묻고, 사람은 의사결정에 집중합니다. 실험이 기획·마케팅·디자인 모두의 일이 되었습니다.
② 어디서나 — 대시보드에 접속하지 않고, 하루 종일 쓰는 AI 채팅창에서 "지난주 실험 어땠어?" 하면 끝. 이를 가능하게 하는 것이 MCP(Model Context Protocol) — AI와 회사 데이터를 잇는 통로입니다.
③ 맥락이 이어진다 — 노션 문서, 슬랙 대화, 내부 데이터까지 AI에 연결해 한 창에서 일합니다. "지난번 노션 문서랑 핵클 실험 결과를 함께 해석해줘"가 한 번에 됩니다.
그럼 실제로 얼마나 쉬워졌을까요?
한 고객은 이렇게 말씀해주셨습니다.
"실험을 하는 것 자체가 진짜 부담이 없어졌어요."
핵클 MCP로 AI와 핵클 데이터를 연결하면, AI 에이전트에게 말을 거는 것만으로 하나의 대화창에서 실험의 전 과정이 흘러갑니다.
① "지난달 구매 퍼널 중 어디서 제일 많이 이탈했어?"
AI가 데이터를 분석해 이탈이 가장 많은 구간과 취약한 세그먼트를 짚어줍니다.
② "그 실험 결과 해석해줘"
진행 중인 A/B 테스트에서 어떤 안이 이기고 있는지, 아직 판단하기 이른 지점은 어디인지 알려줍니다.
③ "CRM 성과는 어때?"
인앱·푸시·카카오 알림톡 등 채널별 캠페인 성과를 비교해줍니다.
④ "이 내용 보고서로 정리하고 슬랙 채널에 공유해줘"
노션에 문서를 작성하고, 슬랙 채널에 요약까지 공유합니다.
이번 심포지엄 발표의 문을 연 핵클 선우창학 대표님은 쿠팡에서 와우 멤버십·쿠팡페이·쿠팡이츠를 만들며 수십 번의 A/B 테스트로 의사결정해 온 경험을 나누며 이렇게 짚었습니다.
"AI 모델은 이미 충분히 훌륭합니다. 진짜 고민은 모델이 아니라, 우리 고객의 데이터를 제대로 해석할 수 있는 수준으로 '정돈'해 확보하느냐입니다."
핵클 고객사분들이 공통적으로 하는 고민은 결국 하나였습니다.
"데이터 기반으로 의사결정하고 싶다." 그런데 병목은 AI 모델이 아니라, 행동 데이터를 제대로 수집하고, 가공하고, 해석 가능한 형태로 쌓아두는 것이었죠.
AI가 실험을 쉽게 만들수록, 승부는 오히려 데이터의 품질에서 갈립니다. 아무리 빠르게 실험하고 AI가 척척 해석해줘도, 그 밑에 깔린 데이터가 부실하면 결론도 틀립니다.
여기서 프레드님이 짚은 핵심이 있습니다. 방금 본 데모처럼 AI가 척척 답하는 건, AI가 똑똑해서가 아니라 그 밑에 측정된 데이터가 있기 때문입니다.
측정 데이터가 없으면, AI는 아무것도 답할 수 없습니다.
실험이 쉬워지고 빨라진 만큼, 측정은 오히려 더 중요해졌습니다. 측정이 부실하면 우리는 틀린 결론으로 더 빨리 달려가게 되니까요. 속도는 AI가 주지만, 통계적으로 믿을 만한지, 지표가 빠짐없이 잡히는지를 받쳐주는 것은 결국 탄탄한 실험 플랫폼의 몫입니다.
몇 년 전 화제였던 '프롬프트 엔지니어'라는 직업, 기억하시나요? AI가 똑똑해지며 그 특별했던 기술은 이제 그냥 기본기가 되어버렸습니다. AI가 잘하는 일은 이렇게 빠르게 누구나 하는 일이 됩니다.
그렇다면 AI가 대신 못 하는 일은 무엇일까요? 바로 진짜 사람이 현실에서 어떻게 반응할지를 아는 것입니다. 버튼 하나 바꿨는데 아무도 예상 못 한 결과가 나오고, 좋을 거라 확신한 개편이 지표를 떨어뜨리기도 하죠. 현실의 사용자는 늘 우리의 예측을 벗어납니다. 그래서 돌고 돌아, 결국 실험이 답입니다.
이 전체가 바로 실험 역량(Experimentation Capability)입니다. 프레드님의 말처럼, AI는 후보를 100개, 1,000개씩 내놓을 수 있지만 무엇부터 시작할지 판단하는 것은 사람의 몫이니까요. 그리고 이 역량은 이론이 아니라, 직접 부딪히며 쌓는 경험에서 나옵니다.
처음의 질문으로 돌아가 보겠습니다.
실험은 이제 선택이 아니라 생존을 위한 필수입니다. 답은 고객이 남긴 데이터에 있고, 그것을 확인하는 유일한 방법은 실험입니다.
AI가 실험을 쉽게 만들수록, 정돈된 데이터와 정확한 측정이 더 중요해집니다. 속도가 빨라진 만큼, 그 방향이 맞는지 받쳐주는 토대가 승부를 가릅니다.
무엇을 실험하고 어떻게 판단할지는 여전히 사람의 몫입니다. AI 시대의 진짜 경쟁력은, 결국 제대로 실험할 줄 아는 사람입니다.
핵클은 조직의 실험 '문화'를 넘어 개인의 실험 역량까지 함께 키우고자, 실무 중심의 실험 역량 교육 프로그램을 준비하고 있습니다. 실험으로 성장하려는 모든 팀 곁에서, 그 여정을 함께하겠습니다.
여러분 회사의 다음 성장은, 여러분의 실험으로 고객이 답해줄 것입니다. 🚀
