CRM 성과분석, AI와 함께 증분효과까지 읽는 법

CRM 성과분석에서 "이 캠페인 효과 있었어?"에 답하려면 메시지를 받은 그룹과 받지 않은 그룹(홀드아웃)의 차이를 봐야 합니다. 클릭률과 전환율은 받은 고객의 반응을 보여 줄 뿐이라, 메시지가 만든 구매는 이 비교로 따로 구해요.

캠페인 결과를 ChatGPT나 Claude 같은 AI에 붙여 넣고 해석을 묻는다면 이 기준이 더 중요해져요. 어떤 숫자와 맥락을 건네느냐에 따라 답이 기대는 비교가 달라지기 때문입니다. 아래에서 지표별로 답하는 질문, 증분효과를 읽는 4단계, AI에게 줄 데이터와 질문 순서를 차례로 볼게요.

CRM 성과분석이란? 지표마다 답하는 질문이 다릅니다

CRM 성과분석은 발송·클릭·전환 지표와 홀드아웃 비교로 캠페인이 만든 성과를 확인하고, 다음 캠페인을 정하는 일입니다. 리포트의 지표는 서로 다른 질문에 답해요. 클릭률은 메시지가 눈에 띄었는지를, 간접 전환은 메시지를 받은 고객이 나중에라도 전환했는지를 알려 줍니다.

다만 "이 메시지 덕분에 구매가 늘었나"는 이 지표들로 답하기 어렵습니다. 받은 고객 중에는 알림이 없어도 샀을 고객이 섞여 있기 때문이에요. 지표를 고르기 전에 이 숫자가 어떤 질문에 답하는지부터 나눠 보세요.

반응·성과 지표의 구분과 퍼널·코호트로 성과를 읽는 법은 CRM 마케팅 성과 분석 글에서 볼 수 있어요. 이 글은 표의 마지막 줄, 메시지가 만든 구매를 읽는 법에 집중합니다.

증분효과와 홀드아웃: 메시지가 만든 구매만 세는 법

홀드아웃은 같은 조건의 고객 중 일부에게 일부러 메시지를 보내지 않은 비교 그룹입니다. 증분효과는 메시지를 받은 그룹과 홀드아웃의 구매율 차이이고, 메시지 때문에 늘어난 구매를 증분 구매라고 불러요.

가상 예시로, 발송 그룹 구매율이 8.0%이고 홀드아웃이 6.0%라면 증분효과는 2.0%p입니다. 발송 그룹의 구매 중 이 2.0%p만큼이 메시지가 만든 구매이고, 나머지는 알림이 없어도 생겼을 구매예요.

‍

소재끼리 비교하는 일과 홀드아웃 비교는 맡는 질문이 다릅니다. 문구 A와 B 중 무엇이 나은지는 메시지 시안끼리 비교하는 A/B 테스트가, 메시지를 보낼 가치가 있는지는 홀드아웃이 답해요. 보고서에 두 질문을 나눠 적으면 해석이 덜 엇갈립니다.

CRM 성과분석 결과를 읽는 4단계

결과를 혼자 보든, 팀이나 AI와 함께 보든 아래 순서로 읽으면 같은 결론에 닿기 쉽습니다.

1단계. 무엇과 비교한 숫자인지 확인합니다

홀드아웃이 있었는지, 있었다면 무엇을 받지 않았는지 봅니다. 홀드아웃이 없다면 그 숫자로는 받은 고객의 반응까지만 말할 수 있어요. 캠페인 하나의 효과가 궁금하면 홀드아웃은 그 캠페인만 받지 않으면 됩니다.

CRM 메시지 전체의 효과를 재려면 일부 고객을 오래 메시지 없이 둬야 합니다. 기간과 대상을 팀이 먼저 정해야 하니, 처음에는 캠페인 하나로 시작해 보세요.

‍

2단계. 두 그룹이 같은 조건이었는지 봅니다

홀드아웃은 발송 대상을 먼저 확정한 뒤 그 안에서 무작위로 뽑아야 합니다. 최근에 활발한 고객만 남기거나, 반응이 없던 고객을 나중에 홀드아웃으로 묶으면 두 그룹의 구매 성향이 달라져요. 비교 기간(예: 발송일부터 7일)도 두 그룹이 같아야 합니다.

분모는 각 그룹에 나눠 넣은 인원(배정 인원)으로 두세요. 수신 동의나 기기 상태 때문에 실제 발송 건수는 배정 인원보다 적을 수 있습니다. 발송 건수로 나누면 발송 그룹 구매율이 커 보여요.

비교가 흐려지는 경로도 함께 점검하세요. 같은 혜택을 다른 채널로 보낼 때도 발송 그룹에만 보내야 하고, 메시지를 누른 고객에게만 후속 메시지를 보내는 캠페인은 비교 기간에는 멈추는 편이 안전합니다. 그렇지 않으면 차이가 작게도 크게도 나와요.

3단계. 차이가 우연인지 봅니다

같은 2.0%p 차이라도 홀드아웃이 작으면 우연히 생긴 차이일 수 있습니다. 그래서 차이와 함께 95% 신뢰구간(실제 증분효과가 있을 법한 범위)을 봐요. 계산은 AI나 통계 계산기에 맡겨도 되고, 읽을 때는 한 가지만 보면 됩니다. 범위가 0을 포함하면 이 크기로는 효과가 있다고 말하기 어렵습니다. 이때는 다음 회차에 홀드아웃 비율을 늘리거나 여러 회차 결과를 모아 다시 보세요.

4단계. 범위의 낮은 쪽으로도 비용을 넘는지 봅니다

증분 구매 건수는 구매율 차이 × 발송 그룹 인원으로 구합니다. 여기에 건당 마진(쿠폰 할인 전)을 곱한 금액을 제작·발송 비용과 비교하세요. 쿠폰이 붙은 캠페인이라면 쿠폰을 쓴 구매 전체의 할인액도 비용에 넣습니다.

이때 구매율 차이에는 신뢰구간의 낮은 쪽 값을 넣어 보세요. 낮은 쪽으로 계산해도 비용을 넘으면 보낼 가치가 있다고 봅니다.

ChatGPT·Claude로 CRM 성과를 분석하려면 무엇을 알려 줘야 할까요?

ChatGPT나 Claude 같은 AI에 캠페인 리포트를 붙여 넣고 "이 캠페인 효과 있었어?"라고 물으면, 클릭률과 전환율만 건넨 경우 답도 그 숫자 안에서 효과를 설명하기 쉬워요. 그래서 숫자의 맥락을 먼저 알려 주세요. 캠페인 숫자는 핵클 화면에서 옮겨 적거나, 아래에서 소개하는 핵클 MCP로 AI가 직접 조회하게 할 수 있어요.

AI에게 먼저 알려 줄 것

• 캠페인 정보: 목적, 채널, 발송 기간, 쿠폰 같은 혜택이 있었는지
• 그룹과 분모: 발송 그룹과 홀드아웃에 각각 몇 명을 배정했는지, 각 그룹에서 몇 명이 구매했는지, 홀드아웃이 무엇을 받지 않았는지
• 전환 기준: 어떤 행동을 전환으로 셌는지(예: 구매 완료), 발송 후 며칠 안을 봤는지
• 같은 기간의 다른 일: 다른 채널 발송, 후속 캠페인, 사이트 전체 프로모션
• 판단에 쓸 돈: 증분 구매 1건의 마진(쿠폰 할인 전), 제작·발송 비용, 쿠폰이 있었다면 쿠폰 할인 총액

첫 메시지 예시

아래 CRM 캠페인 결과를 분석해 줘.
캠페인 목적: ___ / 채널: ___ / 발송 기간: ___ / 혜택: ___
발송 그룹: ___명 배정, 그중 ___명 구매
홀드아웃: ___명 배정, 그중 ___명 구매 (이 캠페인만 받지 않음)
전환 기준: 발송 후 ___일 안 구매 완료
같은 기간의 다른 발송·프로모션: ___
구매 1건의 마진(쿠폰 할인 전): ___원 / 제작·발송 비용: ___원 / 쿠폰 할인 총액: ___원(없으면 0)

질문 순서 예시

한 번에 긴 질문을 던지기보다, 답을 보고 다음 질문을 이어 가는 편이 확인하기 쉽습니다.

1. "이 숫자들이 어떤 비교에서 나온 건지 정리해 줘. 홀드아웃 대비 증분효과를 구할 수 있는 데이터인지도 알려 줘."
2. "두 그룹을 무작위로 나눴는지, 분모가 배정 인원인지, 같은 기간의 다른 발송이나 후속 캠페인 때문에 비교가 흐려졌을 가능성이 있는지 점검해 줘."
3. "두 그룹의 구매율 차이가 우연으로 생겼을 가능성을 알려 줘. 95% 신뢰구간으로 보여 주고, 계산에 쓴 그룹별 인원과 구매 수를 표로 같이 적어 줘."
4. "신뢰구간의 낮은 쪽으로 증분 구매를 구하고, 건당 마진(쿠폰 할인 전)을 곱해 제작·발송 비용과 쿠폰 할인 총액을 더한 금액과 비교해 줘."

AI의 답을 보고서에 옮기기 전에 두 가지만 확인하세요. 답에 적힌 그룹별 인원과 구매 수가 내가 준 숫자와 같은지, 그리고 홀드아웃이 없는 데이터인데 "효과가 있었다"고 단정하지 않았는지입니다.

핵클에서는 이렇게 봅니다

핵클의 캠페인 상세 화면에서는 발송 건수, 발송률, 클릭률 같은 요약 통계를 보고, 상세 성과 분석하기로 메시지 클릭 이후의 전환율까지 이어 볼 수 있어요. 캠페인 보고서는 클릭 후 바로 전환한 직접 전환과 메시지를 확인한 뒤 나중에 전환한 간접 전환을 나눠 보여 줍니다. 모두 메시지를 받은 사용자 안의 숫자라서, 증분효과는 홀드아웃과 비교해 따로 구해요.

푸시·카카오 메시지 A/B 테스트에서는 대조군(Control Group)으로 홀드아웃을 둘 수 있어요. 캠페인을 만들 때 [+ A/B 테스트]를 누르면 새 메시지 작성·복사와 함께 대조군을 추가할 수 있습니다. 푸시의 대조군(Group A)에는 메시지가 발송되지 않고, 실험군(Group B, C…)에만 새 메시지가 나가요. 카카오 메시지 A/B 테스트에서도 대조군을 포함해 메시지를 최대 10개까지 만들 수 있습니다.

대조군은 메시지를 받지 않으니 클릭률로는 두 그룹을 비교하기 어려워요. 푸시 A/B 테스트의 성공 지표는 기본값인 메시지 클릭률 대신 직접 선택으로 구매 전환율 같은 이벤트 지표를 고르세요.

‍

명단을 직접 나눠 관리하고 싶다면 발송 대상 명단을 미리 무작위로 나눠 CSV로 올리고, 발송 그룹 코호트에만 보내는 방법도 있어요. 명단을 나누고 Static 코호트로 올리는 순서는 쿠폰 효과 측정 글에 정리돼 있습니다.

AI와 대화로 분석하고 싶다면 핵클 MCP를 연결하면 됩니다. Claude, ChatGPT 같은 AI 도구에서 "최근 푸시 캠페인의 전환율을 비교해 줘"처럼 자연어로 핵클의 실험·메시지·분석 데이터를 조회하고 해석할 수 있어요. 원격 MCP 서버로 연결하면 푸시·문자·카카오·인앱 메시지의 캠페인 통계도 조회할 수 있습니다. API 키는 핵클 대시보드의 MCP 연동 메뉴에서 발급을 신청합니다. 홀드아웃 비교를 물을 때는 두 그룹의 배정 인원과 구매 사용자 수를 대화에 함께 알려 주세요.

‍

정리: 다음 캠페인 전에 할 일

• 클릭률·전환율은 발송 그룹 안의 반응이고, 메시지가 만든 구매는 홀드아웃과의 차이로 읽습니다.
• 결과는 비교 대상 → 같은 조건 → 차이와 범위 → 비용 순서로 봅니다.
• AI에게 물을 때는 그룹·분모·전환 기준·같은 기간의 다른 일을 먼저 알려 줍니다.

다음 주에는 정기 캠페인의 이번 회차 하나를 골라 대상 명단의 10% 정도를 홀드아웃으로 떼어 보세요. 발송 기간이 끝나면 두 그룹의 숫자와 위 맥락을 AI에게 주고, 4단계 순서대로 물어보면 됩니다. 범위가 0을 포함한다면 다음 회차에 홀드아웃 비율을 늘려 다시 재 보세요.

‍