안녕하세요 핵클의 Product Marketer, 리디아 입니다. 

‘프롬프트 엔지니어링(prompt engineering)’이란 말을 들어 보셨나요? 

프롬프트 엔지니어링이란 AI에 입력하는 명령어를 뜻하는 ‘프롬프트’와 엔지니어링의 합성어로 AI가 가장 좋은 결과물을 도출해낼 수 있도록 적절한 디렉션을 주는 기술 입니다. 실리콘밸리에서 주목받고 있는 기술로 최근 프롬프트 엔지니어 채용공고를 보면 연봉이 3억~4억 수준으로 형성되어 있다고 하네요.  

‍

AI, 유용하지만 까다로운 녀석

프롬프트 엔지니어라는 직업이 생겨날 정도라니. 잘만 활용하면 매우 생산적이고 편리한 기술이지만 AI와 좋은 대화를 한다는 것이 얼마나 어려운 일인지 짐작이 가시죠? 하지만! 핵클을 이용하시는 유저분들은 모두 행운이시네요. 핵클에는 이미 AI와 능숙하게 대화를 나눌 수 있는 베테랑 데이터 사이언티스트, 젠님이 계시기 때문이죠. 

젠님의 프롬프트 엔지니어링 스킬을 바탕으로 핵클은 AI 기술을 서비스 편의성 강화에 적극적으로 활용해 보기로 했습니다.

핵클은 Customer Obsession 원칙에 기반하여 고객의 불편사항을 해소하는 것을 최우선 순위로 삼고 있거든요. 그리하여 시작된 핵클 AI 프로젝트! 

‍

첫 아이템으로 잡은 것은 바로 A/B 테스트 판별기였어요. 

“A/B 테스트, 시작은 했는데 제가 제대로 지표를 설정한건지, 해석은 잘 하고 있는건지 확신이 없어요!” 

종종 고민 상담을 하시는 분들이 계시는데요, 문의가 들어왔을 때 현황을 점검해 드리거나 웨비나, 세미나 등을 통해 교육을 시켜드리는 방식으로 도움을 드릴 수는 있지만 실시간으로 어려움을 파악하고 해결해 드리기엔 불가능한 문제였거든요. 하지만 AI가 대신 A/B 테스트 결과를 읽어준다면? 더불어 위너 그룹까지 골라준다면?

‍

지표를 놓고 이렇게 볼까, 저렇게 볼까 고민하실 필요가 없고, 제대로 실험을 진행한건지 스스로를 의심할 필요도 없습니다. AI가 실시간으로 목표 설정해놓은 지표를 읽어주고, 위너 판별까지 순식간에 해드릴 테니까요! 아이디어의 유효성 검증을 위해 실제 핵클을 활발하게 사용하고 있는 고객사들 대상으로 A/B 테스트 판별기 베타 서비스를 제공하기로 했습니다. 

카카오스타일, 여기어때, 오늘의 집을 비롯한 8개의 고객사가 참여하셨고, 18개의 실험에 대해 Chat GPT 기술을 활용한 AI 판독을 진행 했어요. AI 의 분석 수준을 객관적으로 파악해보기 위해 핵클 데이터 사이언티스트 팀이 직접 분석한 A/B 테스트 결과도 함께 드렸습니다.

AI의 해석본과 데이터 사이언티스트의 해석본 간 내용상의 차이는 있지만, AI도 데이터 사이언티스트만큼 테스트의 유의미성을 판단하는 지표인 p-value까지 고려하여 정확하게 지표를 읽고 위너를 판별했습니다. 성공률 100%, 파일럿 테스트를 진행한 모든 실험에 대해서요. AI, A/B 테스트의 지표를 빠르게 읽고 위너를 판별해주는 서포터 역할에는 손색이 없었습니다.  

하지만 핵클의 고민은 여기서 멈추지 않았죠.

‍"AI, 데이터 사이언티스트만큼 테스트 해석을 잘 하게 만들 수는 없을까?" 

‍

질문에 대한 힌트는 파일럿 테스트에 참여하신 한 고객사 담당자 분의 코멘트에서 얻을 수 있었는데요, 

‍

답은 “테스트의 맥락적 이해”를 AI에게 학습시키는 데에 있었습니다. A/B 테스트가 어떤 목적을 달성하기 위한 가설로 시작되었는지에 대한 정보를 함께 제공했을 때 훨씬 퀄리티 높은 답변이 나온 다는 것을 파악한 것이죠. 

‍

이 가설을 핵클 내부에서 진행했던 테스트를 활용하여 검증해 보았습니다. 핵클 웹사이트 메인의 ATF 콘텐츠를 변경하는 실험이었는데요, 제품의 기능적 강점을 강조하는 메시지와 이미지에서 비용 효율성을 강조하는 메시지와 이미지로 변경하기 위한 실험이었습니다.

해당 실험에 대해 두가지 버전으로 질문을 던져 A/B 테스트 결과를 판별하도록 해봤습니다. 두가지 버전에서 모두 동일한 결과가 나왔지만, 결과의 해설 내용에서는 차이를 보였습니다. 해당 실험의 결과 지표만을 학습시켰을 때에도 A/B 테스트 위너를 판별하는 데에는 무리가 없지만, 실험의 가설, 그룹별 차이와 같은 실험 배경 정보들을 학습시켰을 때에는 훨씬 설득력있는 답변이 나온다는 것을 알 수 있었죠.

핵클은 핵클 AI를 A/B 테스트계의 1타 강사로 키울 수 있을까요? 

‍

아직은 AI의 답변이 숙련된 데이터 사이언티스트의 전문적인 의견만큼 좋은 아웃풋이라고 말하기  조심스럽지만, 핵클은 이미 실험 백그라운드 제공 유/무를 통해 AI의 답변이 눈에 띄게 개선되는 결과를 확인했습니다. Chat GPT의 놀라울정도로 빠른 학습 속도를 고려했을 때 단기간 내에 핵클 AI의 답변 퀄리티는 매우 좋아질 것으로 기대됩니다.      

‍

이와 동시에 핵클에서는 AI 기술을 활용한 연구들이 활발히 진행되고 있습니다. A/B 테스트 판별, 데이터 분석, 데이터 활용 제안 등 고객들이 더욱 쉽고 빠르게 데이터 기반의 의사결정 문화를 만드실 수 있도록 돕는 다양한 기능들을 준비하고 있으니 앞으로도 핵클의 신 프로젝트에 많은 관심 부탁 드려요 🙌   

‍