업계에 있는 주변 사람들에게 자주 받는 질문이 있다: ‘어떻게 데이터 주도적(data-driven)인 생각을 가질 수 있을까요?’ 이는 또한 내가 인터뷰에서 애용하는 질문이기도 하다: “데이터 주도적인 사고를 하기 위해선 어떻게 해야 할까요?” 답변은 천차만별이지만 데이터 분석과 관련된 기술에 대해 이야기 하거나 (예: SQL, Hadoop, 고급 엑셀 기능 등) 복잡한 A/B 실험과 관련한 이야기가 가장 자주 언급된다. 데이터 주도적인 생각을 가진 사람들 중 이런 실력을 갖춘 사람이 많은 것은 사실이지만 이런 능력이 있다고 반드시 데이터 주도적인 생각을 가지고 있다고 할 수 없다. 십여년간 이쪽 관련하여 다양한 사람들과 의논하고 업무를 진행하면서 데이터 주도적인 사고를 갖추기 위해 도움이 되는 방법들을 정리해 보았다.
첫째, 데이터 주도적인 사고를 위해서는 현재 하고 있는 무작위의 A/B 실험들을 중단하는 것을 권고한다. 데이터 주도적 사고는 체계적인 가설을 증명 혹은 반증을 하는 것으로 시작을 해야한다고 생각하기 때문이다. 예를 들어 ‘무슨 색깔의 버튼이 제일 좋은 결과를 내는지 실험해 보자’가 아닌 ‘노란색 버튼이 이러이러한 이유로 파란색 버튼보다 클릭수를 높이는데 더 좋을 것이다’라는 가설을 가지고 실험을 임해야 하는 것이다. 물론 어느 방식으로 실험을 해도 같은 결과가 나오겠지만 탄탄한 가설을 바탕으로 실행한 실험들이 고객의 성향, 구매 과정, 그리고 최종 성과에 대한 직관력을 더 체계적으로 높이는데 기여할 수 있다. 설령 원하는 결과가 나오지 않았을 경우에도 무심코 다음 실험으로 넘어가지 않고 실패의 원인을 파악하는데 큰 도움을 줄 수 있다.
둘째, 주어진 문제를 이산적으로 (discrete) 쪼개어 직접적으로 영향을 주고 측정할 수 있는 부분을 골라 풀어내는 습관을 기르도록 하자. 과거에 같은 양의 유저 트래픽을 가지고 더 많은 컨버젼(고객으로 변환)을 목표로 하는 프로젝트를 맡은 적이 있었다. 그런데 구매 페이지에서 고객들의 행동을 모니터할 수 있는 conversion pixel이 없었다. 고객의 행동을 측정할 수 없는데 어떻게 하지? 불행 중 다행으로 고객의 구매 과정이 잘 정의되어 있었고, 대부분의 트래픽은 세심한 측정이 가능한 이메일을 통해 온다는 사실을 알았다. 이에 구매 페이지를 최적화 시키는 일을 제끼고 측정이 가능한 이메일 열람 및 클릭을 올리는 일에 집중하였다. 이 외의 상황들은 변함이 없다고 가정했을 때 (ceteris paribus) 이메일을 더 많이 열람하고 클릭을 하면 최종적인 지표(고객 전환)에 긍정적인 영향을 줄 수 있는 것이다 – 구매 페이지를 전혀 건드리지 않고서도.
마지막으로, 관점을 넓히고 임기응변 능력을 발휘하도록 하자. 역설적으로 들릴 수 있지만 데이터 주도적인 사고는 데이터가 없을 때 더 빛을 발휘한다. 만약 모든 데이터가 내 눈앞에 있고 ‘실험 A가 실험 B 보다 50% 더 높은 결과가 나왔어요’라고 크게 써있는 경우 어느 실험을 선택해야 할지 크게 생각할 필요가 없지 않은가. 해당 사항에 대한 데이터가 없는 경우 비슷한 상황, 혹은 과거의 경험에서 벤치마킹 할 수 있는 데이터를 생각해보라. 예를 들어, 노란색 버튼이 파란색 버튼보다 얼마나 더 높은 성과가 나올지 짐작하기 어려운 경우 어떻게 해야 할까? 과거 경험 및 상식적으로 생각했을 때 10배의 성과를 기대하긴 어려울 것이다. 5배는? 2배는? 30%? 이런식으로 생각하다 보면 성과에 대한 범위를 적당히 예상해 볼 수 있다. 다른 아이디어들도 마찬가지 방법을 적용하면 데이터의 부재에도 불구하고 의사결정을 할 수 있는 기반을 구축할 수 있게 된다.
데이터 주도적인 사고를 하는 이유는 더 좋은 의사결정을 지속적이고 일관되게 하기 위함이다. 위의 방식을 나의 일에 적용함으로써 좋은 결과를 많이 얻을 수 있었다. 또한 이 과정을 통해 데이터 주도적인 사고방식은 계량적인 능력만큼 창의력을 필요로 한다는 것도 배웠다 (예: 데이터 부재시 임기응변을 발휘해야 하는 경우). 처음 질문으로 돌아와서: ‘어떻게 데이터 주도적인 사고를 할 수 있을까요?’ SQL 고급 기능을 배우고 A/B 실험을 하는데 들이는 노력만큼 위에 소개된 방법들을 꾸준히 연습하면 되지 않을까요… 라고 답하고 싶다.
참고] 이 글은 제 링크드인 영어 원글을 번역한 것입니다. (“Stop your random A/B tests” – Heuristic approaches to becoming data-driven)
“그로스 해킹, 어디까지 해봤니” 시리즈
Lesson 1: Paid Marketing 투자의 원칙
Lesson 2: Customer Retention (고객 유지 전략)
