그로스 해킹을 하면서 빼먹을 수 없는 것이 바로 A/B test이다. 계량적 마케팅의 ‘꽃’이라고 할 수 있는 A/B test는 가설을 실제 사용자를 상대로 실험을 하여 더 좋은 결과가 나오는 실험군을 사용자 전체로 확장하는 것을 지칭하는 것이다. 사용자의 행동을 실시간으로 분석하고, 또 그에 따른 제품의 변화를 빠르게 줄 수 있는 인터넷 기반의 제품들은 폭발적이고 지속적인 성장을 위해 A/B test 기법을 애용하고 있다. 나 역시 링크드인의 다양한 B2C와 B2B 제품의 마케팅을 담당하면서 A/B test를 달고 사는데, A/B test의 효율 극대화를 위한 ‘나만의 접근 방식’을 정립해 보았다.
실험의 속도에 우선순위를 두어라.
우선, A/B test의 힘은 가설을 실제 사용자를 대상으로 빨리 시험해 보는 것에 있다. 이에, 나는 실험의 질과 영향력 보다 실행의 속도를 더 중요시한다. 더 많이, 더 빨리 실험을 수행 할수록 그로스 팀의 사용자에 대한 이해와 제품에 대한 직관력이 늘어나기 때문이다. Ken Norton의 10x Not 10% 글에서 이와 관련한 재미있는 일화가 나온다. 어느 학교에서 도자기를 만드는 수업이 있었는데, 최종 성적을 한 집단은 도자기의 질로, 다른 집단은 도자기를 빗은 양으로 평가한다고 통보 하였다고 한다. 학기말 이 두 집단의 도자기 질을 평가하는데 의외로 양으로 성적 평가 기준을 잡은 학생들의 도자기가 훨씬 더 우월하다는 결과가 나왔는데, 수많은 시행착오를 겪고 몸으로 ‘감’을 익힘으로써 자연스럽게 아름다운 도자기를 만들 수 있었다는 것이다. 즉, 양에서 질이 나온 것이다. A/B test도 마찬가지로 실제로 해보지 않고서는 그 ‘감’을 익히는 것이 쉽지 않다. 감을 빨리 찾기 위해서 빨리, 많이 할 수 있는 실험들을 찾는 것이 좋다.
헛 스윙도 좋다. 큰 거 한방 노려라.
둘째, A/B test를 하면서 조심해야 할 것이 실험군에 작은 변화를 주어 큰 결과를 얻기만을 바라는 것이다. 많은 ‘대박’ A/B test 예제들이 그런 특성을 가지고 있지만, 그것은 결코 계획해서 나온 것이 아니다. 이메일이나 웹 페이지에 단어 몇 개만을 바꾸어 실험을 실행하면 십중팔구 유의미한 결과를 얻지 못할 것이다. 다양하고 폭 넓은 실험군을 구성하여 실험에 임한다면 ‘성공의 방향성’을 더 빨리 알 수 있으며, 또 ‘우연한 대박’을 터트릴 수 있는 가능성도 더 높일 수 있다. 설령 실패 하더라도 빨리 실패 했기에 그것을 교훈삼아 다음 실험으로 넘어갈 수 있다. 실패의 가능성이 있기에 실험이라고 불리는 것이다. 겁먹지 말고 큰 거 한방 노리는 습관을 들여야 한다.
예술과 과학의 균형을 맞춰라.
셋째, A/B test는 계량 마케팅 기법의 꽃이지만 예술적이고 질적인 면을 반드시 고려해야 한다. 며칠 전 우버에서 주최한 Growth Happy Hour에서 모인 다양한 회사의 그로스 담당자들도 A/B test 기법 및 그로스를 순전히 계량적으로만 접근하면 의미있는 발전을 할 수 없다고 이야기 하였다. 새로운 실험에 노출된 사용자들의 피드백을 직접 듣고 고객들과 교감하는 것으로 A/B test의 성과를 평가하거나 p-value를 계산할 수 없다. 하지만 이런 비 계량적인 활동들이 데이터 뒤에 숨어 있는 ‘왜’에 대한 질문에 좋은 방향을 제시해 주기 때문에 충분한 시간을 투자할 만한 가치가 있다. 왜 고객의 반응이 좋은지, 혹은 왜 좋지 않은지에 대한 성찰이 없다면 아무리 좋은 분석 도구가 있어도 새로운 인사이트를 창출하기 어려울 것이다.
기록의 습관을 가져라.
마지막으로, A/B test 결과를 꾸준히 기록하는 습관을 기르면 자신만의 ‘cheat sheet (커닝 페이퍼)’을 만드는데 도움이 된다. 이런 cheat sheet은 새로운 제품을 해킹할 때 새로운 가설을 세우지 않고 빨리 실행에 옮길 수 있는 아이디어로, 성공을 보장할 수는 없어도 성공에 더 가까이 갈 수 있는 ‘경험적 직관’이 될 수 있다. 나의 개인적인 경험으로 만든 cheat sheet 중 일부를 공개하자면 다음과 같다:
– 이메일에서 클릭할 수 있는 곳을 많이 만들수록 성과가 좋음.
– 버튼 색깔은 의외로 중요함. (예: 회색 버튼은 비활성화 된 것이라고 느낌)
– 비디오가 엠베드된 페이지의 성과가 이미지만 있는 페이지보다 성과가 좋음.
– 단순화가 일반적으로 더 좋음. (사람들이 이메일이나 페이지를 열독한다고 생각하지 말 것)
– 하지만 가끔은 더 많은 것이 중요함. (예: 결제 페이지에 있는 FAQ를 빼면 고객 전환이 낮아짐)
– 채팅 기능은 고객 전환에 아주 긍적적으로 작용함.
– 질문형 카피라이팅이 고객의 시선을 더 잘 끌어당김.
이렇게 과학, 예술, 그리고 경험적 직관으로 A/B test를 접근한다면 그로스가 숫자에만 의존한 차갑고 딱딱한 분야라고 느껴지지 않을 것이다. 🙂
“그로스 해킹, 어디까지 해봤니” 시리즈
Lesson 1: Paid Marketing 투자의 원칙
Lesson 2: Customer Retention (고객 유지 전략)
Lesson 3: 데이터 주도적 사고
