그로스 해킹 – 웹사이트 A/B 실험에 대한 7가지 법칙

몇 달 전 ‘그로스해킹 – 이보다 더 과학적일 수 없다’ 라는 포스팅을 통해 계량적으로 접근하는 그로스 해킹이 ‘논문’ 형식으로 발표 된다는 사실을 소개한 적이 있는데, 며칠 전 내가 예전에 다녔던 링크드인과 그 회사를 인수한 마이크로소프트에서 일하는 데이터 과학자들이 ‘웹사이트 A/B 실험에 대한 7가지 법칙’이라는 논문을 2014년 KDD 학회에서 발표한 자료를 접하게 되었다. 비록 몇 년 지난 자료지만 지금도 충분히 적용될 수 있는 것 같아 내 경험을 덧붙여 짧게 정리해서 공유.

(참고: 여기서 ‘법칙’은 rule of thumb, 즉 ‘어림잡은, 혹은 대략 적용되는’ 법칙이라고 해석하면 됨)

1. 작은 변화가 주요 지표에 큰 변화를 줄 수 있다

나의 그로스 해킹 시리즈에서 반복적으로 언급했지만 그로스 해킹의 핵심은 속도감 있게 많은 양의 실험을 수행하여 (홈런이 아닌) 단타로 점수를 내는 것이다. 많은 실험을 빨리 실행하기 위해서는 코딩을 적게 해야하고, 코딩을 적게 하려면 제품과 사용자 경험을 가급적이면 최소한으로 바꾸어야 한다. 이렇게 자주 ‘값 싼’ 실험을을 계속적으로 하다보면 ‘어쩌다가 걸려서’ 홈런이 나오는 땡큐한 상황이 간간히 나올 때가 있다. 논문은 MSN 웹사이트의 링크를 ‘새 탭에 보이기’, 그리고 Bing 검색 엔진의 검색 결과 색깔 실험이 그런 좋은 예라고 언급한다. 나 역시 링크드인에 있을 때 Upgrade 버튼을 파란색에서 노란색으로 바꾸어서 좋은 결과를 내었었고, 업그레이드 페이지 (chooser page라고 부름)에 배열을 다르게 함으로 수십 억 단위의 연간 추가 수익을 냈던 경험이 있다. (아래 자료 참고)

.

2. 대부분의 경우 실험의 결과가 지표에 큰 변화를 주지 않는다.

#1 법칙으로 흥분 했다면 제발 워~ 워~. 지난 번 포스팅에서도 중요하게 언급된 부분인데 대부분의 실험은 지표에 미미하거나 아예 영향을 주지 않는 경우가 대부분이다. 너무 큰 변화를 목격한다면 홈런을 외치기 보다는 어디 코드에 버그가 있는지 의심부터 해 봐야 하는 것이다. 잊지 말자… 단타싸움!

3. 케바케 (Your Mileage Will Vary)

어느 다른 회사의 어떠한 온라인 실험이 대박을 쳤다고 나도 그것을 따라하면 대박을 낼 수 있을 것이라는 기대를 하고 많은 투자를 하면 낭패를 보기 십상이다. 고객 구성, 제품의 특성, 주변 상황 등 모든 것 들이 다른 상황에서 동일한 실험 결과를 기대하는 것은 당연히 무리일 수 밖에 없다. 내가 파란색 버튼에서 노란색 버튼으로 재미 봤다고 해서 내가 아는 스타트업들에게 ‘모두 버튼을 노란색으로 바꾸세요~’ 라고 할 수 없는 이유가 바로 여기에 있다.대신 이렇게 남들이 성공했을 때 사용했던 접근했던 방식을 best practice로 일반화할 수 있다면 (예: 몇 가지 색깔의 변화로 실험을 해 보세요) 자신의 상황에 더 유연하게 적용할 수 있을 것이다.

참고로 이 반대 상황도 마찬가지이다. 사람들을 만나다 보면 꼭 ‘내가 해봐서 아는데, 이것은 절대 될 수가 없어’ 라고 주장하는 사람들이 있다. 그렇게 ‘답정너’인 태도보다 어떤 상황에서 이런 식으로 실험을 했는데 잘 안되었던 이유는 이런것 저런것 같다 라고 분석적인 태도를 취하고 그 교훈을 바탕으로 더 개선된 아이디어로 다시 도전할 수 있는 자세를 가지는게 더 바람직하다.

4. 웹사이트의 속도는 정말 정말 정말 중요하다

어떤 새로운 사용자 경험을 실험할 때 그것이 실제 웹사이트 속도에 얼마나 미치는지 점검하는 것이 좋다. 큰 회사들을 latency를 측정할 수 있는 도구들이 다 있겠지만 이런 화려한 도구가 없더라도 웹 브라우저의 디버그 툴 (크롬의 경우 오른쪽 클릭 > Inspect > Network) 을 사용, 페이지 각 콤포넌트들의 로딩 시간 등을 잴 수 있다. 인터넷 기반 서비스는 모든 것이 다 같은 경우 (all else equal) 웹사이트의 속도가 느려지면 핵심 지표의 성과도 낮아지기 마련이기에 반드시 신경쓰고 모니터링 하는 버릇을 들이자.

웹사이트 로딩 시간과 주요 지표는 보통 반비례 관계를 가진다. (이미지 논문에서 발췌)

5. 클릭 이탈을 막는 것은 어렵다. 클릭을 다른 곳으로 유도하는 것은 (그나마) 쉽다

Bing 검색엔진의 주요 지표중 하나는 클릭 이탈이다 (검색 결과를 클릭하지 않고 사용자가 이탈해 버리면 검색 결과가 형편 없다는 뜻). 마이크로소프트 개발자들이 이 지표 움직이려고 별 노력 다 해봤는데 의미있게 움직이는데 실패했다고 한다. 그나마 다행인 것은 사용자가 어디 클릭하는지는 충분히 영향을 줄 수 있다고. 이 법칙에서 나온 사용자 행동을 일반화 시켜 받아드리면 장바구니 담아두고 결제를 포기하는 사람들을 잡는 것 보다 장바구니에 아이템을 담을 때 조금 더 비싸거나 사용자에게 적합한 상품을 선택하도록 유도하는 것에 투자를 하는 등, 전자상거래 분야에 적절하게 적용할 수 있을 것 같다.

6. 복잡한 실험 설계를 피해라

‘실험 하는 김에 이런 것도 한번 알아보면 좋지 않을까?’의 똑똑해 보이려는 생각과 행동이 의도치 않은 문제점을 유발할 수 있다. A/B 테스트가 아닌 A/B/C/D 등의 다변수 실험을 할 경우 더 많은 트래픽이 필요로 할 뿐만 아니라 코드도 더 복잡해지고 (버그 위험!) orthogonality를 제대로 확인하지 않으면 왜곡된 실험 결과를 초래, 심지어는 웹사이트의 ‘폭망’으로 이어질 수 있는 위험이 있기 때문이다. 이것의 좋은(?) 예로 Knight Capital이라는 금융회사가 버그가 있는 코드를 실험 환경을 거치지 않고 바로 배포를 하여 $460M (4척6백만 달러!)라는 손실을 낸 일화가 논문에 소개된다. 간단하고 깔끔한 코드로 아주 적은 트래픽을 대상으로 실험을 수행 후 결과에 따라 트래픽을 점진적으로 늘린 다음 실험으로 넘어가는 것을 습관화 하길 추천한다.

7. 충분한 사용자를 확보한 후 실험에 임하라

통계의 매력은 작지만 의미있는 표본을 통해 전체 집단의 결과를 추정하는 것이다. 그로스 해킹 및 계량적인 마케팅 기법은 이런 의미있는 표본이 있을 때 제대로 힘을 발휘할 수 있다. 만약 사용자 수가 많지 않다면 실험을 더 오래 돌리거나, 제품에 더 큰 변화를 주는 이상적이지 못한 선택을 해야 할 것이다 (= 늦은 의사결정 또는/혹은 더 많은 위험 수반). 아니면 차라리 마케팅과 제품 개발의 본질로 돌아가서 ‘고객이 무엇을 원하는지’를 발품 팔아 그들에게 직접 피드백을 듣고 그것을 바탕으로 의사결정을 하는것이 낫다 (= do things that don’t scale). 다음 도표는 논문에서 제시한 적절한 표본 집단의 크기. 역시 유동성이 큰 매출 지표는 꽤 많은 사용자들을 표본집단으로 필요함을 알 수 있다.

각종 지표와 권고되는 표본 집단의 크기 (이미지 논문 발췌)
.

그로스 해킹 – 이보다 더 과학적일 수 없다

https://pixabay.com/en/arrows-growth-hacking-marketing-2128979/

큐빗(Qubit)이라는 마케팅 분석 플랫폼 스타트업이 그들의 플랫폼에서 수행된 수 천 개의 그로스 해킹 실험 결과를 분석한 결과를 논문 형식으로 발표하였다. 사실 그로스 해킹 만큼 실용적이고 실증적인 (empirical) 계량 마케팅 논문을 쓰기에 좋은 주제가 없다고 생각했었는데 누가 이렇게 해주니 너무 감사!

다음은 논문의 간단한 요약:

표본 집단 및 분석 정의

  • 전자상거래 (여행업 포함) 업체들의 실험 결과를 토대로 함
  • 2,600 여개의 A/B 실험을 29개 군으로 분류
  • 성공 지표로 RPV (Revenue Per Visitor) 의 % 상승률로 잡음 (개인적으로 RPV는 생소한 개념인데, 궁극적으로는 ARPU와 같은 개념인 듯)

분석 요약

평균 성과 상승률이 가장 높은 기법들:

  • 희소성 (scarcity): +2.9% (홈쇼핑에서 ‘몇 개 남지 않았어요~’ 하면서 자주 사용하는 기법인데… 역시!)
  • 대세 마케팅 (social proof; 남들도 하니깐): +2.3%
  • 긴급함 (urgency; 카운트 다운 표시): +1.5% (홈쇼핑에서 ‘마감 임박~’ 하는… 이것도 역시!)
  • 떠난 사람 붙잡기 (abandonment recovery): +1.1%
  • 제품 추천 (recommendation): +0.4%

대부분의 UI 조금씩 바꾸는 ‘꼼수’는 잘 통하지 않음:

  • 색깔 바꾸기: +0.0%
  • 버튼 바꾸기: -0.2%
  • 버튼에 쓰여있는 문구 바꾸기: -0.3%

90% 이상의 실험이 매출의 +/- 1.2% 내외로 영향을 끼침. 하지만 모든 것을 통틀어서 봤을 때 대체적으로 지속적으로 A/B 실험을 하는 것이 매출에 긍적적으로 영향을 줌.

*******************************************

개인적으로 느낀점 몇 가지:

역시 구관이 명관!

  • 홈쇼핑에서 사용하는 기법들은 전자상거래로 넘어 와서도 통한다. (홈쇼핑의 마법같은 고객 확보 기법들을 개척한 마케터들에게 박수를…)

UI 바꾸기는 안통함?

  • 예전 블로그에서 밝혔듯이 링크드인에서 사업부 그로스 해킹을 담당할 때 논문에서 언급한 UI ‘꼼수’들의 효과가 매우 쏠쏠하였다 (링크드인 실례). 어쩌면 전자상거래/여행업이 아니여서 다른 결과가 나왔는지도 모르겠다. 역시 그로스 해킹은 이론도 중요하지만 실제로 이것 저것 해 보면서 사업과 고객에 맞는 기법을 찾는 ‘노가다’가 필요한 듯. (한마디로 ‘그로스 해킹, 책으로 배웠어요~’ 하면 안됨)

90% 이상의 실험이 매출에 미미한 영향을 미침?

  • 고액의 상품이거나 매출의 분포가 매우 넓은 경우 (전자상거래 및 여행이 바로 이러함) 매출의 상승률을 통계적으로 유의미하게 (statistically significant) 계산해 내는 것은 매우 어렵다. 이런 경우 outlier들을 없애기 위해 winsorize 기법들을 사용해야 하는데 논문은 그러하지 않았다. 만약 RPV가 아니고 순 거래 횟수 등으로 지표를 잡았다면 다른 결과가 나왔을지도 모르겠다.
  • 그로스 해킹은 흔히 game of inches (‘cm의 게임’) 라고 불린다. 당연히 미미한 (그러나 소중한) 성과가 나오기 마련이다. 한번에 사업을 변화시킬 대박의 그로스 해킹 기법들을 기대 했다면 그로스 해커의 기본 자세부터 잘못 되었다고 할 수 있다. 가끔은 모래성 쌓으며 삽질 한다는 느낌도 들지만 포기하지 않고 꾸준히 가설 기반의 실험을 통해 조금씩 발전해 나가고, 이것이 반복 되면서 궁극적으로 큰 성과를 얻는 것이 그로스 해킹이다. 마치 소백산 가파른 비탈길을 한 발 씩 열심히 올라 부석사 안양루에 다다러 뒤돌아 봤을 때 눈에 들어오는 장관의 느낌이라고나 할까…

.

그로스 해킹, 어디까지 해봤니? #9: 그로스 해커의 자질

https://pixabay.com/en/hand-leave-marker-pen-glass-895588/

집 청소를 하면서 예전 회사에서 팀원 채용 인터뷰시 쓰려고 정리했던 노트를 발견하였다. 날짜를 보니 2013년 말, 링크드인이 미친듯이 성장할 때 내 팀은 물론, 옆에 팀 친구들의 채용도 돕고자 일주일에 십 수 시간씩 인터뷰에 쏟았을 때 작성했던 것이었다. 최고의 인재를 뽑고 싶은 마음은 누구나 있지만 일주일에 근무시간 절반 가량을 채용 업무 및 인터뷰에 할애하면 실제 업무가 마비된다. 이 과정을 반복하지 않고 조금 더 효율적으로 지원자들을 ‘pattern matching’시키기 위해 수 천 장의 이력서를 보고 백 번에 가까운 인터뷰를 하면서 쌓은 그로스 해커의 자질에 대한 생각을 노트에 적어둔 것인데 블로그를 통해 나눔 + 재정리를 하고자 한다.

사실 훌륭한 그로스 해커를 뽑는 것은 정말 어렵다 — 일단 제대로 그로스 해킹을 해본 사람이 절대적으로 부족하고, 또 그로스 해킹은 융합 학문같은 성격이 있어서 이력서에 나온 ‘스펙’만으로 지원자의 실력과 업무 연관성을 판별하기 매우 어렵기 때문이다. 이에 그로스에 잠재력이 있는 사람을 뽑는것이 더 효과적이다. 인터뷰 + 실제 업무 성과 + 내 주변에 이 분야로 ‘성공한’ 사람들을 봤을 때 훌륭한 그로스 전문가들은 다음과 같은 자질이 두각됨을 느낀다.

지적 호기심

그로스 해커들은 ‘쓸데없는 질문’들이 많아야 한다. 너무나 당연한 것들에 대해 ‘왜’라는 질문을 던질 줄 알아야 되기 때문이다. 일반 사람들은 보통 웹사이트의 버튼 색깔을 보고 ‘이게 왜 파란색 버튼이지?’ 라고 궁금해 하거나 전자 상거래 결제를 할 때 ‘왜 디지털 상품인데 주소를 입력해야되지?’ 라고 반문하지 않을 것이다. 하지만 그로스 해커라면 ‘노란색 버튼이 더 눈에 잘 띄지 않을까?’, ‘주소를 입력 안하면 더 쉽게 결제를 할 수 있지 않을까?’ 라는 가설들을 세우고, 실험을 통해 증명 / 반증한다. 이런 질문들을 던지는 사람들은 꼭 업무 관련이 아니더라도 평소에 일반적인 것들에 대해 호기심을 나타냄을 느꼈다. 즉, 지적 호기심이 높아 기존에 있는 것에 대해 계속해서 질문을 던지고, 또 새로운 것을 시도해 보는 것을 좋아하는 사람들인 것이다. (즉, 고등학교 때 선생님께서 ‘그냥 외워!’ 라고 했던 말씀을 빨리 잊어버려야 한다는…)

꾸준함

그로스가 최근까지 나름 ‘핫’한 단어라서 멋있어 보이는 면이 없지 않아 있는데, 사실 그로스 실무를 해본 사람들은 전혀 ‘핫’하지 않다는 주장에 공감할 수 있을 것이다. 그로스 해킹의 80% 이상은 사소한 것을 조금씩 바꿔보면서 실험해 보는 것이고, 그 중 80%의 결과는 ‘꽝’이다. 사소하고, 대부분이 실패로 끝나는 실험들에 좌절하지 않고 꾸준하게 정진하는 자세를 가지는 사람들이 결국 나머지 20%의 경우에서 20%의 확률로 ‘대박’을 경험할 수 있는 것이다. 예전 나랑 같이 일했던 링크드인 PM들도 3개월에 30-40개 정도의 그로스 실험을 하고 그 중 성공적인 실험 4-5개로 ‘먹고 살았던’ 기억이 난다. 계속 결과가 안나오고 삽질만 계속할 때는 답답하고 미츄어 버릴 것 같기도 했지만 (특히, 답답하다고 못 참고 나가는 엔지니어가 속출할 땐 아오… ㅠㅠ ) 그러다가 한번 대박 결과를 냈을 때의 희열은 느껴보지 못한 사람은 상상하기 힘들다는!

전략적 사고를 가진 엔지니어 (not 엔지니어스러운 전략가)

그로스에 뛰어난 사람들과 이야기를 하다보면 시스템에 대한 이해가 상당히 깊음을 자주 느꼈다. 또한 어떤 전략을 짜는 것에 만족하는 것이 아닌, 어느 전략적인 사고를 바탕으로 여러 아이디어를 직접 시도해 보고, 엑셀과 SQL을 돌려보고, 엔지니어가 짜준 코드를 조금씩 바꿔가면서 직접 프로토타이핑 및 분석을 하는 모습이 두각된다. 이는 엔지니어스러운 전략가가 보여주는 ‘논리적이고 계량적인’ 접근 방법보다 한참 더 전선으로 나가있는 자세이다. 즉, maker의 모습이다. 이런 모습을 보이는 사람들이 다른 엔지니어들을 동기부여 시킬 수 있을 뿐만 아니라, 무엇을 만드는 것에 희열을 느끼기 때문에 위에서 말한 지적 호기심 및 꾸준함을 더 오랫동안 지속시킬 수 있는 것이 아닌가 생각이 든다.

공유하기를 좋아함

그로스는 정말 ‘머리를 맞대는’ 효과가 큰 분야이다. 개인이 생각해 낼 수 있는 아이디어는 한정되어 있고, 또 많은 경우 개인이 생각한 아이디어는 이미 누군가가 해봤을 가능성이 크다. 팀원, 그리고 다른 그로스 전문가들과 자신들의 아이디어 및 경험들을 공유함으로써 새로운 아이디어를 얻고, 또 빠지기 쉬운 함정을 피할 수 있기에 좋은 결과에 더 가까이, 더 빠르게 접근할 수 있는 여지가 생긴다. 개인적인 경험을 비추어 봤을 때 링크드인 무료 서비스 그로스를 담당했던 팀과 분기별로 아이디어 및 결과를 공유하고 의논하면서 얻은 아이디어들을 꽤 쏠쏠하게 사용했던 기억이 난다. 내가 가진 그로스 아이디어들이 나만의 ‘비밀 소스’라고 생각하지 말고 널리 공유하여 여러 사람들의 의견을 바탕으로 더 발전시키는 자세가 더 큰 성공의 지름길이다.

.

최근 투자 분위기가 위축되고 유명 스타트업들의 실패 소식이 많아지면서 실리콘밸리도 그로스 해킹보다 제품과 시장의 본질이 다시금 강조되고 있는 추세이다. 그럼에도 불구하고 계속적으로 성장하고 있는 회사들은 그로스 해커들을 채용하는데 여념이 없다. 시장진입 (first-to-market) 보다 시장선장악 (first-to-scale)이 엄청나게 중요한 이 시대에 그로스가 회사의 성공에 기여하는 정도는 장기적으로 점점 늘어날 것으로 나는 예상하며, 위와 같은 자질을 가진 멋진 그로스 해커들의 비약을 기대한다.

.

AndrewAhnCo_sub_button

그로스 해킹, 어디까지 해봤니? #8: 이런 그로스 해킹은 아니되오

얼마 전 테크크런치에서 Everalbum 이라는 앱에 대한 기사를 접하였다. Everalbum은 클라우드에 사진을 저장하고 친구들과 공유할 수 있는 최근 나름 ‘뜨고 있는’ 앱이다.

“Everalbum is proof that SMS invite spam still works.
에버앨범은 문자 메시지 스팸이 아직 유효 하다는 증거이다.”

아니 이럴수가! 잘 나가는 Everalbum을 스팸 주도자로 몰다니! 기사를 끝까지 읽어보니 어라? 정말 스팸이네.

내용은 다음과 같다. Everalbum은 빠르게 사용자를 늘리기 위하여 ‘친구 초대하기’ 기능을 추가 하였다. 친구를 한 명 성공적으로 초대할 때 마다 저장공간 1기가를 주는 인센티브까지 넣어서. 문제는 여기서 부터 시작. 친구를 초대하는데 있어 효율을 높이기 위해 사용자의 주소록 모두를 기본 설정, 그리고 ‘초대하기’를 주 버튼으로 설정. 이 과정을 취소하거나 선택된 사람들을 선택 취소를 하는 버튼은 매우 흐릿한 회색으로 처리하여 잘 보이지 않도록 처리함. (덤으로 폰트 사이즈 축소 까지).

everalbum_invite
친구 초대하기 스크린. Deselect all 및 cancel이 작은 폰트, 회색으로 처리되어 있다. (심지어 ‘cancel’ 은 ‘not now’로 써있음)

아니나 다를까, 많은 사람들은 모르고 ‘초대하기 버튼’을 누르고 순식간에 주소록에 저장되어 있는 모든 지인들에게 문자가 뿌려졌다. 당연 사람들의 반발은 거셌지만 놀랍게도 Everalbum 창업자 Andrew Dudum은 이 시스템에 문제가 없다고 주장한다. “드랍박스, 우버, 링크드인 다 이렇게 하는거잖아요?” (아 ㅅㅂ… 강 펀치 날려주고 싶구만-_-)

빡친 고객들...
빡친 고객들…

결론부터 말하자면 이것은 스팸이다. 그로스 해킹을 가장한 지저분한 꼼수이다.

Everalbum의 전반적인 ‘초대하기’ 시스템의 그로스 해킹 마음가짐은 충분히 이해한다. 사실 매우 기발한 아이디어인 것은 사실이다. 아마 수많은 벤치마킹과 데이터 분석 결과 ‘초대하기’ 기능을 쓰는 것이 가장 높은 바이럴 상수를 낼 수 있을 것이라고 예상하고 진행한 결과라고 충분히 짐작이 간다. 하.지.만… 그로스 해킹의 ‘방법’만 있고 그로스 해킹의 ‘정신’이 빠져있다고 나는 생각한다. 그로스 해킹의 본질은 사용자들에게 제품의 가치를 더 빠르게 전해주는 것이다. 이러기 위한 방법으로 A/B 실험, funnel optimization, virality 등을 수행하는 것이다. 현재 사용자들을 교묘한 UI로 속여서 다른 사람들을 끌어오게 하는 ‘매개체’로 전락시키는 것은 결코 사용자, 그리고 미래 사용자들에게 가치를 창출하지 않는다. 자신이 이용당했다는 사실을 안 순간 그 앱을 다시 사용하고 싶을까?

링크드인 다닐 때 비슷한 경험과 이를 통해 얻은 교훈을 소개한다. 그때 당시 나는 유료사업부 그로스 관련 업무를 하고 있었는데 컨슈머팀 (무료 일반 링크드인) 그로스 팀과 분기별로 한번씩 만나 아이디어와 결과를 공유하곤 했다. 유료사업부의 그로스는 이미 링크드인 회원을 상대로 하는 업무이기 회원들의 다양한 정보들을 이용하여 업그레이드를 권할 수 있었다. 반면 컨슈머팀은 아직 회원이 아닌 사람들을 링크드인 회원으로 만들어야 했기 때문에 상대적으로 개인화 및 추천을 할 수 있는 기반이 많지 않았다. 이에 이들의 가장 큰 (그리고 가끔씩은 유일한) 무기는 기존 회원들의 주소록을 이용하여 단체 초대장을 보내는 것.

놀랍게도 그 때 컨슈머 그로스 팀은 Everalbum이 했던 것을 거의 그대로 했었다. 사용자가 가입하는 절차 중 한 단계를 ‘지인 초대’로 만들고 주소록에 있는 사람들을 모두 뽑아내 이메일로 초대장을 보내고 있던 것이다. 표면상의 지표는 당연히 잘 나왔다. 한 명이 새로 가입할 때 마다 주소록 초대할 확률 x 평균 주소록 크기 x 평균 가입 확률이라는 공식에 사용자수는 늘어만 갔다. 하지만 어느날 누군가가 고객센터로 매우 큰 문제가 생겼다고 알려주었다. 어느 신규 가입자가 ‘주소록 업로드’를 통해 모르고 (=그냥 클릭 클릭 넘어가기) 주소록에 있는 모든 사람들을 초대를 하였는데 그 초대 이메일을 받은 사람이 수 년 전 이혼한 전 처였다는 것이다. 또 어느 경우는 안 좋게 끝낸 거래처에게 초대장이 가고, (웃프지만) 바람을 피고 있던 사람에게 초대장이 날라갔다는 경우도 있었다. 이런 상황을 겪은 사람들은 얼마나 노발대발 했겠는가. 소송을 하겠다는 사람들도 있었고, 트위터나 언론사에 고발하여 미디어의 이슈로 만든 사람들도 있었다.

짧은 홍역처럼 지나간 이슈였다면 그나마 다행이었을 텐데, 이 시기에 급속도로 모았던 사용자들의 링크드인 사용량 및 고객총가치가 지속적으로 낮음을 발견하였다. 맨 처음 초기 가입자 확보 지표만 좋았지, 실제로 중요한 사용자 이용량 및 수익화 지표는 완전 꽝 이었던 것이다. 눈에 보이는 얕은 ‘그로스 지표’만 쫓다가 소비자의 인식도 매우 나빠지고 실제 의미있는 결과도 내지 못한 루즈-루즈 상황이 된 것이다. 된통 당한 팀은 소비자를 기만하거나 속이는 것 처럼 보이는 기법들은 결코 장기적인 성공에 기여하지 못한다는 교훈을 얻었고, 이에 주소록을 통한 ‘지인 초대’ 기능을 대대적으로 손보는 동시에 더 의미있는 사용자 유지 및 이용량으로 핵심 지표를 바꾸게 되었다. (또한 주소록이 개인에게 얼마나 민감하고 은밀한, 함부로 다뤄서는 안되는 것임을 뼈저리게 알게 됨).

점점 더 치열해지는 경쟁 속에서 기발한 아이디어로 조금이라도 더 효과적으로 많은 고객을 모으는 행위는 정말 중요하다. 이에 그로스 해커들이 점점 늘어나는 것이기도 하다. 하지만 제대로 된 가치관과 고객에 대한 배려가 없는 그로스 해킹 행위는 약삭빠른 꼼수밖에 되지 못한다. 이런 그로스 해킹은 제발 하지 말자.

AndrewAhnCo_sub_button

그로스 해킹, 어디까지 해봤니? #7: 데이터의 유의미 찾기

그로스 해킹이 주목을 받는 이유 중 하나는 결과의 계량적인 측정이 가능하기 때문이라고 생각한다. 개인의 주관적인 의견이 아닌, 객관적인 데이터를 통해 의사결정을 할 수 있기에 ‘말랑한 것’을 질색하는 개발자와 테크회사에서 자신의 가치를 증명해야 했던 마케터 모두에게 매력적으로 다가온 것이다. 하지만 데이터를 제대로 알지 못하는 사람에겐 그로스 해킹의 계량적 방법론이 독으로 다가올 수 있다.

다음과 같은 예를 들어보자. 신제품 출시를 앞두고 두 가지 옵션을 가지고 실험을 하였는데 다음과 같은 결과가 나왔다. 어느 옵션으로 웹사이트 디자인을 밀고 가야할까?

ab_test_example

정답은… it depends (= 케바케) 이다. 만약 표본 크기가 백만 명 이었다면 B 실험군이 대박이라고 결론지을 수 있을 것이다. 하지만 만약 실험을 실행한 표본의 크기가 30명이었다면? 이 경우의 답은 ’모른다, 혹은 차이가 없다’이다. 오차 범위가 엄청나게 크기 때문이다. (30명의 표본이라는 것은 즉 A는 5명, 그리고 B는 10명이라는 절대적으로 적은 수의 사람이 선택을 했다는 것이다). 이런 작은 표본을 대상으로 한 실험으로 도출한 결과를 무조건적으로 맹신하여 사용한다면 엄청나게 큰 우를 범할 수 있는 위험에 빠지게 된다.

이를 방지하기 위해 반드시 숙지해야 할 개념 둘이 있는데 하나는 ‘확률적 유의미’, 그리고 다른 하나는 ‘실용적 유의미’이다.

확률적 유의미 (statistical significance)

선거 개표 방송이나 닐슨의 시청률 조사 등에서 ’95%의 신뢰도, 표준 오차 ± 몇%’라는 문구를 본 적이 있을 것이다. 표본을 통해 산출한 예상은 100% 정확할 수는 없기에, 확실성의 정도를 확률로 표현하는 것이다. 그로스 해킹도 마찬가지이다. 새로운 실험에서 관찰된 차이가 실제 적용했을 때 100% 정확히 맞아 떨어진다고 보장할 수 없다. 하지만 주어진 범위 내의 차이가 실제에서도 일어날 확률은 계산해 낼 수는 있다. 위 예에서 30명 표본의 결과를 사용할 수 없는 이유는 95%의 신뢰도를 만족시키는 범위가 30% ± 엄청 큰 오차% 이기 때문이다.

확률적 유의미를 가지기 위해서는 충분히 큰 표본을 사용하거나, 실험 기간을 더 오래 하거나, 아니면 훨씬 더 큰 차이를 관측할 수 있는 실험을 선택해야 한다. 대부분의 경우는 더 큰 표본의 실험을 감행하는 것으로 확률적 유의미를 달성한다.

실용적 유의미 (practical significance)

확률적 유의미는 어느 두 관측의 차이가 실제로 재현될 가능성을 알려주는 것이라면 실용적 유의미는 ‘사업가’로써의 그로스 해커의 측면이 강조되는 개념이다. 실용적 유의미란, 실제로 관측된 차이가 우리에게 실질적인 도움이 되는 것인지를 판별하는 것이다.

예를 들어 어느 멋진 그로스 해킹으로 고객 변환율이 0.001% 늘었다고 가정하자. 확률적 유의미도 충분히 있다고 하자. 하지만 당신의 웹사이트가 페이스북이나 구글이 아닌 이상, 0.001%의 증가가 회사의 사업에 의미있게 기여하는 결과라고 할 수 있을까? 이런 경우의 99.9%는 쓸데 없는 짓 하느냐고 귀한 시간과 돈, 그리고 분석 자원을 사용한 것이라고 볼 수 있다. 😭

이런 ’삽질’의 위험을 최소화 하려면 그로스 해킹 가설에 실용적 유의미를 포함하여 구체적으로 작성해야 할 필요가 있다. 예를 들어:

practical_sig_ex

예전 전략 컨설턴트 시절, 내 상사가 강조했던 것이 있다. “데이터는 주관적인 것이야. 변호사들이 같은 증거물을 가지고 서로 자신들의 주장이 옳다고 말하는 것 처럼, 데이터도 해석하는 상황, 의도, 그리고 사람들에 따라 다르게 쓰여지기 마련이지.” 데이터의 이해도가 부족할수록, 분석에 대한 깊이가 얕을수록 이런 데이터의 ’주관적인 힘’에 이끌려 잘못된 결정을 내릴 위험이 있다. (심지어 이런 결정을 내리면서도 ’나는 데이터 주도적 의사결정을 하지. 음하하!’ 라고 생각할지도).

그로스 하면서 데알못 되지 말자.

stat_practical_sig

* 참고: 그로스 해커들이 통계 전문가일 필요는 없기에 위의 확률적 유의미의 개념을 비약적으로 단순화 시켰는데, 더 과학적으로 그로스 해킹을 접근하고 싶은 스타트업은 데이터 과학자 및 통계학 지식이 있는 애널리스트 조직을 두는 것을 추천한다. 특히, 최근 p-value의 남용 논란 등 이쪽 분야가 시끄러운 시기엔 더더욱.

이미지] https://goo.gl/6Qiu6t

.

AndrewAhnCo_sub_button