그로스 해킹 – 웹사이트 A/B 실험에 대한 7가지 법칙

몇 달 전 ‘그로스해킹 – 이보다 더 과학적일 수 없다’ 라는 포스팅을 통해 계량적으로 접근하는 그로스 해킹이 ‘논문’ 형식으로 발표 된다는 사실을 소개한 적이 있는데, 며칠 전 내가 예전에 다녔던 링크드인과 그 회사를 인수한 마이크로소프트에서 일하는 데이터 과학자들이 ‘웹사이트 A/B 실험에 대한 7가지 법칙’이라는 논문을 2014년 KDD 학회에서 발표한 자료를 접하게 되었다. 비록 몇 년 지난 자료지만 지금도 충분히 적용될 수 있는 것 같아 내 경험을 덧붙여 짧게 정리해서 공유.

(참고: 여기서 ‘법칙’은 rule of thumb, 즉 ‘어림잡은, 혹은 대략 적용되는’ 법칙이라고 해석하면 됨)

1. 작은 변화가 주요 지표에 큰 변화를 줄 수 있다

나의 그로스 해킹 시리즈에서 반복적으로 언급했지만 그로스 해킹의 핵심은 속도감 있게 많은 양의 실험을 수행하여 (홈런이 아닌) 단타로 점수를 내는 것이다. 많은 실험을 빨리 실행하기 위해서는 코딩을 적게 해야하고, 코딩을 적게 하려면 제품과 사용자 경험을 가급적이면 최소한으로 바꾸어야 한다. 이렇게 자주 ‘값 싼’ 실험을을 계속적으로 하다보면 ‘어쩌다가 걸려서’ 홈런이 나오는 땡큐한 상황이 간간히 나올 때가 있다. 논문은 MSN 웹사이트의 링크를 ‘새 탭에 보이기’, 그리고 Bing 검색 엔진의 검색 결과 색깔 실험이 그런 좋은 예라고 언급한다. 나 역시 링크드인에 있을 때 Upgrade 버튼을 파란색에서 노란색으로 바꾸어서 좋은 결과를 내었었고, 업그레이드 페이지 (chooser page라고 부름)에 배열을 다르게 함으로 수십 억 단위의 연간 추가 수익을 냈던 경험이 있다. (아래 자료 참고)

.

2. 대부분의 경우 실험의 결과가 지표에 큰 변화를 주지 않는다.

#1 법칙으로 흥분 했다면 제발 워~ 워~. 지난 번 포스팅에서도 중요하게 언급된 부분인데 대부분의 실험은 지표에 미미하거나 아예 영향을 주지 않는 경우가 대부분이다. 너무 큰 변화를 목격한다면 홈런을 외치기 보다는 어디 코드에 버그가 있는지 의심부터 해 봐야 하는 것이다. 잊지 말자… 단타싸움!

3. 케바케 (Your Mileage Will Vary)

어느 다른 회사의 어떠한 온라인 실험이 대박을 쳤다고 나도 그것을 따라하면 대박을 낼 수 있을 것이라는 기대를 하고 많은 투자를 하면 낭패를 보기 십상이다. 고객 구성, 제품의 특성, 주변 상황 등 모든 것 들이 다른 상황에서 동일한 실험 결과를 기대하는 것은 당연히 무리일 수 밖에 없다. 내가 파란색 버튼에서 노란색 버튼으로 재미 봤다고 해서 내가 아는 스타트업들에게 ‘모두 버튼을 노란색으로 바꾸세요~’ 라고 할 수 없는 이유가 바로 여기에 있다.대신 이렇게 남들이 성공했을 때 사용했던 접근했던 방식을 best practice로 일반화할 수 있다면 (예: 몇 가지 색깔의 변화로 실험을 해 보세요) 자신의 상황에 더 유연하게 적용할 수 있을 것이다.

참고로 이 반대 상황도 마찬가지이다. 사람들을 만나다 보면 꼭 ‘내가 해봐서 아는데, 이것은 절대 될 수가 없어’ 라고 주장하는 사람들이 있다. 그렇게 ‘답정너’인 태도보다 어떤 상황에서 이런 식으로 실험을 했는데 잘 안되었던 이유는 이런것 저런것 같다 라고 분석적인 태도를 취하고 그 교훈을 바탕으로 더 개선된 아이디어로 다시 도전할 수 있는 자세를 가지는게 더 바람직하다.

4. 웹사이트의 속도는 정말 정말 정말 중요하다

어떤 새로운 사용자 경험을 실험할 때 그것이 실제 웹사이트 속도에 얼마나 미치는지 점검하는 것이 좋다. 큰 회사들을 latency를 측정할 수 있는 도구들이 다 있겠지만 이런 화려한 도구가 없더라도 웹 브라우저의 디버그 툴 (크롬의 경우 오른쪽 클릭 > Inspect > Network) 을 사용, 페이지 각 콤포넌트들의 로딩 시간 등을 잴 수 있다. 인터넷 기반 서비스는 모든 것이 다 같은 경우 (all else equal) 웹사이트의 속도가 느려지면 핵심 지표의 성과도 낮아지기 마련이기에 반드시 신경쓰고 모니터링 하는 버릇을 들이자.

웹사이트 로딩 시간과 주요 지표는 보통 반비례 관계를 가진다. (이미지 논문에서 발췌)

5. 클릭 이탈을 막는 것은 어렵다. 클릭을 다른 곳으로 유도하는 것은 (그나마) 쉽다

Bing 검색엔진의 주요 지표중 하나는 클릭 이탈이다 (검색 결과를 클릭하지 않고 사용자가 이탈해 버리면 검색 결과가 형편 없다는 뜻). 마이크로소프트 개발자들이 이 지표 움직이려고 별 노력 다 해봤는데 의미있게 움직이는데 실패했다고 한다. 그나마 다행인 것은 사용자가 어디 클릭하는지는 충분히 영향을 줄 수 있다고. 이 법칙에서 나온 사용자 행동을 일반화 시켜 받아드리면 장바구니 담아두고 결제를 포기하는 사람들을 잡는 것 보다 장바구니에 아이템을 담을 때 조금 더 비싸거나 사용자에게 적합한 상품을 선택하도록 유도하는 것에 투자를 하는 등, 전자상거래 분야에 적절하게 적용할 수 있을 것 같다.

6. 복잡한 실험 설계를 피해라

‘실험 하는 김에 이런 것도 한번 알아보면 좋지 않을까?’의 똑똑해 보이려는 생각과 행동이 의도치 않은 문제점을 유발할 수 있다. A/B 테스트가 아닌 A/B/C/D 등의 다변수 실험을 할 경우 더 많은 트래픽이 필요로 할 뿐만 아니라 코드도 더 복잡해지고 (버그 위험!) orthogonality를 제대로 확인하지 않으면 왜곡된 실험 결과를 초래, 심지어는 웹사이트의 ‘폭망’으로 이어질 수 있는 위험이 있기 때문이다. 이것의 좋은(?) 예로 Knight Capital이라는 금융회사가 버그가 있는 코드를 실험 환경을 거치지 않고 바로 배포를 하여 $460M (4척6백만 달러!)라는 손실을 낸 일화가 논문에 소개된다. 간단하고 깔끔한 코드로 아주 적은 트래픽을 대상으로 실험을 수행 후 결과에 따라 트래픽을 점진적으로 늘린 다음 실험으로 넘어가는 것을 습관화 하길 추천한다.

7. 충분한 사용자를 확보한 후 실험에 임하라

통계의 매력은 작지만 의미있는 표본을 통해 전체 집단의 결과를 추정하는 것이다. 그로스 해킹 및 계량적인 마케팅 기법은 이런 의미있는 표본이 있을 때 제대로 힘을 발휘할 수 있다. 만약 사용자 수가 많지 않다면 실험을 더 오래 돌리거나, 제품에 더 큰 변화를 주는 이상적이지 못한 선택을 해야 할 것이다 (= 늦은 의사결정 또는/혹은 더 많은 위험 수반). 아니면 차라리 마케팅과 제품 개발의 본질로 돌아가서 ‘고객이 무엇을 원하는지’를 발품 팔아 그들에게 직접 피드백을 듣고 그것을 바탕으로 의사결정을 하는것이 낫다 (= do things that don’t scale). 다음 도표는 논문에서 제시한 적절한 표본 집단의 크기. 역시 유동성이 큰 매출 지표는 꽤 많은 사용자들을 표본집단으로 필요함을 알 수 있다.

각종 지표와 권고되는 표본 집단의 크기 (이미지 논문 발췌)
.

자고 일어났더니 성공하는 실리콘밸리

https://www.pexels.com/photo/marketing-school-business-idea-21696/

‘실리콘밸리’라고 하면 명문대를 중퇴한 컴퓨터 초 고수들이 차고 한 구석에서 코딩 신공을 발휘하여 세계적인 제품과 서비스를 짠~ 하고 출시해 하루 아침에 부와 명예를 거머쥔 성공한 창업자들이 판치는 곳이라고 묘사될 때가 있다.

과연 그럴까?

최근 Masters of Scale과 How I Built This 라는 창업자들을 인터뷰하는 팟캐스트를 들으며 느낀 것은 대부분의 창업자들은 오랜 시간 동안 꾸준하게 앞만 보며 달렸고, 그 과정에서 너무나 많은 실패와 위기를 경험하였으며, 이런 크고 작은 실패마저 교훈으로 삼으며 계속해서 자신의 열정 분야를 미친듯이 파다보니 어느 순간 성공에 이르렀다는 것이다. 다음은 팟 캐스트에서 소개된 창업자들의 이야기 중 일부:

마크 주커버그는 어렸을 때 부터 이것 저것 인터넷 기반 제품을 만드는 것을 취미로 삼았다고 한다. 마크가 고등학생 때 그의 아버지는 개조한 집에서 치과를 운영 하였는데 병원과 집을 들락 거리기 뭐해서 인트라넷으로 채팅을 할 수 있는 메신저를 개발 하였고 (심지어 AOL Instant Messenger가 나오기도 전에!), 하버드에서는 시험 준비를 위해 학생들이 자신의 공부 노트를 올려서 공유하고 온라인으로 토론할 수 있는 사이트를 만들어 자신은 필기 하나도 안하고 쪽집게 노트를 만들었을 뿐 만 아니라 그 반 전체 평균 성적도 올렸다고. 이렇게 꾸준하게 인터넷을 이용해 ‘남들과 연결하고 공유하는’ 제품들을 꾸준히 생각하고 만들어 나갔던 경험이 바탕이 되어 지금 20억 명이 넘게 사용하는 페이스북 ‘제국’을 건설할 수 있게 된 것이다.

리드 호프먼도 링크드인이라는 거대한 직장인 소셜 네트워크를 만들기 전, 소셜넷(SocialNet)이라는 온라인 ‘만남의 장소’ 스타트업을 운영하다가 말아(?) 드신 적이 있다. 소셜넷은 사람과 관련된 모든 ‘만남’을 온라인을 통해 이루고자 했던 서비스였는데 (예: 데이팅, 룸메 구하기, 테니스 칠 상대 찾기), 이 때의 뼈 아픈 실패가 좌절이 아닌 ‘하나의 페르소나에 집중해서 그것만 누구보다 더 잘 파야된다’라는 교훈이 되었다고 한다. 당연한 이야기지만 그 교훈을 바탕으로 링크드인을 창업하였고, 직장인 페르소나만 꾸준하게 파서 지금의 5억 명의 회원이 넘는 세계 유일무이의 글로벌 전문직 소셜 네트워크로 우뚝 서게 된 것이다.

요새 유니콘 스타트업들이 주춤하고 있는데 그 와중에 계속해서 ‘잘 나가고/버티고 있는’ 시장 대신 봐주고 배달 해주는 앱 Instacart의 창업자인 아프루바 메타 역시 스마트폰으로 장을 보는 아이디어에 도달하기까지 무려 스무 개의 스타트업을 말아 먹었다고 한다. 그 역시 중간에 좌절하고 포기했더라면 유니콘의 냄새도 맡지 못했겠지.

물론 엘론 머스크나 패트릭 콜리슨같은 창업만 하면 성공하는 말도 안되는 사람들이 간혹 있지만 그런 이야기 보다 위 처럼 실패에 개의치 않고 묵묵하고 꾸준하게 자신의 길을 걷고 도전하는 허슬러들의 이야기가 더 많다.

자고 일어났더니 급 성공하는 실리콘밸리가 아니라 10년 걸려 급 성공하는 (overnight success that took ten years) 실리콘밸리인 것이다.

결론: 열심히 꾸준하게 노력하며 살자.

.

[추가 참고 자료]

1] Mark Zuckerberg Biography: Success Story of Facebook Founder and CEO

2] Before LinkedIn, Reid Hoffman Founded An Overeager Dating Site

3] Apoorva Mehta had 20 failed start-ups before Instacart

.

실리콘밸리 아재의 한국 스타트업 방문기

얼마 전 업무 차 고국을 방문할 기회가 있었는데 이 참에 평소에 관심이 있던 스타트업 및 벤처 투자자들을 만나 한국 스타트업 업계에 대해 배우고, 또 다양한 의견을 나누는 시간을 가졌다. 미국에 나온 후 십 수 년 동안 단 한 번도 한국과 관련해서 일해본 적도 없고 한국 스타트업에 대해 제대로 관심을 가지고 보게 된 것도 얼마 되지 않기 때문에 조그마한 뉘앙스 하나하나가 새로웠고, 또 나의 실리콘밸리 경험과 견주어 많은 것을 느낄 수 있었다. 개인적으로 가장 크게 느낀 점들을 까먹기 전에 정리. (쉽게 각인될 수 있게 극단적인 표현을 사용 하였지만, 실리콘밸리와 비교해서 정도의 차이라는 점을 인지 바람)

가장 다르게 느껴졌던 점 (= 아쉬웠던 점)

모두가 애널리스트이고 감독인 세상. 선수는 어디에?

스타트업 생태계 밖에 있는 사람들(대기업, 금융계, 공무원)은 물론, 스타트업 생태계에 있는 많은 사람들 조차 ‘이래서 한국 스타트업은 안 돼’ 식의 비판적인 사고 방식을 가진 사람을 생각보다 많이 만났다. 예를 들어, ‘내가 아이디어는 많은데, 개발자를 구할 수 없어서 스타트업을 못 해’, ‘스타트업은 투자 받기가 너무 어려워서 안 돼’, ‘한국서는 시장이 작아서 성공할 수가 없어’, ‘한국은 각종 규제 때문에 절 대 잘 될 수가 없어’, ‘머리 좋은 애들은 다 대기업 가는데 스타트업이 살아남을 수 있겠어?’ 등. 이런 비판적인 사고 자체가 나쁘다고 할 수 없지만 이런 문제점들은 입에 침이 마르도록 분석하고 훈수(?)를 두면서 실질적인 해결책 마련 및 문제의 대응에 대해선 불난 집 구경하듯 매우 수동적인 태도를 가지고 있다는 것이 매우 아쉽게 느껴졌다. 실리콘밸리도 개발자 구하기 어렵고, 매출 100억이 넘어도 시장이 (TAM) 작다고 투자를 못 받는 경우가 허다하며, 대부분의 ‘똑똑한’ 친구들은 테크 대기업이 싹 쓸어간다. (혁신과 스타트업의 진원에 있어 편향이 있겠지만) 실리콘밸리의 문화는 이런 비판적인 사고와 더불어 이를 능동적으로 대응하려는 자세가 저변에 깔려있는데, 한국 스타트업 업계도 이런 면에서 조금 더 발전했으면 좋겠다.

규제 및 인증의 벽

말로만 듣던 규제 및 인증의 벽이 정말 ‘넘사벽’일 때가 있음을 실감. 핀테크 하시는 분을 만났는데 한국서 핀테크를 하면 금융 전문가가 아닌 법률 전문가가 된다고 하소연을 하시더라는. 큰 규제를 설득에 설득을 거듭하여 겨우 넘으면 또 다른 부처에서 다른 규제로 태클이 들어오고, 해결하기 위해 관련 부처들의 입장을 조율하고 있으면 또 그 위에 계신 분(?)이 다른 이유로 불허하고… 약 10개월 정도 제품을 기획 및 개발하고 있는데 그 중 6개월 이상을 변호사랑 법 공부하고 담당 부처에 출입하면서 규제를 풀고 인증을 받는데 시간을 보냈다고 한다. 😔

개인적으로 규제는 혁신과 빠른 성장이 필요한 신사업 분야에는 최소한으로 존재해야 된다고 생각한다. 한국 방문 중 한국이 세계 두 번 째로 ICO를 금지했다는 소식을 접했는데, 정말 안타까운 일이 아닐 수 없다. 위험한 투기 및 돈 세탁 등의 위험을 줄여서 ‘국민을 보호하려는’ 의도는 충분히 이해한지만 이는 새로운 형태의 금융 혁신과 유동성을 막아버리는, 득 보다 실이 많은 결정이다. 미국 송금업체인 페이팔의 시가총액이 아멕스를 넘어 골드만삭스의 턱 및 까지 왔다고 한다. 이런 엄청난 페이팔도 1998년 창업 당시엔 보안, 사기, 돈 세탁 등의 위험이 넘처나는 금융계의 이단아였다. 페이팔은 이런 문제점을 해결하기 위하여 투자 받은 돈의 상당한 부분을 나쁜 사람들이 어떻게 보안망을 피해 금융 사기를 행하는지 관찰하는데 사용하였고 이때 얻은 인사이트를 통해 세계에서 손 꼽는 위험 분석 알고리즘을 만들었다. 더 정확하고 빠르게 금융 거래에 대한 위험 요소 분석이 가능하게 된 페이팔은 이 기술을 기반으로 더 안전하고 편리한 송금 및 금융 서비스를 제공하며 폭풍 성장, 지금의 거대 핀텐크 기업으로 성장한 것이다. 만약 페이팔이 창업 초반에 맞이 했던 문제점들을 규제로 통제하려 했다면 이런 멋진 알고리즘과 서비스가 과연 나왔을지 생각해 볼 일이다.

B2B의 부재

짧은 시간 동안 만난 회사의 모수가 작아서 일반화 할 수 있을지 모르겠지만, 한국 스타트업에서 B2B의 비중이 상대적으로 낮음을 느꼈다. (한국 카메라 + 데이팅 앱의 수가 한국 전체 B2B 스타트업 보다 많은 듯?) 요즘 실리콘밸리의 B2B 스타트업 추세는 SaaS, Cloud, 그리고 ROI이다. 클라우드 컴퓨팅의 발전으로 on-premise의 높은 비용 장벽을 없애고, SaaS의 사업 모델로 회사들이 필요할 때 서비스를 ‘구독하여’ 사용함으로써 자체 개발하는 것 보다 높은 투자 효율 (ROI) 및 노동 생산성을 제고하는 것이다. 하지만 이런 추세가 아직 한국 기업 전반에 와닿지 않는 것 같다. 교육 스타트업 하시는 분을 만나 기업 상대로 enterprise business를 하면 더 좋지 않을까요 라고 의견을 드리자 한국의 B2B 구매 과정에 대해 알려주시며 B2C를 하는 것이 더 가능성이 있다고 말씀 하시더라. 실리콘밸리에서는 자주 겪지 않지만 한국에서는 거의 확실하게 마주하는 B2B 구매 과정의 어려움:

  • 왠만한 클라우드 서비스를 다 막아두는 한국 기업의 엄청난 파이어월: 드랍박스, 구글, AWS를 막아두어서 이를 기반으로 하는 서비스는 아예 접속이 안된다는… ㅠㅠ
  • 노동 생산성 및 ROI: ‘왜 돈 주고 새로운 도구를 써야 되지? 그냥 사람 더 쓰면 안 돼? 야근 좀 더 하면 안 돼?’로 접근하는 사고 방식.
  • 의사 결정권자의 책임 회피 편향: 클라우드… 이거 보안 사고 나면 누가 책임질건데? 스타트업 서비스… 이거 쓰다가 당신네 망하면 어떻게 책임지라고? S사가 사용하면 우리도 쓸게.

희망적으로 느껴졌던 점

기술 기반 스타트업의 증가

작년 초 한국에 방문했을 때만 해도 O2O가 스타트업 트렌드로 회자 되곤 했다. O2O도 매력적인 면이 있지만 시장 확장성, 지속 가능성, 그리고 실제로 구축할 수 있는 진입 장벽이 확실치 않은 부분이 많은 것이 사실이다 (대부분 규모를 빨리 키워서 가격 경쟁력을 확보하려는 전략). 반면 올해는 다양한 분야에서 기술 기반의 스타트업들이 약진을 하고 있음을 느꼈다. 기술 기반의 스타트업은 기술 자체가 커다란 진입 장벽으로 이용할 수 있고 현재 한국에만 서비스를 하고 있어도 상대적으로 쉽게 세계 어느 곳에서도 사업 확장이 가능하기에 매우 고무적인 트렌드라고 생각한다. 대기업 CVC에서 전략 투자를 담당하시는 지인께서 이스라엘이 기술 기반의 스타트업이 활성화 되어 있고 이에 투자 및 엑싯 성과도 꽤 좋다는 이야기를 해 주었는데, 한국도 이런 트렌드가 시작되는 것이 아닌가 살짝 기대가 된다.

정말 훌륭한 인적 자원

이번 한국 스타트업을 방문하면서 가장 감동한 것은 이들이 가진 훌륭한 인적 자원. 재능 넘치는 인재들이 스타트업에 점점 늘어나고, 이들이 모여서 세계적으로 사랑받는 제품이 조금씩 나온다는 사실이 위에서 제기한 ‘선수는 어디에?’라는 질문에 대답이 될 수 있지 않을까 생각된다. ‘세상 좁은’ 한국이라 업계 사람들끼리 많이 연결되어 있다는 것도 매우 고무적이다. 같은 업계에 있다고 서로 친구가 될 필요는 없지만 좋은 정보를 공유하고 서로 도움을 줄 수 있는 네트워크를 형성하는 것은 스타트업 업계에선 매우 중요하기 때문이다. 단, 학연/지연에 지나치게 얽매이고 배타적인 모임을 만들어 ‘그들만의 리그’가 되는 것은 지양해야 할 것이다. 암튼, 개인적으로 이번에 만난 훌륭한 분들과 언젠가 같이 일을 하고 싶다는 마음이 크게 들 정도로 한국 스타트업 인재의 수준에 놀람. 그레이트!

.

또 언제 한국을 방문할 수 있을지 모르겠지만, 앞으로 멋지게 발전할 한국 스타트업 생태계가 너무나 기대되는, 그런 여행이었다.

.