Survivorship Bias (생존자 편향의 오류)

2차 세계대전 당시 미군 전투기가 격추되는 것을 줄이기 위해 전장에서 돌아온 전투기들의 외상을 분석하여 취약 부분을 보강하는 계획을 세웠다고 한다. 분석 결과 비행기의 외상 대부분이 날개 및 꼬리 부분에 집중되어 있었고, 이에 당연히 해당 부분에 추가 장갑을 설치하려 하는데 분석을 총괄한 연구원이 당장 조종석과 엔진 부분을 집중 보완해야 한다는 뜬금없는 주장을 했다고 한다. 그의 분석에 의하면 비행기의 각 부분들이 적군의 총탄에 손상을 입을 확률이 비슷한데, 조종석과 엔진 부분에 총탄의 흔적이 없다는 것은 그 부분이 적군에 의해 손상을 받으면 치명타를 입고 돌아오지 못했다는 증거라는 것. 만약 이 훌륭한 연구원이 아니었으면 편향된 데이터 분석으로 쓸데 없는 곳에 두꺼운 갑판을 덧 댈 뻔 했던 이 사건을 일반화 시켜 ‘생존자 편향의 오류 (survivorship bias)’라고 한다.

나는 이런 편향적인 사고를 매우 싫어한다. 비판적 사고의 폭을 좁히고 차선(sub-optimal)의 선택은 커녕 아주 그릇된 결정을 할 수 있는 위험이 크기 때문이다.

안타깝게도 스타트업 세계에서도 이런 생존자 편향의 오류를 자주 접하곤 한다. 예를 들어 성공한 사람들만 바라보고 그들의 공통점만 추려서 성급하게 일반화를 한다던가, 소위 성공했다고 자뻑하는 사람들 중 ‘나는 노오오력 열심히 하다보니 잘 되었는데, 여러분도 불평할 시간에 노오오력 하면 성공하실 수 있어요’ 하는 식의 조언들 모두 이런 오류에 속한다고 볼 수 있다. 성공한 스타트업 창업자들 중 대부분은 열심히 노력하고 열정을 쏟아 부었겠지만, 모든 열심히 노력하고 모든 것을 열정적으로 쏟아 부은 창업자들이 성공하진 못하지 않았나 (오히려…대부분은 실패했을지도).

성공한 창업자와 회사들을 분석하면 그들의 독특한 ‘성공 패턴’이 보이고, 마찬가지로 실패한 회사들을 보면 실패에 기인한 공통된 문제점들이 보인다. 흥미로운 것은 가끔씩 성공과 실패에 영향을 미친 이유가 같다는 것. 예를 들어, 물 들어 올 때 노 저어야 한다고 타이밍 맞춰 엄청나게 조직을 성장시킬 수 있었던 것이 성공의 요인으로 칭송 받는 동시에, 늘어나는 수요에 대처하기 위해 조직을 급격하게 성장 시켰는데 이것이 회사가 핵심 역량에 집중하는데 방해가 되고 나쁜 기업 문화를 방치하는데 가장 큰 요인이 되었다고 지적 받기도 한다. 더 넓고 편향되지 않은 데이터와 분석이 있다면 성공의 원동력은 빠른 조직의 성장 그 자체가 아닌, 그 성장의 시점을 파악하고 (= 성공하기 위한 전제 조건), 그 때 조직을 엄습할 수 있는 지뢰같은 위험 요소들을 신속히 식별하고 효과적으로 대처하는 것 임을 (= 전제가 만족 되었을 때 성공하기 위한 필요 조건) 알 수 있을 것이다.

이런 오류를 피하기 위해선 능동적인 사고 능력을 가질 필요가 있다. 어느 유명하거나 영향력 있는 사람이 어떠한 주장을 한다면 그것을 그대로 받아들이지 말고 ‘왜 그럴까’에 대한 질문에 대한 고민을 해봐야 한다. 예들 들어 ‘스타트업은 무조건 스피드이다’ 라는 주장이 있다면, 왜 스피드가 중요한 것인지, 스피드가 왜 스타트업을 정의하는 잣대가 되어야 하는지, 스피드를 주장하다가 잘 안풀린 경우 (예: 테라노스), 회사를 천천히 쌓아올려 성공한 경우 (예: 서베이몽키) 등에 대한 고찰을 통하여 주어진 주장에 대해 개인적인 판단을 내릴 수 있어야 한다. 나는 개인적으로 ‘이렇고 저렇게 하는 것이 스타트업 성공 공식이다’ 라는 뉘앙스의 주장을 접할 때 혹시 있을 survivorship bias를 가려내기 위해 성공하지 못한 스타트업의 이야기를 평소에 자주 접하려고 노력한다. (구글에서 startup post mortem이라고 검색하면 많이 찾을 수 있음. Startup Graveyard도 좋은 참고 사이트). 팩트체크의 습관화 (위키피디아 및 구글 검색의 힘!), 언론에서 ‘스토리텔링’의 용이함을 목적으로 일반화한 이야기들의 숨은 ‘뒷 이야기’ 파악 등 역시 편향적인 사고를 극복하는데 큰 도움이 된다.

정신 차리고 멀쩡한 날개에 추가 장갑을 설치하는 삽질 하지 말자. 🛩🙌

.

불확실함을 구분하는 법: 무서운 것과 위험한 것

생각보다 강렬한 실리콘밸리 여름이 찾아왔는데 이를 핑계 삼아 비싼 크래프트 맥주를 찾아 마시고 있다. 시원한 맥주를 마시면서 팟캐스트 리스트를 훑어 보다가 뙇(!) 눈에 띄는 리스팅: ‘사무엘 아담스 맥주 창업자 짐 코크(Jim Koch)의 이야기’. (사무엘 아담스 맥주는 미국에서 ‘전국적으로’ 알아주는 크래프트 (수제) 맥주이다.) 맥주를 마시며 들을 수 있는 팟캐스트 중 이보다 더 적절한 것이 어디 있을까…하며 가벼운 마음으로 팟캐스트를 시작하였는데 30분 후 끝날 무렵에는 그의 삶과 사업에 대한 태도에 대한 무한 리스펙트, 그리고 요새 해이해진 나의 정신 상태를 크게 반성하고 영감을 재충전하는 너무나 유익하고 진지한, ‘마음의 숙취’가 되는, 그런 팟캐스트였다.

짐 코크는 하버드 학부, JD (법학 대학원), 그리고 MBA 학위까지 취득한 초 엘리트. 하버드 경영대학원 졸업 후 최고의 전략 컨설팅 회사 중 하나인 BCG에 입사하여 정말 ‘교과서 스펙’의 커리어를 쌓아 나아갔다. 그러다가 문득 ‘평생 이 일을 하고 살고 싶은가?’라는 의문이 들었고 이 의문을 좀 더 구체화 시켜서 ‘이 일을 내일엔 하고 싶은가?’ 라는 질문에도 ‘아니요’ 라는 결론을 내려서 바로 사표를 던지고 자신만의 길을 걷기로 결정 하였다고 한다. 진행자가 이런 큰 결정에 대해서 ‘너무 무모하지 않았어요? 무섭지 않았어요?’라고 질문을 했는데 이 때 짐 코크의 훌륭한 답변:

“인생에 있어서 무서운 것과 위험한 것을 구분할 줄 알아야 되요. 많은 사람들은 이 둘이 같은 것으로 착각하는데, 사실 이 것은 매우 다른 것이죠. 예를 들어 안전 장치를 완벽하게 구비하고 암벽 등반을 하다 발을 헛디뎌 미끌어지는 것은 상상만 해도 너무 무섭지만 위험하지 않아요. 그 안전 장치에 달린 구명 로프는 자동차도 매달 수 있을 정도로 견고합니다. 반면 오뉴월 산봉우리에 눈이 녹을 즈음 등산을 하는 것은 전혀 무섭지 않지만 오히려 녹는 눈에 미끌어져 다치거나 산사태를 경험할 수 있어 위험해요.

같은 생각으로 BCG에 계속 남는 것은 전혀 무섭지 않지만 정말 위험할 수 있다는 생각을 했어요. 만약 BCG에서 평생을 보낸 후 내 자신에게 ‘너는 정말 행복하고 의미있는 삶을 살았니?’라고 물었을 때 ‘아니요’라고 대답할 확률이 거의 확실하다고 생각했기 때문이죠. 저는 그때 당시 무섭지만 위험하지 않은 결정을 했다고 생각해요.”

…와우…

불확실한 미래는 분명 두렵다. 어떻게 대비를 해야하는지 감도 안잡히고 성공의 여부도 알 수 없다. 반면 현재 상태를 포기할 때 발생할 기회비용은 정확하게 계산이 되고, 이것은 두려움의 근원이 된다:

  • 지금 여태까지 열심히 일해서 부장 달았는데, 이것을 날리기엔 너무 아깝지 않나?
  • 지금 연봉이 얼마인데, 지금보다 더 많은 수입을 올릴 수 있을까?
  • 지금 이렇게 유명한 대기업에 다녀서 체면 구길 일 없는데, 계속해서 남들에게 ‘괜찮은 회사’ 다닌다고 인정 받을 수 있을까?

위와 같은 생각들이 쌓이기 시작하면 새로운 것에 도전하는 것은 정말 상상도 할 수 없을 것 같다. ‘확실하고 괜찮은’ 길이 있는데 굳이 모험심에 사로잡혀 돈키호테 코스프레를 할 이유가 없지 않은가.

과연 그럴까?

이런 생각을 가지고 내 삶을 잠시 되돌아 보았다. 곰곰히 생각해보니 나도 불확실한 상황을 앞두고 결정을 내려야하는 상황이 꽤나 있었는데, 신기하게도 ‘확실하고 괜찮은 길’을 마다하고 새로운 도전으로 내 삶을 흔들어 줬을 때 개인적인 성장이 가장 컸다는 것을 발견하였다. 컨설턴트 시절 높은 고과와 승진이 확실시 되는 프로젝트를 내 개인적인 열정 분야가 아니라는 이유로 과감히 뛰쳐 나와서 한참 고생하다가 결국엔 회사에서 가장 비범한 사람 중 한 명이랑 일 할 수 있는 기회를 얻을 수 있었다. 링크드인에 다닐 당시에도 프리미엄 계정의 고객 유지를 총괄하는 ‘꿀보직’을 마다하고 증명이 안된 모험 프로젝트 팀에 합류를 하였는데 매 분기마다 사장님의 ‘이 사업 접어야 되는거 아니에요? 왜 계속 진행 해야하는지 성과로 증명하세요’의 압박에 시달리며 불확실한 외줄타기 삶을 살았었다. 하지만 궁극적으로는 천 억 달러의 매출을 만들어 내는 과정, 또 월드클래스 슈퍼스타 마케팅 팀을 직접 키우고 이끄는 경험을 할 수 있었다.

그 당시를 지금 생각해보면 정말 무섭고 불안했다. 승진에서 밀리는 것, 보기 좋게 프로젝트를 실패하는 것. 내 ‘좋은’ 평판이 땅으로 떨어지는 것. 하지만 이런 과감한 결정을 할 수 있었던 것은 누가 나에 대해 뭐라고 하던 주어진 기회들에 도전해 볼 만한 가치가 있는 것이라 개인적인 확신이 있었기 때문이었다. 이런 확신이 내게 무의식적으로 무서움과 위험함을 구분해주는 잣대가 되어준 것이다.

짐 코크의 ‘무서움과 위험함’ 프레임웍을 알게된 지금은 조금 더 노골적으로 (explicitly) 내 자신에게 묻는다:

  • ‘지금 새로운 기회에 도전하지 않는 것은 단순히 불확실함이 무서워서 그러는 것인가?’
  • ‘지금 잘 나가는 상황을 최적화 시키는 것이 오히려 더 큰 위험을 부르는 것이 아닌가?’

.

그로스 해킹 – 이보다 더 과학적일 수 없다

https://pixabay.com/en/arrows-growth-hacking-marketing-2128979/

큐빗(Qubit)이라는 마케팅 분석 플랫폼 스타트업이 그들의 플랫폼에서 수행된 수 천 개의 그로스 해킹 실험 결과를 분석한 결과를 논문 형식으로 발표하였다. 사실 그로스 해킹 만큼 실용적이고 실증적인 (empirical) 계량 마케팅 논문을 쓰기에 좋은 주제가 없다고 생각했었는데 누가 이렇게 해주니 너무 감사!

다음은 논문의 간단한 요약:

표본 집단 및 분석 정의

  • 전자상거래 (여행업 포함) 업체들의 실험 결과를 토대로 함
  • 2,600 여개의 A/B 실험을 29개 군으로 분류
  • 성공 지표로 RPV (Revenue Per Visitor) 의 % 상승률로 잡음 (개인적으로 RPV는 생소한 개념인데, 궁극적으로는 ARPU와 같은 개념인 듯)

분석 요약

평균 성과 상승률이 가장 높은 기법들:

  • 희소성 (scarcity): +2.9% (홈쇼핑에서 ‘몇 개 남지 않았어요~’ 하면서 자주 사용하는 기법인데… 역시!)
  • 대세 마케팅 (social proof; 남들도 하니깐): +2.3%
  • 긴급함 (urgency; 카운트 다운 표시): +1.5% (홈쇼핑에서 ‘마감 임박~’ 하는… 이것도 역시!)
  • 떠난 사람 붙잡기 (abandonment recovery): +1.1%
  • 제품 추천 (recommendation): +0.4%

대부분의 UI 조금씩 바꾸는 ‘꼼수’는 잘 통하지 않음:

  • 색깔 바꾸기: +0.0%
  • 버튼 바꾸기: -0.2%
  • 버튼에 쓰여있는 문구 바꾸기: -0.3%

90% 이상의 실험이 매출의 +/- 1.2% 내외로 영향을 끼침. 하지만 모든 것을 통틀어서 봤을 때 대체적으로 지속적으로 A/B 실험을 하는 것이 매출에 긍적적으로 영향을 줌.

*******************************************

개인적으로 느낀점 몇 가지:

역시 구관이 명관!

  • 홈쇼핑에서 사용하는 기법들은 전자상거래로 넘어 와서도 통한다. (홈쇼핑의 마법같은 고객 확보 기법들을 개척한 마케터들에게 박수를…)

UI 바꾸기는 안통함?

  • 예전 블로그에서 밝혔듯이 링크드인에서 사업부 그로스 해킹을 담당할 때 논문에서 언급한 UI ‘꼼수’들의 효과가 매우 쏠쏠하였다 (링크드인 실례). 어쩌면 전자상거래/여행업이 아니여서 다른 결과가 나왔는지도 모르겠다. 역시 그로스 해킹은 이론도 중요하지만 실제로 이것 저것 해 보면서 사업과 고객에 맞는 기법을 찾는 ‘노가다’가 필요한 듯. (한마디로 ‘그로스 해킹, 책으로 배웠어요~’ 하면 안됨)

90% 이상의 실험이 매출에 미미한 영향을 미침?

  • 고액의 상품이거나 매출의 분포가 매우 넓은 경우 (전자상거래 및 여행이 바로 이러함) 매출의 상승률을 통계적으로 유의미하게 (statistically significant) 계산해 내는 것은 매우 어렵다. 이런 경우 outlier들을 없애기 위해 winsorize 기법들을 사용해야 하는데 논문은 그러하지 않았다. 만약 RPV가 아니고 순 거래 횟수 등으로 지표를 잡았다면 다른 결과가 나왔을지도 모르겠다.
  • 그로스 해킹은 흔히 game of inches (‘cm의 게임’) 라고 불린다. 당연히 미미한 (그러나 소중한) 성과가 나오기 마련이다. 한번에 사업을 변화시킬 대박의 그로스 해킹 기법들을 기대 했다면 그로스 해커의 기본 자세부터 잘못 되었다고 할 수 있다. 가끔은 모래성 쌓으며 삽질 한다는 느낌도 들지만 포기하지 않고 꾸준히 가설 기반의 실험을 통해 조금씩 발전해 나가고, 이것이 반복 되면서 궁극적으로 큰 성과를 얻는 것이 그로스 해킹이다. 마치 소백산 가파른 비탈길을 한 발 씩 열심히 올라 부석사 안양루에 다다러 뒤돌아 봤을 때 눈에 들어오는 장관의 느낌이라고나 할까…

.