그로스 해킹 – 웹사이트 A/B 실험에 대한 7가지 법칙

몇 달 전 ‘그로스해킹 – 이보다 더 과학적일 수 없다’ 라는 포스팅을 통해 계량적으로 접근하는 그로스 해킹이 ‘논문’ 형식으로 발표 된다는 사실을 소개한 적이 있는데, 며칠 전 내가 예전에 다녔던 링크드인과 그 회사를 인수한 마이크로소프트에서 일하는 데이터 과학자들이 ‘웹사이트 A/B 실험에 대한 7가지 법칙’이라는 논문을 2014년 KDD 학회에서 발표한 자료를 접하게 되었다. 비록 몇 년 지난 자료지만 지금도 충분히 적용될 수 있는 것 같아 내 경험을 덧붙여 짧게 정리해서 공유.

(참고: 여기서 ‘법칙’은 rule of thumb, 즉 ‘어림잡은, 혹은 대략 적용되는’ 법칙이라고 해석하면 됨)

1. 작은 변화가 주요 지표에 큰 변화를 줄 수 있다

나의 그로스 해킹 시리즈에서 반복적으로 언급했지만 그로스 해킹의 핵심은 속도감 있게 많은 양의 실험을 수행하여 (홈런이 아닌) 단타로 점수를 내는 것이다. 많은 실험을 빨리 실행하기 위해서는 코딩을 적게 해야하고, 코딩을 적게 하려면 제품과 사용자 경험을 가급적이면 최소한으로 바꾸어야 한다. 이렇게 자주 ‘값 싼’ 실험을을 계속적으로 하다보면 ‘어쩌다가 걸려서’ 홈런이 나오는 땡큐한 상황이 간간히 나올 때가 있다. 논문은 MSN 웹사이트의 링크를 ‘새 탭에 보이기’, 그리고 Bing 검색 엔진의 검색 결과 색깔 실험이 그런 좋은 예라고 언급한다. 나 역시 링크드인에 있을 때 Upgrade 버튼을 파란색에서 노란색으로 바꾸어서 좋은 결과를 내었었고, 업그레이드 페이지 (chooser page라고 부름)에 배열을 다르게 함으로 수십 억 단위의 연간 추가 수익을 냈던 경험이 있다. (아래 자료 참고)

.

2. 대부분의 경우 실험의 결과가 지표에 큰 변화를 주지 않는다.

#1 법칙으로 흥분 했다면 제발 워~ 워~. 지난 번 포스팅에서도 중요하게 언급된 부분인데 대부분의 실험은 지표에 미미하거나 아예 영향을 주지 않는 경우가 대부분이다. 너무 큰 변화를 목격한다면 홈런을 외치기 보다는 어디 코드에 버그가 있는지 의심부터 해 봐야 하는 것이다. 잊지 말자… 단타싸움!

3. 케바케 (Your Mileage Will Vary)

어느 다른 회사의 어떠한 온라인 실험이 대박을 쳤다고 나도 그것을 따라하면 대박을 낼 수 있을 것이라는 기대를 하고 많은 투자를 하면 낭패를 보기 십상이다. 고객 구성, 제품의 특성, 주변 상황 등 모든 것 들이 다른 상황에서 동일한 실험 결과를 기대하는 것은 당연히 무리일 수 밖에 없다. 내가 파란색 버튼에서 노란색 버튼으로 재미 봤다고 해서 내가 아는 스타트업들에게 ‘모두 버튼을 노란색으로 바꾸세요~’ 라고 할 수 없는 이유가 바로 여기에 있다.대신 이렇게 남들이 성공했을 때 사용했던 접근했던 방식을 best practice로 일반화할 수 있다면 (예: 몇 가지 색깔의 변화로 실험을 해 보세요) 자신의 상황에 더 유연하게 적용할 수 있을 것이다.

참고로 이 반대 상황도 마찬가지이다. 사람들을 만나다 보면 꼭 ‘내가 해봐서 아는데, 이것은 절대 될 수가 없어’ 라고 주장하는 사람들이 있다. 그렇게 ‘답정너’인 태도보다 어떤 상황에서 이런 식으로 실험을 했는데 잘 안되었던 이유는 이런것 저런것 같다 라고 분석적인 태도를 취하고 그 교훈을 바탕으로 더 개선된 아이디어로 다시 도전할 수 있는 자세를 가지는게 더 바람직하다.

4. 웹사이트의 속도는 정말 정말 정말 중요하다

어떤 새로운 사용자 경험을 실험할 때 그것이 실제 웹사이트 속도에 얼마나 미치는지 점검하는 것이 좋다. 큰 회사들을 latency를 측정할 수 있는 도구들이 다 있겠지만 이런 화려한 도구가 없더라도 웹 브라우저의 디버그 툴 (크롬의 경우 오른쪽 클릭 > Inspect > Network) 을 사용, 페이지 각 콤포넌트들의 로딩 시간 등을 잴 수 있다. 인터넷 기반 서비스는 모든 것이 다 같은 경우 (all else equal) 웹사이트의 속도가 느려지면 핵심 지표의 성과도 낮아지기 마련이기에 반드시 신경쓰고 모니터링 하는 버릇을 들이자.

웹사이트 로딩 시간과 주요 지표는 보통 반비례 관계를 가진다. (이미지 논문에서 발췌)

5. 클릭 이탈을 막는 것은 어렵다. 클릭을 다른 곳으로 유도하는 것은 (그나마) 쉽다

Bing 검색엔진의 주요 지표중 하나는 클릭 이탈이다 (검색 결과를 클릭하지 않고 사용자가 이탈해 버리면 검색 결과가 형편 없다는 뜻). 마이크로소프트 개발자들이 이 지표 움직이려고 별 노력 다 해봤는데 의미있게 움직이는데 실패했다고 한다. 그나마 다행인 것은 사용자가 어디 클릭하는지는 충분히 영향을 줄 수 있다고. 이 법칙에서 나온 사용자 행동을 일반화 시켜 받아드리면 장바구니 담아두고 결제를 포기하는 사람들을 잡는 것 보다 장바구니에 아이템을 담을 때 조금 더 비싸거나 사용자에게 적합한 상품을 선택하도록 유도하는 것에 투자를 하는 등, 전자상거래 분야에 적절하게 적용할 수 있을 것 같다.

6. 복잡한 실험 설계를 피해라

‘실험 하는 김에 이런 것도 한번 알아보면 좋지 않을까?’의 똑똑해 보이려는 생각과 행동이 의도치 않은 문제점을 유발할 수 있다. A/B 테스트가 아닌 A/B/C/D 등의 다변수 실험을 할 경우 더 많은 트래픽이 필요로 할 뿐만 아니라 코드도 더 복잡해지고 (버그 위험!) orthogonality를 제대로 확인하지 않으면 왜곡된 실험 결과를 초래, 심지어는 웹사이트의 ‘폭망’으로 이어질 수 있는 위험이 있기 때문이다. 이것의 좋은(?) 예로 Knight Capital이라는 금융회사가 버그가 있는 코드를 실험 환경을 거치지 않고 바로 배포를 하여 $460M (4척6백만 달러!)라는 손실을 낸 일화가 논문에 소개된다. 간단하고 깔끔한 코드로 아주 적은 트래픽을 대상으로 실험을 수행 후 결과에 따라 트래픽을 점진적으로 늘린 다음 실험으로 넘어가는 것을 습관화 하길 추천한다.

7. 충분한 사용자를 확보한 후 실험에 임하라

통계의 매력은 작지만 의미있는 표본을 통해 전체 집단의 결과를 추정하는 것이다. 그로스 해킹 및 계량적인 마케팅 기법은 이런 의미있는 표본이 있을 때 제대로 힘을 발휘할 수 있다. 만약 사용자 수가 많지 않다면 실험을 더 오래 돌리거나, 제품에 더 큰 변화를 주는 이상적이지 못한 선택을 해야 할 것이다 (= 늦은 의사결정 또는/혹은 더 많은 위험 수반). 아니면 차라리 마케팅과 제품 개발의 본질로 돌아가서 ‘고객이 무엇을 원하는지’를 발품 팔아 그들에게 직접 피드백을 듣고 그것을 바탕으로 의사결정을 하는것이 낫다 (= do things that don’t scale). 다음 도표는 논문에서 제시한 적절한 표본 집단의 크기. 역시 유동성이 큰 매출 지표는 꽤 많은 사용자들을 표본집단으로 필요함을 알 수 있다.

각종 지표와 권고되는 표본 집단의 크기 (이미지 논문 발췌)
.

프로덕트 매니저 개론

작년 이 맘 때 쯤 ‘프로덕트 마케터 개론’이라는 글을 통해 프로덕트 마케팅 직군에 대한 글을 쓴 적이 있는데, 어느새 그 화려한 마케터의 삶을 접고 제품 담당자로 커리어를 전환한지 거의 일 년이 되어간다. 사업을 전반적으로 총괄하는 업무를 수 년 동안 해 오면서 제품에 관여를 많이 해 왔지만 회사 연구개발 부서에서 엔지니어들과 머리를 맞대고 제품을 hands-on으로 담당해서 만드는 일은 지난 일 년이 처음. ‘직접 경험해 보지 않으면 아는 척 하지 마라’는 말에 너무나 공감이 가는 것이, ‘위에서’ 업무를 조율하고 지시하는 것과 실제로 내가 ‘현장’에서 무엇을 만들어 낸다는 것은 하늘과 땅 차이라는 것을 뼈저리게 경험하였다. 이런 경험을 통해 제품 담당자가 무엇을 하는 사람이고, 또 훌륭한 제품 담당자에서 돋보이는 성향들을 관찰하고, 습득하고, 정리할 수 있는 기회가 되었다

주의: 이것은 나의 제한된 경험을 바탕으로 정의 된 것이고, 실제로 회사마다 제품 담당자의 정의 및 역할이 다르기 때문에 아래의 내용을 ‘canonical definition’으로 받아드리면 곤란 하다는 것을 미리 공지함.

제품 담당자란? (Who is a product manager?)

“Product Manager is the ultimate person responsible for the success of the product — he/she makes the ‘magic’ happen.”

간단히 말해 제품 담당자는 해당 제품의 전반적인 성공을 책임지는 사람이다. 어느 ‘무엇 (what)’으로 ‘누구 (who)’에게 가치를 제공하는 일을 하고, 그 결과에 따라 성과를 평가받는 직군이다. 제품의 성공 여부를 최종적으로 책임지는 역할이기에 ‘CEO of the product’이라고도 하지만 CEO와 다르게 제품 담당자들을 제품에 관여하는 사람들에 대해 인사권이 전혀 없는 ‘이빨 없는 호랑이’이다. 엔지니어들은 제품 담당자가 원하는 기능을 복잡하고 기술적으로 멋지지 않다고 무시하면 그만, 프로덕트 마케터들이 제품 담당자가 정의한 고객 페르소나 밖의 타겟층에게 마케팅을 해도 제품 담당자가 딱히 할 수 있는 것을 별로 없다. (특히, 그 마케팅을 통해 매출이 확 늘어난다면 더더욱!)

오히려, 제품 담당자는 미식 축구의 ‘쿼터백’과 더 유사하다고 할 수 있을 것 같다*. 미식 축구에서 쿼터백은 공을 남에게 건내 주거나 패스를 통해 팀이 전진하도록 하는 업무를 가진, 팀에서 가장 주목받고 중요한 포지션이다. 쿼터백은 스냅이 이루어지면 재빨리 어디가 막혔고 어느 선수가 공을 받을 수 있는 위치에 있는지를 파악하여 의사결정을 해야만 한다. 제품 담당자도 제품의 개발 및 출시에 있어 여러가지 난관을 재빨리 파악하여 팀이 성과를 낼 수 있도록 신속한 의사 결정을 해야한다. 게다가 감독처럼 ‘지시’를 내리는 것이 아니고 동료 엔지니어와 함께 데이터를 보면서 직접 (hands-on) 이런 결정을 내려야 한다. 그리고 결정적으로, 쿼터백은 경기를 이기면 팀을 대표해서 주목을 받고 지면 팀을 대표해서 욕을 먹는데, 이 역시 제품 담당자의 역할과 일맥상통한다. 비록 제품 담당자가 코딩 한 줄 하지 않았지만 그것에 대한 책임을 지는 것이다. (심지어 칭찬을 받으면 팀에게 공을 돌리고, 욕을 먹으면 혼자 짊어지는 미덕도 역시 비슷.)

제품 담당자의 주 업무는?

위 제품 담당자의 정의의 마지막에 “he/she makes the ‘magic’ happen”이라는 문구가 있다. 일부로 멋지게 쓰려고 한 것이 아니라, 저 단어 외로는 광범위하고 때마다 너무 다른 제품 담당자의 주 업무를 표현하기 어려워서 쓴 것이다. 물론, 제품 담당자의 기본 업무는 엔지니어와 같이 협업하여 멋진 제품을 정의하고 개발하여 시장에 출시하는 것이다 (define, build, and release the product to market). 하지만 그것은 성공적인 제품의 필요조건이지 절대로 충분조건이 될 수 없다. (아니, 그 보다 더 본질적으로 ‘제품’이라는 것이 세상에 존재하기 위해 필요한 너무나 당연한 기본 업무 밖에 되지 않는다). 이런 기본적인 업무 외에 제품의 성공에 기여하기 위해 수행해야 하는 제품 담당자들의 주 업무는 다음과 같다고 생각한다:

고객의 숨은 니즈 파악

헨리 포드의 유명한 일화가 있다: “내가 고객들에게 무엇을 원하는지 물어봤다면 그들은 ‘더 빠른 말’을 원한다고 대답을 했을 것이다”. 고객들에게 직접 그들의 니즈를 물어 어떠한 제품을 만들어야 할 지 파악하는 것은 혁신적인 제품일수록 어렵다. 그것을 경험하기 전 까지는 그러한 제품이 필요한지 알지도 못하기 때문이다. 자동차라는 제품을 눈으로 보기 전에는 더 빠른 말이 고객들이 상상할 수 있는 최고의 제품이었다. 아이폰을 보기 전에는 컴퓨터의 키보드를 전화기에 옮겨 놓는 것이 대중이 상상할 수 있는 최고의 제품이었다. 하지만 고객들의 진정한 니즈는 A 지점에서 B 지점까지 더 편리하고 빨리 갈 수 있는 수단이었고, 컴퓨터 앞에 앉아서만 할 수 있는 일들을 이동 중에서도 계속해서 경험하는 것이었다. 마케팅 부서에서 제공하는 인사이트는 이러한 고객의 니즈에 대한 힌트를 줄 수 있어도 정말 고객들이 원하는 것이 무엇인지, 그리고 또 어떠한 경험과 제품이 그런 궁극적인 니즈의 ‘심금’을 울릴 수 있는지 깊게 생각하고 파악하는 것은 제품 담당자의 몫이다. 말로는 쉽지만 실제로는 너무나 어려운 업무이다.

살을 깎는 트레이드오프 (trade-off)

100이면 100, 내가 아는 모든 제품 담당자들은 할 것은 너무 많고, 주어진 로드맵을 온전히 실행하기 위해 필요한 엔지니어 팀원들은 너무 적다고 불평을 한다. 단 한 명도 팀에 엔지니어가 넉넉하여 여유롭다고 하는 경우를 보지 못하였다. 항상 제품 담당자들이 꿈꾸는 ‘이상적인’ 제품과 그 제품을 만들 때 현실적으로 닥치는 기술적인 난관, 버그, 제품 방향의 긴급 수정 등의 일들이 생기기 때문이다. 이럴 때 제품 담당자의 핵심 업무는 제품의 성능, 기능, 출시 기한을 어떻게 타협할 것인가에 대한 어려운 결정을 해야만 한다. 꼭 필요한 기능 (must-have) 중에서 또 다시 추리고, 엔지니어들과 묘수를 찾기 위해 고민을 하고, 고객들이 이탈한다고 ‘협박’하는 영업팀과 마케팅팀들의 원성을 원활하게 조율하되, 제품의 궁극적인 비전에서 벗어나지 않는 트레이드오프 결정 과정은 과학이 아닌 예술에 가깝다고 할 수 있다.

팔방미인 코스프레 (jack of all trades)

이 외에 제품 개발 및 출시에 있어 막히거나 더딘 부분이 있으면 제품 담당자가 책임지고 해결해야 한다. 아무리 그것이 자잘하거나 제품 담당자의 ‘job description’ 밖에 있는 것일지라도 제품의 성공을 막는 그 어느 요인이 있다면 그것은 자동적으로 제품 담당자의 업무가 되는 것이다. 고객 인터뷰를 하거나, 고객의 항의성 C/S 전화를 받고, 영업팀에서 급하게 필요한 자료를 만들어 주고, 현장에서 일어난 일을 수습하기 위해 당장 뛰어 나가는… ‘제품 담당자 직군 매뉴얼’에 쓰여있진 않지만 제품 담당자들이 때와 상황에 맞추어 해야하는 업무이다. 이런 것들을 다 해결할 때 비로소 ‘magic’이 일어날 수 있는 기회가 생기는 것이다.

훌륭한 제품 담당자가 되기 위하여…

동료 제품 담당자들과 ‘우리 업’에 대해서 종종 이야기를 하는데, 이야기를 하면 할수록 훌륭한 제품 담당자가 되기 위해선 계량화 하기 어려운 ‘소프트’한 것들이 매우 중요한 것 같다는 결론을 자주 내리게 된다. 실제로 내가 존경하고 훌륭하다고 생각되는 제품 담당자들을 관찰하고, ‘전설적인’ 제품 담당자들의 글을 읽고 제품을 경험하며, 또 그들에게서 종종 조언을 들으면 다음과 같은 ‘soft skill’들의 훈련과 발전이 훌륭한 제품 담당자의 길로 가는데 도움이 될 것이라 생각된다:

기술적인 호기심 가득 (Technically Curious)

최근에 제품 담당자가 되고 싶어하는 친구들에게 가장 많이 들은 질문이 “코딩 할 줄 알아야 되나요?”, “기술적인 지식이 깊어야 하나요?”이다. 특히 컨설팅 및 MBA 출신 친구들이 다른 ‘스펙’은 다 되는데 기술적인 부분이 약하다고 제품 담당자에 지원하는 것을 고민하는 것을 많이 본다. 몇 달 전 Hunter Walk와 이 부분에 있어서 Q&A를 할 수 있는 시간이 있어 물어봤는데 그의 대답이 이 질문에 매우 적절한 것 같다.

“You don’t have to be technical per se, but you need to be technically curious. (기술적일 필요는 꼭 없지만, 기술적인 것에 대한 호기심이 있어야해요)”

테크 회사에서 제품 담당자는 기술을 이용하여 고객에게 가치를 줄 수 있는 제품을 만들고, 그 제품의 성공을 책임지는 사람이다. 이에 기술을 어떻게 이용해서 어떤 멋진 경험을 선사할 수 있을지 항상 고민해야 한다. 이런 호기심 없이는 세상을 바꾸는 훌륭한 제품을 상상해 내고, 또 그것을 현실적인 제약에 맞추어 성공적으로 구현해 내는 훌륭한 제품 담당자가 될 수 없을 것이다.

왜? What & WHY

무엇을 만들 것인가, 즉 제품에 대한 정의를 하는 것은 제품 담당자의 기본 역량이자 업무이다. 하지만 뛰어난 제품 담당자들은 제품 정의에 대한 명확한 논리와 강력한 설득력이 있다. 왜 주어진 상황이 문제인지, 그리고 그 문제를 풀기 위해서 왜 이러한 제품을 만들어야 하는지에 대해 정확한 논리와 뜨거운 열정이 느껴지는 제품 담당자들과 일하는 팀은 대체적으로 능률이 더 높으며 제품의 성과도 훨씬 좋은 편이다. 문제에 대한 인식과 제품에 대한 정의가 명확하기에, 애매하고 대충 정의된 제품을 만들 때 늘 따라오는 trial & error 및 기타 ‘삽질’과 짜증남을 피할 수 있기 때문에 그런 것 같다.

추상화 (Abstraction)

제품을 개발할 때 고객들이 가지는 문제, 그리고 그것을 풀 수 있는 방법을 잘 추상할 수 있으면 문제의 어느 특정한 부분에 발목 잡히지 않고 문제의 전반적인 본질을 이해할 수 있으며, 또 이에 필요한 해법의 방향과 전략을 가늠할 수 있다. 예를 들어 위에서 언급한 ‘더 빠른 말을 원하는 고객’들의 진정한 니즈는 이러한 추상화 과정을 통해 파악할 수 있는 것이다. (추상화를 못했다면 아마 더 단단한 말굽, 더 공기역학적인 안장, 말의 근육량을 늘릴 수 있는 사료들에 집중했을 것이다.) 단, 여기서 중요한 것은 추상화의 과정은 자세한 것에서 부터 시작한다는 점. 자세한 것을 제대로 이해하지 못한 상태에서 그냥 큰 그림만 겉핥기 식으로 파악하는 것은 위험하다. 또한 너무 과하게 추상을 하여 현실과 너무 동 떨어지는 상상을 하는 것은 큰 꿈을 꾸는 제품 담당자가 아닌 허황된 생각만 하는 바보라는 것을 경계해야한다. (‘빠른 말’에서 얻은 ‘아 고객들은 한 곳에서 다른 곳으로 빨리 이동하고 싶어하는구나’ 라는 인사이트를 ‘순간 이동 텔레포터’ 제품으로 풀려는 꼴)

유연함 (Flexibility)

팔방미인 코스프레를 하기 위해선 유연한 성격 및 뛰어난 ‘현장 적응 능력’이 있어야만 한다. 유연하지 못하고 ‘대쪽’같은 성격을 가지고 있다면 답답한 상황에 스트레스만 쌓이고 자신이 정한 제품 담당자의 역할에 대한 제한적인 ‘행동 반경’ 때문에 제품의 성공에 크게 기여하지 못할 가능성이 높다. 물론, 제품의 비전과 제품의 핵심적인 가치에 대해선 확고함이 필요하겠지만 비전과 전략만큼 중시되는 제품 담당자의 실행 능력에 있어서 만큼은 유연함이 필수이다.

.

제품 담당자라는 직군… 실리콘밸리에서는 흔하다고 하지만 기존 직군들과 비교해서는 상대적으로 새롭고, 이에 직군에 대한 정의와 역할이 아직 명확하지 않은 상태이다. 앞으로 더 많은 훌륭한 제품 담당자들의 활약을 통해 이 직군이 조금 더 명확해지고 회사에서 ‘없어서는 안될’ 너무나 당연하고 필요한 직업으로 거듭나길 바라며, 나 역시 이 개인적인 바램에 일조할 수 있도록 더욱 더 열심히 살아야겠다.
.

* 참고: 이 정의는 내 친구이자 훌륭한 제품 담당자로 십 수 년 동안 실리콘밸리에서 활약하고 있는 Sachin Rekhi에게서 차용한 것임.

.

 

그로스 해킹 – 이보다 더 과학적일 수 없다

https://pixabay.com/en/arrows-growth-hacking-marketing-2128979/

큐빗(Qubit)이라는 마케팅 분석 플랫폼 스타트업이 그들의 플랫폼에서 수행된 수 천 개의 그로스 해킹 실험 결과를 분석한 결과를 논문 형식으로 발표하였다. 사실 그로스 해킹 만큼 실용적이고 실증적인 (empirical) 계량 마케팅 논문을 쓰기에 좋은 주제가 없다고 생각했었는데 누가 이렇게 해주니 너무 감사!

다음은 논문의 간단한 요약:

표본 집단 및 분석 정의

  • 전자상거래 (여행업 포함) 업체들의 실험 결과를 토대로 함
  • 2,600 여개의 A/B 실험을 29개 군으로 분류
  • 성공 지표로 RPV (Revenue Per Visitor) 의 % 상승률로 잡음 (개인적으로 RPV는 생소한 개념인데, 궁극적으로는 ARPU와 같은 개념인 듯)

분석 요약

평균 성과 상승률이 가장 높은 기법들:

  • 희소성 (scarcity): +2.9% (홈쇼핑에서 ‘몇 개 남지 않았어요~’ 하면서 자주 사용하는 기법인데… 역시!)
  • 대세 마케팅 (social proof; 남들도 하니깐): +2.3%
  • 긴급함 (urgency; 카운트 다운 표시): +1.5% (홈쇼핑에서 ‘마감 임박~’ 하는… 이것도 역시!)
  • 떠난 사람 붙잡기 (abandonment recovery): +1.1%
  • 제품 추천 (recommendation): +0.4%

대부분의 UI 조금씩 바꾸는 ‘꼼수’는 잘 통하지 않음:

  • 색깔 바꾸기: +0.0%
  • 버튼 바꾸기: -0.2%
  • 버튼에 쓰여있는 문구 바꾸기: -0.3%

90% 이상의 실험이 매출의 +/- 1.2% 내외로 영향을 끼침. 하지만 모든 것을 통틀어서 봤을 때 대체적으로 지속적으로 A/B 실험을 하는 것이 매출에 긍적적으로 영향을 줌.

*******************************************

개인적으로 느낀점 몇 가지:

역시 구관이 명관!

  • 홈쇼핑에서 사용하는 기법들은 전자상거래로 넘어 와서도 통한다. (홈쇼핑의 마법같은 고객 확보 기법들을 개척한 마케터들에게 박수를…)

UI 바꾸기는 안통함?

  • 예전 블로그에서 밝혔듯이 링크드인에서 사업부 그로스 해킹을 담당할 때 논문에서 언급한 UI ‘꼼수’들의 효과가 매우 쏠쏠하였다 (링크드인 실례). 어쩌면 전자상거래/여행업이 아니여서 다른 결과가 나왔는지도 모르겠다. 역시 그로스 해킹은 이론도 중요하지만 실제로 이것 저것 해 보면서 사업과 고객에 맞는 기법을 찾는 ‘노가다’가 필요한 듯. (한마디로 ‘그로스 해킹, 책으로 배웠어요~’ 하면 안됨)

90% 이상의 실험이 매출에 미미한 영향을 미침?

  • 고액의 상품이거나 매출의 분포가 매우 넓은 경우 (전자상거래 및 여행이 바로 이러함) 매출의 상승률을 통계적으로 유의미하게 (statistically significant) 계산해 내는 것은 매우 어렵다. 이런 경우 outlier들을 없애기 위해 winsorize 기법들을 사용해야 하는데 논문은 그러하지 않았다. 만약 RPV가 아니고 순 거래 횟수 등으로 지표를 잡았다면 다른 결과가 나왔을지도 모르겠다.
  • 그로스 해킹은 흔히 game of inches (‘cm의 게임’) 라고 불린다. 당연히 미미한 (그러나 소중한) 성과가 나오기 마련이다. 한번에 사업을 변화시킬 대박의 그로스 해킹 기법들을 기대 했다면 그로스 해커의 기본 자세부터 잘못 되었다고 할 수 있다. 가끔은 모래성 쌓으며 삽질 한다는 느낌도 들지만 포기하지 않고 꾸준히 가설 기반의 실험을 통해 조금씩 발전해 나가고, 이것이 반복 되면서 궁극적으로 큰 성과를 얻는 것이 그로스 해킹이다. 마치 소백산 가파른 비탈길을 한 발 씩 열심히 올라 부석사 안양루에 다다러 뒤돌아 봤을 때 눈에 들어오는 장관의 느낌이라고나 할까…

.

Whole Foods Prime? 아마존 + 홀푸드

아마존이 미국 고급 슈퍼마켓 체인인 홀푸드를 15조 원이 넘는 금액으로 인수 하겠다는 계획을 발표하였다. 이 소식에 미국의 미디어는 물론, 너도나도 할 것 없이 앞다투어 테크 애널리스트로 빙의, 아마존의 전략에 대해 찬사를 보내는 동시에 ‘아마존의 홀푸드 인수가 의미하는 것’이란 주제로 다양한 의견이 쏟아져 나오는, 매우 신기한 며칠이었다. 아마존이 우리 일상에 얼마나 깊숙하게 관여하고 있는지를 느낄 수 있는 현상이었다. 워낙 큰 뉴스라, 나도 시류에 편승하여 아마존의 홀푸드 인수 소식을 들으며 생각난 것들을 정리해 본다.

1. 테크 회사의 반격

최근 테크 관련 인수합병 트렌드는, 특히 다른 산업 사이의 인수합병은, 기술적인 역량을 키우고 싶은 기존 산업들이 주도하였다. 유니레버의 달러쉐이브클럽, 쥐엠의 크루즈 인수, (공교롭게도 아마존과 같은 날 발표해서 빛이 바랬지만) 월마트의 보노보스 인수 등이 모두 기존 산업의 위기 의식에서 비롯된 것이었다. 즉, 새로운 시대에서 살아남고 싶어 최근 트렌드 및 기술적인 역량을 ‘강제 이식’ 한 것이다 (= They need to stay relevant).

기존 산업들이 주도했던 최근의 테크 M&A 트렌드.
반면 아마존의 홀푸드 인수는 위기 의식이 아닌, 테크회사가 한 산업군에 대한 ‘혁신 의지’를 보여 준다고 할 수 있다. 물론 perishable goods 유통과 판매에 대한 역량을 이번 인수를 통해 함양할 수 있겠지만 궁극적으로는 아마존의 온라인 역량을 오프라인 세상에서 구현함으로써 기존 산업을 송두리째 흔들겠다는 것이다. 이번 인수 소식이 ‘테크회사의 반격’의 시작점이라면, 이런 형태의 테크-to-기존산업 인수합병이 산업 곳곳에 미칠 영향은 실로 어마어마하다. 에어비앤비가 항공사나 호텔을 인수하여 ‘여행 산업’을 재정의 할 수 있다. 넷플릭스가 미국 극장 체인을 인수하여 ‘영화 산업’을 재정의 할 수 있다. 페이스북이 방송사를 인수하여 ‘뉴스/생방송’을 재정의 할 수 있다. 이런식으로 끝이 없는 혁신의 실타래가 풀릴 지도 모르는 일이다.

2. 아마존이 모든 사람들이 가장 자주 찾는 ‘시장’이 되기 위한 마지막 단추를 끼움

아마존은 이미, 최소한 북미에서는, 가장 영향력 있는 시장(marketplace)이다. $280B로 추정되는 아마존의 GMV (아마존에서 거래되는 상품의 가격)는 미국 전자상거래 거래액의 40%에 육박하며, 4천 개가 넘는 매장을 보유한 월마트 GMV의 60%에 달한다. 이런 괴물 같은 아마존도 그들이 표방하는 ‘Everything Store’를 달성하는데 크게 발목 잡히는 것이 있었는이 이것이 바로 식료품 (grocery) 이었다. ‘뭐 식료품 별거 아닌데 그런거 말고 TV나 더 많이 파는게 나은거 아니야?’ 라고 식료품을 과소평가할 수 있는데 이는 큰 오산. 통계에 따르면 미국인들을 평균 수입의 10%를 음식에 지출 하고, 그 중 절반 이상을 식료품이 차지한다고 한다 (food-at-home). 이는 아마존이 현재 ‘꽉 잡고 있는’ 의류 와 기타 지출 apparel, services, and other expenditures)을 합친 것과 맞먹는 금액이다. 물론 Amazon Fresh라는 프로그램을 통해 대도시를 중심으로 식료품 사업에 도전해 봤지만 홀푸드의 광대한 매장을 통해 본격적으로 이 시장을 열 수 있는 계기가 된 것이다.

아마존의 홀푸드 인수 소식에 폭락한 기존 슈퍼마켓 주식들 (이미지: 임정욱 스타트업 얼라이언스 센터장님 페이스북)
식료품의 또 하나의 매력은 음식이 상하기 때문에 일반 제품과 다르게 고객들이 주기적으로 소비하고 또 다시 구매해야 한다는 것. 아마존이 추구하는 loyal customer를 더 쉽게 확보하고, 또 더 쉽게 유지 및 관리를 할 수 있게 되는 것이다. 간단히 말해 거의 완벽한 ‘Everything Store’가 된다는 것. (남은 부분은 아마 집, 보험, 교육, 그리고 교통 밖에 없을 듯).

3. 홀푸드 = 아마존 혁신의 전초기지

사실 이 뉴스가 ‘product guy’로써 제일 흥분되는 것은 아마존이 홀푸드를 인수함으로써 시도할 수 있는 다양한 혁신, 그리고 기존의 아마존 서비스들의 융합과 재탄생에 대해 상상을 하는 것이다. 특히 소비자들에게 잘 보이지 않는 ‘뒷단’에서 일어날 수 있는 재미있는 아이디어를 생각해보면 ‘아 정말 이 인수 무섭게 정교하고 대단하네’라고 감탄을 할 수 밖에 없다. 시간 가는 줄 모르고 상상해 본 아이디어 몇 가지:

홀푸드 = 미니 아마존 웨어하우스

Amazon Prime Now라는 서비스가 있는데, 대도시를 중심으로 생필품을 두 시간 안에 배달해 주는 서비스이다. 홀푸드가 아마존의 마지막 단에 있는 물류센터로 활용되기 시작하면 대도시, 생필품, 그리고 두 시간이라는 애매한 시간에 연연할 필요가 없어질 것이다. 정확한 수요 예측에 의하여 홀푸드 창고에 더 다양한 제품들을 구비해 두고 즉각 판매 및 배달을 할 수 있기 때문이다. 슈퍼볼 시작 한 시간 전에 TV가 고장이 났는데, 클릭 몇 번 으로 곧바로 새로운 TV가 집 앞에 배달되는 상황을 상상해보라. 정말 엄청나지 않은가?! 이미 저렴한 가격과 무한대에 가까운 품목을 구비하고 있는 아마존이 ‘즉석 배달’이라는 궁극적인 편의를 실현한다면 그야말로 게.임.끝. 일 것 같다.

배달 드론들의 기지

아마존이 드론을 이용하여 상품들을 배달한다고 했을 때 감탄사와 동시에 현실적인 제약들이 머리속에 곧바로 떠올랐었다. 특히 국지적인 비행 거리가 이 멋진 아이디어를 실현 시키는 데에 가장 큰 걸림돌이 될 것이라고 생각했는데, 홀푸드 옥상을 ‘드론 기지’로 바꾼다면? 위에서 언급한 바와 같이 홀푸드 창고를 미니 아마존 물류 센터로 사용한다면 드론 배달이 현실로 확 다가올 수 있다고 생각된다. 장보기 + 생필품 + 좋아하는 책을 아마존 에코의 알렉사를 통해 음성으로 주문하면 10분 후 드론이 뒷 마당에 주문한 상품들을 배달시켜 놓고 유유히 다음 장소로 날아가는 상황이 SF 영화가 아닐 수 있다는 생각에 살짝 소름이 끼친다.

오프라인 쇼핑 경험의 혁신

아마존은 현재 Amazon Go라는 매장을 직원들을 상대로 시범 운영을 하고 있다. 아마존 앱을 통해 매장에 들어가서 필요한 상품을 고르고 계산대를 거치지 않고 그냥 걸어 나가면 자동으로 결제가 되는 ‘마법의 슈퍼마켓’이다. 시범 매장을 통해 기술을 완성시킨 후 아마존이 자신들만의 Amazon Go 매장들을 만들다면 성공 가능성이 얼마나 될까? 아마존의 실행력이 워낙 무서워서 성공 가능성이 낮다고 할 수는 없겠지만, 동시에 매우 높다고도 확언할 수 없는 것이 사실이다. 성공적인 소매업을 만들어 내기 위해서는 ‘멋진 기술’과 실행력 만으로는 부족하기 때문이다. 제대로 된 상품들을 구비하고 있어야 할 뿐만 아니라 소매의 제 1, 2, 3의 법칙인 location, location, location을 놓쳐서는 안된다. 만약 Amazon Go 기술이 홀푸드에 바로 적용이 된다면? 품질 높은 상품과 부자 동네의 노른자 땅에 위치한 홀푸드는 Amazon Go 기술을 적용해 오프라인 쇼핑 경험의 혁신을 선도하기에 너무 적합한 조건을 가지고 있다. (혼수로 집, 가구, 차, 통장 다 준비해 놓고 ‘칫솔만 들고 들어와~’라고 하는 느낌?). 이미 현재 오프라인 경험이 최고에 가까운 홀푸드에 온라인 및 새로운 기술을 적용해 우리에게 선보일 마법스러운 쇼핑 경험은 너무 기대가 된다.

SaaS (식료품-as-a-service)

아마존의 AWS 서비스는 전 세계 크고 작은 개발자에게 차별하지 않고 엄청난 컴퓨팅 파워를 제공한다. 마찬가지로 식료품을 소비자의 크기에 구애받지 않고 효율적으로 연결시켜주는 플랫폼으로 홀푸드를 생각하면 어떤 것들이 가능할까? 지금은 소비자가 장을 보러 가는 곳이지만, 음식점들도 홀푸드 유통 허브에서 직접 원자재 / 반자재들을 배달시킬 수 있지 않을까? 홀푸드엔 꽤나 괜찮은 푸드코트가 있는데, 매장에 들리는 사람들의 간식거리로 파는 것이 아닌 기업용 케터링으로 서비스를 확장할 수 있지 않을까? 식료품의 SaaS시대… 아마존이 연다고 확신한다.

결론: 아마존 멋지다.

.

PS – 홀푸드 인수 발표 당일 아침엔 슬랙을 $9B에 구매 의향을 보인다는 루머가 있었는데… 더더욱 ㅈㄴ 멋지다.

PS2 – 커버 이미지 소스 https://goo.gl/Nd9Pii

그로스 해킹의 기본: gamification

https://pixabay.com/en/gamification-progression-coins-1474879/

회사에서 네트워킹을 할 기회가 있었는데, 우연히 말을 주고 받은 사람이 너무 낯이 익어서 계속 캐보니 몇 년 전 MIT Venture Lab에 기웃거릴 때 발표를 했던 Bunchball의 창업자였다. 4년 전 짧게 만났지만 그로스 해킹의 기초가 되는 심리학 및 gamification에 대해 한참 공부할 때라 이쪽 분야의 고수임을 자처했던 Bunchball 창업자와의 만남은 아직까지 가시지 않았던 것이다.

지인을 만나 기뻤지만 (혹시 망했을 까봐) 대놓고 ‘너네 회사 어떻게 되었어?’ 라고 물어볼 수 없어 나중에 Bunchball 홈페이지를 찾아가 보았는데 일단 홈페이지는 살아있어 안도. 그냥 무심코 여러 페이지를 클릭하다가 gamification에 대해 나름 잘 정리해 놓은 페이지가 있어 짧게 번역 + 의견을 붙여보기로 하였다.

원문: http://www.bunchball.com/gamification/game-mechanics

Gamification이란 게임을 디자인할 때 자주 이용되는 행동심리학적인 기법들을 차용하여 제품이나 서비스의 이용을 촉진시키는 방법을 총칭하며, game dynamics, 혹은 game mechanics라고 하기도 한다. 이런 기법들은 흔히 ‘게임 중독’의 주범으로 주목되기도 하는데, gamification을 과장해서 한마디로 설명하자면 사용자들을 나의 제품이나 서비스에 ‘중독’시키기 위해 사용되는 기법이라고 볼 수 있다. 이에 당연히 그로스 해킹을 하려면 필수적으로 숙지해 놓아야 한다.

다음은 Bunchball이 소개한 gamification의 기본 개념들이다.

빠른 피드백: 어느 행동에 대해 즉각적인 피드백 및 반응을 줌

공지, 문자, 이메일 등을 통해 사용자들이 계속해서 행동 변화를 지속할 수 있게 격려한다. 사용자들이 목표를 달성할 때 축하와 동시에 그 다음 목표를 설정해주거나 계속 하던 일을 지속할 수 있도록 포상을 해준다.

투명성: 어디에 누가 있는지 줄 세우기

사용자들이 중요시하는 지표 상 그들이 정확히 어디 있는지를 짚어줘라. 개인 및 팀 프로필에는 현재 및 누적된 진척 상황을 보여준다. 순위차트는 누가 사용자보다 바로 위, 아래에 있는지를 나타내고 동시에 정해진 지표 기준으로 몇 순위인지를 적나라하게 알려준다.

목표: 단기 및 장기적으로 달성해야 할 과제들

사용자들에게 왜 주어진 행동을 해야되는지에 대한 동기부여를 주며, 동시에 사용자들에게 어느 것들이 ‘의미’ 있는 행동이고 또 무슨 행동들이 가능한지 알려주는 역할을 한다.

뱃지: 성취의 표시

성취의 상징, 혹은 어느 기술에 대한 완벽한 습득을 상징하는 표시로 그것의 가치를 알아주는 집단 내에서 매우 의미있게 작용한다. 준거 집단 내에 어떤 특정 기술이나 전문성을 표시할 때 주로 사용한다.

레벨 업: 지위의 표시

레벨은 장기적, 그리고 지속적인 목표 달성을 의미한다. 준거 집단 내에서의 지위를 표시하고, 또 새로운 미션, 뱃지, 포상등의 기본 요전으로 사용된다.

온보딩 (on-boarding): 사용자의 주의를 사로 잡으며 정보를 주입

사용자들은 비디오 게임을 게임을 하면서 어떻게 게임을 하는지 배운다. 마찬가지로, 매뉴얼을 읽는 것 대신 매우 간단한 미션 등을 통해 사용자들이 주어진 일들을 경험하면서 배울 수 있는 방법을 제공한다.

경쟁: 남과 비교했을 때의 나의 성과

목표를 이루기 위해 남들과 비교해서 사용자들의 성과가 어떠한지 보여주는 기법. 개인 혹은 팀 별 순위차트를 통해 경쟁을 유발하여 사용자보다 높은 순위에 있는 사람을 이기고 싶어하는 경쟁심을 유발시킨다.

협업: 남들과 같이 일함으로써 목표를 달성함

팀 단위로 사용자들을 묶어서 더 큰 목표를 달성, 더 강한 경쟁심을 유도, 혹은 더 많은 공유등을 촉진시킨다. 팀원들에게 자신들의 팀 기여도를 알려줌으로써 서로 팀의 ‘엑스맨’이 되지 않으려는 행동을 유발한다.

커뮤니티 (공동체)

공동체는 목표, 뱃지, 경쟁 등에 대해 ‘왜 이걸 해야하지’에 대한 맥락을 제공함과 동시에 그거들을 공유할 수 있는 준거 집단이 된다. 또한 공동체 일원들의 성취 소식들이 공유 되면서 나머지 사용자들에게도 ‘아 이런 것들을 하면 되는구나’ 라는 효과를 낼 수 있다.

포인트: 성취감의 계량적인 증거

점수를 세고, 지위를 정하고, 혹은 가상/실제 물건들을 구입할 수 있도록 축적할 수 있는 도구. 사용자들이 원하는 행동을 하였을 때, 목표를 달성했을 때 등의 상황에서 포인트를 지급함으로써 사용자들에 영향을 줄 수 있다.

.

앞으로 새로운 제품이나 서비스를 사용할 때 위의 gamification 기법들을 바탕으로 그 회사의 그로스 해킹 기법을 ‘역추적’을 해 본다면 ‘아 이래서 이 앱이 내 연락처 열람을 하려고 하는 거구나’, ‘아 이래서 이런 이메일을 받았네’, ‘아 이래서 내 친구가 신기록 자랑을 하는 거군’ 등 별 생각 없이 받아드렸던 것들이 조금씩 의미를 가지며 다가올 것이다.

.

PS – 균형있는 관점을 위해 주영민 님의 그로스해킹의 비판글도 꼭 보시길.