제발 측정 좀 합시다!!! – 스타트업 경영은 ‘아트’가 아니다 (II)

앞서 다른 글에서 스타트업 경영은 ‘아트’나 ‘운’의 영역으로 치부할 것이 아니라, 합리적으로 예측할 수 있는 영역으로 끌고 가야 한다고 말씀드렸었는데, 오늘은 조금 더 상세하게 ‘측정의 중요성’에 대해서 얘기해보고자 합니다.

요즘 스타트업 붐이 조금씩 일고 있어서 꽤 많은 미팅을 하게 되는데 아래와 같이 대화가 진행되는 경우가 종종 있습니다. (아래 사례는 의미 있는 다운로드를 달성한 회사의 사례)

기업가A: (매우 자랑스럽게) “저희는 앱 서비스 시작한지 3개월만에 50만 다운로드를 달성하였습니다!
한 두달 후면 100만, 올해 안에 1천만까지도 갈 수 있을 것이라고 생각합니다!
지미림: 축하드립니다. 어떻게 점점 좋아지고 있나요?
기업가A: 그럼요! 저희 별 다른 노력 없이 50만을 달성했습니다. 조금만 노력하고 마케팅 비용 쓰면
수백만은 충분히 가능합니다!’
지미림: 아 네… 다운로드 이외의 지표들은 어떤가요?
기업가A: 뭐 이런 저런 지표들을 측정하고 있는데 자세한 것은 담당자에게 물어보고 말씀드리겠습니다.
지미림: 아 네….!@#$%^&*

혹시 여러분들의 스타트업은 어떤가요? 여기서 case study를 한번 하겠습니다. 가상의 기업 2개를 비교해보시죠. 먼저, A 기업의 서비스 출시 이후 월별 누적 다운로드수와(파란색) 가입회원수(빨간색) 데이터를 보시죠.

사용자 삽입 이미지
어떤가요? 사실 미팅할 때 이렇게 데이터를 준비하는 팀도 많지 않습니다. 뭐 그건 차치하고, 이런 그래프를 보시면 6개월이라는 짧은 시간 안에 100만 다운로드 가까이 달성했기 때문에 좋아보이시는지요?

여기서 무엇을 더 봐야 할까요? 조금 더 보시는 분들은 어쩌면 (현재 가입자수-전월 가입자수)를 계산해서 순증이 증가하고 있는지, 아니면 줄어들고 있는지를 보실 수도 있겠습니다.

물론, 그것도 좋긴 한데, 위의 지표만 갖고서는 이 서비스가 지속적으로 잘 사용되고 있는지를 알 수가 없습니다. 그래서 저는 전혀 판단을 할 수가 없습니다. 굳이 한다면, 그래도 100만 가까이 다운을 받았으니 1) 대중성이 있는 아이템으로 판단되었거나, 2) 아니면 마케팅을 참 잘하는 팀이거나 정도의 생각이 들겠네요.

다운로드/가입자 수만 확인하면 안됩니다. 더 많은 데이터를 측정하고 봐야 합니다. 수 많은 지표들이 존재하고 회사마다 적합한 것이 다를 수 있겠지만, 여기서는 case study를 단순화하기 위해 ‘회원 가입률’ (다운로드를 받은 고객이 회원가입까지 한 비율)과, ‘전월 대비 Retention'(전월에 서비스를 사용한 고객이 다음월에도 서비스를 사용하는 잔존율)을 둘 다 40%라고 가정해보시죠. 상세 데이터를 볼까요?

사용자 삽입 이미지
다운로드는 많이 했지만, 회원가입률은 40% 수준이고, 또한 이번달에 사용했던 유저가 다음달에 다시 사용하는 Retention (잔존율)이 40%에 불과하기 때문에, 전체적으로 살펴보면 ‘고객 이탈율’이 어마어마한 것입니다. 매월 들어왔던 고객들을 그룹지어서 그 집단의 잔존율을 계산해보고, 월별 집단 사용자수의 총합을 통해 Total MAU(Monthly Active User, 회사에서 정한 active의 기준을 넘는 월 사용자. 여기에서는 단순하게 하기 위해 월 1번 이상의 사용자로 규정)를 계산해 보면 Dramatic하게 떨어지는 것을 알 수 있습니다. (3개월째 10만이 넘었던 수치가 몇 개월 후에 1만 이하가 될 수도 있는 것이죠)

6개월이 되는 시점에서 투자 검토 미팅을 했고, 만일 7개월~9개월째 신규 다운로드/가입자 수가 예전처럼 높지 못하다면 이 서비스는 거의 죽은 서비스라고 할 수 있을 것입니다. 이런 상황에서 계속 다운로드 수 같은 지표만 신경을 쓰면서 마케팅을 고려하고 있다면, ‘밑 빠진 독에 물 붓기’가 되는 것입니다. 그럼에도 불구하고 다운로드/가입자수 같은 지표가 가장 중요하다고 생각하면서 그것만 관리하는 경우를 의외로 많이 봤습니다.

그렇다면, 가상의 B기업을 한번 볼까요?

사용자 삽입 이미지
다운로드/가입자 수만 보면 그냥 그렇죠? 만일 A기업과 B기업의 다운로드/가입자 수 그래프만 보셨으면 어땠을 것 같은가요? 당연히 A기업이 월등하다고 생각하셨겠죠? 하지만, B기업의 상세 데이터가 아래와 같다면 저는 이런 기업을 완전 선호합니다.

사용자 삽입 이미지
다운로드/가입자 수는 작지만 이 기업은 고객들의 실제 사용 행태와 피드백을 바탕으로 지속적으로 서비스를 진화시켰을 것입니다. 그래서 회원가입률도 40%대에서 65%로, 그리고 해당월에 가입한 유저집단을 분석한 (Cohort Analysis) 잔존율도 50%에서 92%까지 높아진 것이죠. 이런 기업이라면, 투자를 하고 싶어집니다. 제가 투자한 돈이 제대로 쓰일 수 있을 것이라는 확신이 드는 것이죠. 이제는 마케팅을 통해서 유저만 끌어오기만 하면 나머지 모든 것은 선순환을 탈 수가 있는 것입니다.

위의 case study에서는 간단하게 회원가입률과 Monthly Retention (전월 고객이 다음달에도 서비스를 사용하는 비중)만을 변수로 설정하고, 또 집단분석(Cohort Analysis)을 사용하는 것 정도만을 보여드렸는데 실제 스타트업에서는 이보다 훨씬 많은 데이터들을 분석해야 할 것입니다. 회사가 중요하게 생각하는 모든 것들을 측정을 해야 할 것입니다. 어떻게 하면 되냐고요? 사실 지표 측정의 경우에는 회사마다 가장 적합한 것이 있기 때문에 ‘공식’이 있다고 보기는 힘들지만, 그래도 미국의 스타트업들이 많이 사용하는 ‘AARRR기법’을 공부해보고 본인들의 서비스에 적용시켜보시길 강력하게 권해드립니다.

AARRR은 Acquisition, Activation, Retention, Referral, Revenue 관점에서 지표들을 측정을 하는 것을 말하는데, 충분히 의미가 있다고 생각합니다. AARRR을 잘 설명한 자료를 아래 하나 첨부하면서 글을 마치겠습니다. (Googling을 해보시면 더 많은 자료들을 찾을 수 있습니다) 대한민국 스타트업들이 모두다 ‘측정’을 잘 하는 그날까지!!!

글 : 임지훈
출처 : http://www.jimmyrim.com/154

%d bloggers like this: