데이터 분석가가 바라본 “좋은 프로덕트"란?
들어가는 글
2022년 하반기부터 2024년 1월 초까지 정말 많은 분들과 커피챗을 했다. 개인적으로 커피챗을 하고 나면 느낀 점을 노션에 아카이브를 하는 편인데, 대강 살펴보니 50명 정도 되는 것 같다. MBTI가 I(-ntroverted)임에도 불구하고 소수정예로 소소하게 대화하는 것을 무척 좋아하는 편이라, 커피챗은 언제나 “내적 흥분"(?)으로 가득찬 시간이었다. 회사 동료 분들, 데이터 분석가, PO, 디자이너, 마케터, UX 리서처, 그리고 회사의 창업자나 임원 분들 등 각자 전문 분야를 가진 분들의 고견을 들으며 “성장"에 관한 나만의 주관을 조금씩 수정하기도 하고, 물론 가끔은 나도 나만의 주관을 말씀 드려 상부상조(?)의 시간이 될 수 있도록 노력하기도 했다.
그런데, 수많은 커피챗에서 들었던 질문들 중 아직도 마음 속에 꽂혀 있는 게 하나 있다.
“Joshua님이 생각하는 좋은 프로덕트란 뭔가요?”
Job Title을 막론하고 회사와 제품의 성장을 위한 일원으로 참여하고 있다면 꼭 한 번 깊게 고민해봐야 할 질문임에도 불구하고, 선뜻 머리가 하얘졌다. 특히나, 프로덕트 데이터 분석을 한창 하고 있는 사람으로서 명확한 답변을 할 줄 알아야 하는 주제였지만, 답변을 잘 드리지 못해 상당히 창피하기도 했다.
그 후, 내가 사용하고 있는, 그리고 사용해본 적 있는 프로덕트를 중심으로 데이터 분석가가 생각하는 “좋은 프로덕트"의 정의를 세워보려고 노력해봤다. 그래서 오늘은 머리가 아픈 SQL, Python 말고 이런 말랑말랑한 주제로 글을 적어본다. 아직 사업을 해본 적도 없고 연차가 썩 높지도 않아 조심스럽지만, 이렇게 글을 적어두면 몇 년이 더 흘렀을 때 스스로 이불킥을 하며 한 번 더 창피함에 사무쳐 또 성장해볼 수 있지 않을까 기대해본다.
“좋은 프로덕트" 정의
좋은 프로덕트란, MVP로 사용자 유입 후 PMF를 달성하여, PMF 중심의 심플한 User Journey를 훼손하지 않는 상태에서 조심스럽게 빌딩하여, 궁극적으로 안정적인 매출 BM을 만들어가는 프로덕트다!
한 문장에 불과하지만, 각 음절을 음미하다보면 아마 수많은 데이터 분석가 분들은 마구마구 샘이 솟아나는 Metrics가 있으실 것 같다. 문장이 호흡이 길어, 딱 세 부분으로 Parsing해보도록 하겠다.
1. MVP로 사용자 유입 후 PMF를 달성한다.
최소한의 기능을 갖춘 제품을 출시하여 다양한 포맷의 캠페인, 컨텐츠, 언론 보도 등을 통해 제품의 트래픽 볼륨을 상승시키는 일은 프로덕트의 Baby Stepping Phase(?)에서 당연히 가장 집중해야 할 일이다. 컨텐츠 마케팅, 퍼포먼스 마케팅, PR 등의 영역이기도 하니, 이 방법론에 대해서는 사실 내가 왈가왈부할 수는 없을 것 같다.
물론, 회사가 이러한 Phase를 밟고 있는 상황에서 많은 데이터 분석가 분들이 “유입이 아니라 전환율이 더 중요해요!”라고 외치고 싶은 감정을 많이 가지고 계신 것 같다. (물론, 나도 종종 그랬다…) 그러나 프로덕트의 사업 단계를 곱씹어본다면, 전환율이 아니라 유입을 통해 트래픽 베이스를 닦아 놓는 것이 우선순위가 높은 Phase인 것 같다.
물론 이러한 Phase에서 데이터 분석가의 가장 중요한 역할은 DAU, WAU, MAU, New Users 등 트래픽 볼륨 관련 Metrics 위주의 대시보드를 제작하고, 이 Metrics를 각 User Properties나 UTM Parameters 별로 딥다이브하여 Acquisition Cost 대비 가장 유입 효과가 좋은 Ad-hoc 인사이트를 전사적으로 전달해드리는 것이다.
그러나, 이와 동시에 중요하게 뜯어봐야 할 게 있다. 바로 “PMF 달성 여부"를 탐색해야 하는 일이다. 리텐션을 Segments 별로 추적하여 MVP의 아하 모먼트가 되는 User Journey 조합이 뭔지, 그리고 궁극적으로 정확히 어떤 UX 지점이 사용자를 프로덕트에 잔존하도록 만드는지를 찾아야 하는 것이다. 즉, 데이터 분석가라면 누구나 공감하시듯, 밑 빠진 독에 물을 붓는 것을 방지하기 위해 어서 빨리 밑이 안 빠지는 Market Fit을 탐색해야 한다.
사실 직접 경험해보니 이게 말이 쉽지, 실제로 정말 어렵다. 세 가지 이유가 있다.
첫째, 기존의 기획 의도를 완전히 갈아 엎고 새롭게 Pivot을 해야 할 정도의 결론이 나는 경우가 많기 때문이다.
보통 스타트업에서 프로덕트를 만들기 위해 창업자나 임원진 분들께서 정부 부처, VC, 은행, 지주회사 등을 대상으로 IR 미팅을 수도 없이 다니실 것이다. 그리고 사전 기획서나 BM을 먼저 Top-down으로 제시하는 경우가 대다수다. (어쩔 수 없다. 제품의 방향도 모르는데 친절하게 투자해주는 사람은 없다.)
이러한 배경 속에서 아하 모먼트를 발견하고 PMF를 달성하는 여정을 잘 찾아 기획을 완전히 Pivot해야 하는 분석 결과를 만들었다고 하더라도 사업을 책임지시는 분들 입장에서는 굉장히 큰 리스크로 다가오기 마련이며, 또 회사 내부와 외부 이해관계당사자를 모두 함께 설득해야 하는 일이다.
물론 내가 직접 사업을 해본 적이 없기 때문에 당연히 체감이 덜 하겠지만, 커뮤니티를 운영하면서 귀여운 수준으로 감정이입을 해보니 결코 쉽지 않을 것 같다는 생각이 많이 들었다. (역시 오너십이 강화될수록 책임은 더욱 무거워지고 결정 내리기는 더욱 조심스러워질 수밖에 없다.)
이 어려운 시기에 가장 중요한 점은 제품의 BM을 확정짓지 않은 상태에서, 최종 사용자로부터 Bottom-up한 시도가 이루어져야 하는 공감대를 형성하는 것이다. 바로 이 점이 데이터 분석가, 그리고 UX 리서처가 탄탄한 논리 뼈대를 잘 만들어야 하는 부분이다.
즉, 데이터 분석가는 MVP 개발에 몰두하다보니 자연스럽게 부실할 수밖에 없는 데이터 분석 환경 내에서 가능한 한 많은 잡무(?)를 통해 “PMF의 User Journey 조합은 무엇인지, 그게 왜 PMF인지"에 대해 임원진 분들을 포함하여 전사적으로 납득할 수 있을 만한 분석 결과를 만들어야 한다. 이 때는 보통 측정 가능한 이벤트 자체도 굉장히 적고, 운영 DB 외에 OLAP 자체도 제대로 갖춰지지 않은 단계이므로, 사용자 식별자를 통해 데이터 정합성을 보장하기도 어려워 굉장히 Manual한 환경일 수밖에 없다. 따라서 고난이도의 통계학이 요구되는 데이터 분석이 아니라, 오히려 데이터의 허점과 구멍을 잘 메우기 위해 원론적인 논리성을 갖춘 데이터 분석 역할이 이루어지는 것이 중요하다.
물론, UX 리서처의 역할도 중요하다. 데이터 분석 환경 자체가 부실할 수밖에 없다보니, 데이터 분석가가 예를 들어 아하 모먼트 조합을 발견했다고 하더라도 “Why?”에 대해 제대로 파악할 수 없는 순간들이 비일비재하다. 이 때 User Interview 리포트를 통해 그 간극을 메워 더욱 “그게 왜 PMF인지"에 대한 답을 찾는 데 기여해야 한다.
가령, 당근마켓의 최종 사용자들이 “키워드 알람"을 등록했을 때 리텐션이 급격하게 상승하고 Plateau가 형성된다는 것을 데이터 분석가가 확인했다고 하더라도, 그 이후 제품의 PMF 방향을 재기획하기 위해서는 사용자의 목소리를 직접 들어 “왜 키워드 알람이 프로덕트에 잔존하게 만들었는지"에 관한 그들의 멘탈 모델을 객관적으로 파악해야 한다. 그런 후에, 사용자의 맥락에 맞는 Pivoting으로 이어질 수 있을 것이다.
둘째, 소규모의 유입 수만으로 표본의 대표성을 확보하기가 어렵기 때문이다.
MVP를 출시한다면 적게는 몇 십명, 정말 많아야 몇 천 명에 불과한 경우가 대부분일 것이다. 이 과정에서 전체 사용자 수만으로 모수 추론을 하는 것 자체도 간당간당한 상황인데, Segments 등 각 조합 별로 아하 모먼트 등을 확인하는 과정에서 대표성 문제가 반드시 발생할 수밖에 없다. 모수 추론을 위한 표본의 datapoints 수 (n) 자체의 가정 충족 자체가 불가능하기 때문이다. (많은 데이터 분석가 분들께서 이러한 상황이 혼동스럽고 결과를 리포팅하기 가장 찝찝한 순간이라고 말씀을 해주셨던 게 기억난다. 물론, 나도 그런 적이 많다…)
개인적으로 이러한 상황에서 데이터 분석가는 연구자로서의 마인드셋이 아니라, 프로덕트 빌더로서의 마인드셋을 갖추는 게 중요하다는 생각이 조심스럽게 든다. 연구 결과 보고서를 써야 하는 자리가 아니라, 당장 프로덕트를 성장시켜야 하는 포지션이기 때문이다.
이러한 False Positive 확률이 높은 상황에서 데이터 분석가 뿐만 아니라, 임원진 분들을 포함하여 다양한 동료 분들이 함께 결정하는 것이 중요하다고 느꼈다. 예를 들어, 특정 조합의 아하 모먼트를 발견했는데, 해당 표본이 단 10명의 사용자에 불과하다면 불과 10명의 표본을 통해 추론통계학 모델에 적용하는 것이 사실상 불가능하므로, 다양한 분들의 영감이 필요한 상황인 것이다. 이미 사업 경험이 많은 분들이 추론통계학이 불가능한 이 지점을 풀어내실 수도 있고, UX 리서처가 귀납적 추론 측면에서 아하 모먼트임을 지지하거나 혹은 폐지하는 데 도움을 줄 수도 있다. 중요한 것은 우리 모두 공급자일 뿐, “소비자"가 아니기 때문에 “메타인지"가 가장 빛을 발하는 상황이라는 점이다.
셋째, 아무리 탐색해도 MVP 내에 PMF 자체가 존재하지 않는 경우가 많기 때문이다.
정말 안타깝게도 MVP를 출시했지만 Market Fit 자체가 존재하지 않을 수도 있다. 최종 사용자에게 아무런 Value Proposition을 제시하지 못하는 슬픈 순간인 것이다. 이런 상황에서 데이터 분석가로서 기여할 만한 방법을 찾는 게 참 어려운 것 같다.
이 때 가장 중요한 점은, 이 상태에서 제품에 기능을 억지로 추가하는 빌딩이 되어서는 안된다는 것이다. 오히려 갈아엎고 새롭게 Pivot하여 다른 유형의 MVP를 출시해야 한다. Value Proposition이 전무한 상황에서 새로운 기능을 억지로 붙여가다보면 분명히 제품의 UX 자체가 Core를 형성하지 못한 채 여러모로 크게 훼손되기 쉽고, PMF 방향 자체가 형성이 안되다보니 Metrics Hierarchy 공감대를 형성하지 못한 상태로 조직이 파편화되어 시간만 흐르는 상황이 되기 쉽다. 그리고 자연스럽게 프로덕트 성장을 위한 데이터 분석 자체도 매우 어려워진다.
물론, 기능을 억지로 추가해가다보면 운 좋게 매출이 잘 터져 사업 지속성이 이루어진다고 하더라도, Market Fit을 달성하지 않은 상태에서 발생하는 매출은 가성비가 매우 떨어져 영업이익을 만들어내기 어려워지거나, 혹은 더 심플한 Market Fit을 달성한 타 프로덕트에 의해 P&L 경쟁에서 쉽게 도태될 수 있을 것이다.
2. PMF 중심의 심플한 User Journey를 훼손하지 않는 상태에서 조심스럽게 빌딩한다.
PMF 달성 후, 해당 PMF User Journey를 기축 뼈대로 잡아 프로덕트의 Simplification을 잘 갖춰야 한다. 그 상태에서 PMF 니즈를 충족하는 잠재고객들을 대상으로 예전보다 더 가성비가 좋은 캠페인을 실행하여 프로덕트를 뚱뚱하게(?) 만들어갈 수 있을 것이다.
또한 이제 단순히 MVP가 아니라 “제품"으로 나아가기 위해 개발과 디자인 측면에서 정말 많은 빌딩 과정이 필요해질 것이다. 이 때 중요한 점은, PMF User Journey를 훼손시키지 않아야 한다는 것이다. 아하 모먼트를 겪은 최종 사용자들이 잔존하고 있다는 것은 해당 User Journey를 경험했기 때문이며, 또 다시 경험하고자 하기 때문이기도 하다. 따라서 제품 기능을 추가해가는 과정에서 PMF User Journey가 복잡해지거나, 멘탈 모델로부터 지나치게 벗어난 IA가 배포되거나, 혹은 기존 Journey와 완전히 Trade-off한 기능을 발견하게 된다면 이탈률은 높아지고 결국 PMF 자체가 소멸될 수 있다.
개인적으로 2016년부터 Skyscanner를 애용하고 있는데, 매우 모범적인 케이스라고 생각한다. 저가 항공권을 빠르게 발견할 수 있는 아하 모먼트를 유지한 상태에서, 호텔이나 렌터카 연계 등의 BM을 확장시켜 나가며 Skyscanner는 아직도 “수백만 개의 저가 항공권. 검색 한 번으로 간단하게.”라는 Core Writing을 유지하고 있다. Google Flights, Expedia, Booking.com 등 수많은 거대 경쟁 기업들 속에서도 꾸준히 생존 중인 이유 중 하나인 듯하다.
이 조심스러운 빌딩 과정에서 데이터 분석가가 기여할 수 있는 가장 중요한 역할은 A/B 테스트라고 느낀다. PMF User Journey를 훼손시키지 않은 상태에서 Marginal하게 나아가야 하는 단계이므로, Marginal한 A/B 테스트의 철학과 결이 맞는 것 같다. 즉, 기존의 PMF User Journey 관련 지표를 Guardrail Metrics로 설정하여 조금씩 매출 BM의 형성에 도움이 될 만한 기능 추가의 효과를 실험해볼 수 있는 것이다.
3. 안정적인 매출 BM을 만들어간다.
리텐션이든, 아하 모먼트든, PMF든.. 사실 프로덕트의 성장 자체보다 더 중요한 것은 바로 안정적인 매출을 만들어가는 것이다. (그래야 모두가 행복해진다😭) BM을 만드는 일은 내 전문 분야가 아니라 모르는 점이 많지만, 개인적으로 직/간접적으로 경험했을 때 이 Phase 역시 굉장히 어려운 순간이라고 느꼈다. 스타트업이라면 투자 계약 갱신 시점에 대한 압박이 더욱 커지는 시기일 것이고, 생각보다 매출이 지지부진할 경우 “유지 vs 재접근” 사이의 공감대를 형성하지 못해 조직 전체가 흔들릴 수도 있고, 또 스타트업이 신규 인재 채용을 활발하게 진행하는 시기와도 겹치므로 회사의 의사결정 속도가 무거워지는 등 여러 가지 내/외부적 압박감 속에서 진행되는 경우가 많은 것 같다.
데이터 분석가나 PO 분들이라면 한 번쯤 들어보셨겠지만, 당근 마켓의 사례로부터 이 Phase가 얼마나 어려운지 체감할 수 있다.
PMF 달성 이후 안정적인 매출 BM을 위해 내부적으로 치열하게 고민 중이시라는 것을 당근마켓 최종 사용자 입장에서 매우 많이 느꼈다. (잘 될 거예요. 응원합니다!) 알바, 과외, 부동산, 중고차 등 광고수익 모델을 하나씩 얹혀 가는 걸 지켜봤다. 내부 데이터를 모르니 외부인 입장에서 “감히” 아무런 평가를 할 수는 없지만, 이런 아이디어가 생각이 났다.
고가의 제품(시계, 맥북, 냉장고 등)을 중고거래하는 과정에서 “만원 내고 전문가의 사전 점검 서비스를 받아보세요" 라는 느낌의 마이크로 서비스를 추가해보는 것은 어떠할까? 당근마켓의 아하 모먼트가 (만약) “우리 동네 근처 사람들과 함께 안심하게 중고거래하는 것"이라면, 그 Fit을 강화시켜줄 것 같다. 또한, 당근마켓의 도메인 특성상, 각 중고거래가 발생할 때마다 겪는 UX가 중요할 것이고, 또 판매자 입장의 회전율도 높아져 전반적으로 아하 모먼트가 강화되는 데 크게 기여하면서도 마이크로 매출 BM을 형성할 수도 있을 것 같다. (예전에 비해 요새는 당근마켓에 물건을 올려도 잘 안 팔린다. 그래서 당근마켓이 더 잘 됐으면 좋겠다. 너무 애정한다..🥺)
아무튼 이 단계에서 데이터 분석가의 중요한 역할은 LTV, ARPU, ARPPU, (구독모델이라면) ARR 등 보다 퍼포먼스 마케팅과 연관된 Metrics를 제공하는 일이다. 이 외에도, 예전보다 훨씬 많은 트래픽과 데이터 분석 환경이 갖춰진 상태이므로 더 집중해야 할 특정 매출 BM이 뭔지 찾고, 각 BM 별로 세부 Funnel 전환율을 강화시키기 위해 정말 많은 일들을 수행해가야 한다. (개인적으로 이 시점이 데이터 분석가의 신규 채용이 가장 필요하다고 생각한다.)
결론
지금까지 말씀 드린 내용은 순전히 개인적인 주관일 뿐이다. 글을 적고 보니 B2C 플랫폼 앱 성격을 지닌 프로덕트 모델에 대해서만 한정된 이야기인 것 같기도 하다. 수많은 임원진 분들 처럼 경영자 마인드셋을 제대로 갖추고 엄청난 내외부적 압박으로 밤잠을 못 이뤄가는 그런 순간을 감히 겪어본 적도 없다. 오로지 단지 다양한 분들과의 커피챗을 통해 이야기를 나누고, 또 데이터 분석가로 일을 하며 귀동냥을 한 것들을 토대로 귀여운(?) 주관을 형성한 것 뿐이다.
나중에 연차가 쌓여 더 다양한 경험, 더 다양한 희열과 고통을 느끼다보면, 몇 년 후 이 글을 다시 보게 됐을 때 “어머? 아무것도 모르면서 쓴 글이잖아? 얼른 삭제하자"라는 생각이 들 수도 있겠다. 그러나 그런 부끄러움을 느끼게 되는 동시에, 내가 현재 어떤 부분에서 많이 성장했고, 어떤 부분은 지지부진한지 자기 객관화를 하며 농도 진한 회고를 하는 데 도움이 될 것 같다. 그래서 글을 적어봤다.😁
데이터 분석가, 애널리틱스 엔지니어, 데이터 엔지니어, 그리고 데이터에 관심이 많은 다양한 포지션. 이 모든 포지션의 존재 의미는 결국 “좋은 프로덕트"를 만들기 위함이다. 분석 방법론, Dimensional Modeling, ETL Tool 등 이론과 스킬셋을 갖추는 것도 당연히 중요하지만, 내 역할이 “좋은 프로덕트"를 만들기 위해 어떤 역할을 수행하고 있는지 잘 이해해가는 게 중요한 것 같다.
사내외적으로 커피챗을 하다 보면, “사측 vs 직원측"의 이분법적 시각을 들을 때가 종종 있다. 그 분들의 고견을 폄하할 생각은 전혀 없고, 단지 사측의 Phase가 어떻게 되는지 이해와 공감을 하는 노력을 하다보면, 회사의 상황에 맞는 나의 역할을 명료화함으로써 “지금 맥락에 필요한 사람"이 더 잘 될 수 있다는 생각이 든다. 그래야 회사도 좋고, 나도 좋고 윈윈하니깐.
나도 아직 모르는 것이 정말 많은 만큼, 하나하나 소중하게 여기며 매일 티끌 하나 만큼의 배움에도 감사함을 느끼며 “같이 일 하고 싶은 월드 클래스 데이터 분석가"가 꼭 될 것이다. 내 꿈은 데이터 분석계의 손흥민이니까. 그걸 꿈 꾸며, 매일 밤 불 타오르며 이불을 덮으니까.
데이터 분석 자체가 아니라, 프로덕트를 넓게 바라볼 수 있도록 늘 옆에서 채찍질을 해주는 PO 여자친구에게 항상 감사합니다. (충성을 맹세합니다.)
감사합니다!
👤 Joshua Kim
💼 Data Analyst
🌎 joshua-data.github.io
🌎 linkedin.com/in/joshuajsk
⚫ medium.com/@joshua.web3
