코드스테이츠 PMB 18기 W5 그로스 해킹 사례 분석 및 테스트

1-4주차동안은 투네이션이 뭘 하는 회사인지, 그리고 어떤 불편사항을 개선하면 더 좋은서비스가 될지 고민을 해보았다면

이번주는 비슷한 서비스들은 어떻게 마케팅을 하고 있는지, 그리고 그러한 기법을 투네이션에 도입할수 있을지 고민해 보겠습니다.

 

일단 몸풀기로 제가 요즘 자주 쓰는 애플뮤직을 AARRR기법을 활용하여 퍼널분석해보았습니다.

얼마전 윈도우 11이 나오면서 애플 뮤직이 드디어 윈도우를 완벽하게(고음질 음원 사용, 큐레이션 기능 등) 지원하기 시작했기 때문에 컴퓨터에서는 불완전하게 사용하던 애플뮤직이 드디어 윈도우 컴퓨터 + 아이폰/아이패드 조합을 사용하는 저에게도 하루종일 어디서나 활용이 가능해졌기 때문이죠. 

 

AARRR은 Acquisition(획득), Activation(활성화),  Retention(유지/재방문 단계), Revenue(매출 단계) , Referral(추천 단계)를 앞글자들만 따온것으로 각 절차를 지나갈수록 깔때기 모양으로 유저수가 줄어들기 때문에 퍼널이란 이름이 붙었습니다.

출처 : 대홍기획 블로그

애플뮤직을 AARRR에 맞춰 분석해보면

Acquisition(획득) - 신규고객의 유입을 말합니다.

애플뮤직의 경우 아마도 세가지 루트로 정의할수 있는데

• 아이폰을 구입함(보통 3개월에서 반년정도 무료 사용 가능) 
• 안드로이드지만 애플뮤직을 사용할수 있음을 알게되고 이벤트 등으로 가입하게됨 
• 위의 두가지 경우에 해당하지 않지만 인터넷 핫딜게시판, 광고 등에서 지금 가입(복귀)하면 무료 n개월 이란 광고를 보고 유입 

출처 : 현대 h포인트 앱 내 배너

이며 세 경우 모두 애플아이디 신규 가입자 숫자로 카운트가 가능합니다. (세번째는 가끔 복귀 유저도 사용 가능하나 경우 1,2는 아이디도 없어 일단 가입을 해야 사용이 가능하기 때문에)

웹사이트에서도 30초 정도 들어보는 기능을 제공하지만 웹서비스는 말그대로 원하는 노래를 짧게 들어보는 정도밖에 못하므로 가입하기 전에 내가 원하는 노래가 있는가 찾아보는 용도로밖에 활용하지 못한다 생각합니다.

 

Activation(활성화) - 고객이 서비스의 주요기능, 여기서는 음악감상, 음악 추천 등의 기능을 사용

• 음악감상 어플이므로 출퇴근중, 일하는중 등 음악을 듣는 시간동안 활용

매일은 아니더라도 주기적으로 애플 뮤직을 사용하는지 (WAU, MAU)등을 체크하면 확인할수 있을것입니다.

 

Retention(유지 단계) - 서비스를 지속적으로 사용하고 월정액을 납부하는 단계

• 서비스가 맘에 들어서 계속 사용함
• 해지를 까먹어서 돈 낸김에 한달만 더 사용함

서비스가 마음에 들어서 계속 사용하는것일수도 있지만 자동갱신인것을 까먹어서 돈을 낸 김에 사용할수도 있는것이므로 

무료사용기간이 끝난 뒤 몇개월정도는 지속적으로 지켜봐야 다음단계인 매출단계로 진입하는지 알수 있을것입니다.

 

Revenue(매출 단계) - 고객이 애플뮤직에 돈을 지불함. 아마도 마음에 들었기에 해지 하지 않고 계속 쓰기로 결정한 단계.

• 애플의 큐레이션(노래 추천)기능이나 고음질 음원 추가비용 없음 등 핵심 기능들이 마음에 들어서 계속 사용하는 단계

전 단계를 제외한(무료기간 끝난지 몇달 안된이들 제외) 결제자수를 활용해 쉽게 추적할수 있습니다.

 

 Referral(추천 단계) - 정말로 만족한 고객이 주변인들에게 추천을 하는 단계

• 애플 뮤직에는 특별히 추천인제도(추천했을경우 몇개월 무료 혹은 특정 서비스로 업그레이드) 가 없으므로 진짜로 정말로 좋아서 추천하는 경우가 대부분이라고 생각합니다.
• 단 가족계정 사용에 아무런 제한이 없기에(서로 이메일 주소만 알면 됨) 친한 친구, 커뮤니티 등에서 서로를 가족으로 묶어 사용하는 경우도 다수 존재합니다.

이 단계는 조금 추적하기 힘들 가능성이 있는데 오프라인이나 외부커뮤니티에서 이루어지는 커뮤니케이션에서 발생하는 사건들 인해로 유저수가 늘어나기 때문입니다.

 

이 중에서 가장 중요한 기능은 매출단계에서 강조했던 큐레이션 기능과 고음질 음원등 모든 기능 추가금액없이 이용 가능한 기능이라 생각합니다.

보통의 음원서비스들은 음질에 따라 스트리밍 요금제더라도 최대 음질에 따라 요금제 가격이 나누어져 있거나 스트리밍은 가능해도 다운로드해서 들으려면 추가금액을 내는 등 서비스 등급별로 사용 가능한 기능에 차이가 있습니다.

애플뮤직은 이와는 다르게 단일 요금제(개인 8,900 가족(6인까지) 13,500원)로 최고음질까지 사용 가능하고 데이터가 작은 요금제를 사용하는 이들을 위해서 오프라인 저장 기능도 무료로 제공합니다.

이러한 점들 때문에 애플뮤직이 세계 2위의 음원 스트리밍 서비스로 성장할수 있었던 배경이라고 생각합니다.

또 훌륭한(최고인지는 스포티파이의 추천 서비스와 서로 취향이 갈리는 편이라, 그리고 보통 스포티파이의 추천 기능이 주로 더 좋은 평가를 받기에 훌륭한으로 서술했습니다) 좋아하는 노래를 추천 받기 위해선 그냥 노래를 듣다 좋아하는 노래들에 하트(좋아요)를 주다 보면 메인 화면에 for you라는 플레이리스트가 자동으로 생성되는 방식입니다. (싫은건 싫어요)

단 심플한 화면을 강조하다 보니 좋아요를 누르려면 ... 을 누른 뒤에 누를수 있어서 약간 불편할수도 있습니다.

세계 2위라면 나쁜 성적이 아니지만 국내 1위인 멜론, 세계 1위인 스포티파이와 경쟁해 유저수를 뺏어오던 신규유저를 발굴해야 하므로 더 좋은 UX가 필수일것이라 생각합니다.

심플한 화면을 강조하다 보니 좋아요 싫어요 등을 누르려면 옆의 ... 버튼을 눌러야함. 음질 확인은 재생/일시정지 버튼 위 무손실 버튼 클릭시 확인 가능

 

 

이제 우리가 몇주동안 지속적으로 개선하려 노력하고 있는 투네이션으로 다시 고개를 돌려 봅시다.

기능을 추가하기 전에 이 기능이 진짜로 먹힐지 테스트 하기 위해 주로 a/b테스트를 활용하는데 a/b테스트는

간단하게 말해서 a안과 b안을 준비해 최대한 동일한 실험군에게 둘중 하나만 써보게 해 그 결과로 실제 제품이 어느 방향으로 가야 할지를 테스트해보는 기법입니다.

 

우선 투네이션에 대한 a/b테스트 사례는 구할수 없었기 때문에 최대한 비슷한 프로덕트들에 대한 a/b테스트 사례들을 찾아보았습니다.

 

1. 스푼라디오

스푼라디오는 이름에서 알수 있듯이 라디오에 특화된 개인 방송 서비스로 한국에서 시작되 지금은 20여개국에서 서비스되고있는 개인 방송 플랫폼입니다. 스푼라디오는 Amplitude와 Braze를 활용하여 마케팅에 활발히 써먹는 편이라고 합니다.

앰플리튜드가 분석툴, Braze가 테스트를 실행하는 툴이라 볼수 있을것 같습니다. 

서비스 A/B테스트를 진행할 때, 실험군과 대조군 간 어떤 유저 행동 차이를 보이는지 비교/분석할 때 유용하게 활용 중입니다. 특정 DJ의 방송을 청취한 적이 있는 유저 데이터를 Amplitude에서 Braze로 보내고, Braze에서 이 유저들을 타겟팅해 그들의 관심사에 적합한 내용의 인앱메시지나 푸시메시지를 보내면 오픈율이 월등히 높아집니다. Amplitude만 사용할 때보다, Braze를 함께 도입했을 때 시너지 효과가 커지는 것을 체감했습니다. 

라는 말로 보아

• 문제 정의 : 앱 오픈율(시청율)이 저조하다
• 가설 : 관심사에 관련된 인앱메세지나 푸시메세지를 보내면 오픈율(복귀율)이 높아질것이다
• 기간 : 알수 없음(아마도 단기간 1-2주? 길어도 한달 이내)
• 타겟 : 코호트 분석을 통해 선정된 인원들
• 측정지표 : 오픈율(복귀율)
• 테스트 형식 : 앰플리튜드만 활용(그냥 일괄로 동일한 메세지)/ 둘다(관심사에 관련된 메세지) 활용

로 정리할수 있습니다.

 

이 외에도 

푸시 메시지를 보낼 때에는 보통 2~3가지의 문구를 준비하고, Braze에서 제공하는 A/B 테스트를 진행하여 결과값을 바탕으로 User-friendly한 메시지를 발굴합니다. 특히 Intelligent Selection 기능을 활용하면 유저의 오픈율과 전환율을 바탕으로 최적화된 문구를 자동으로 발송할 수 있어 효율적인 업무에 도움이 되고 있습니다. 통상적으로 푸시 메시지 오픈율이 2% 이내인데, 스푼에서는 개인화된 메시지와 타겟팅을 통해서 오픈율을 5% 이상으로 유지하는 성과를 이루었습니다.

라는 사례를 볼 때에도 

• 문제 정의 : 오픈율(시청율)이 저조하다
• 가설 :  개인화된 타겟 메세지를 활용하면 오픈율이 증가할 것이다
• 기간 : 알수 없음(아마도 단기간 1-2주? 길어도 한달 이내)
• 타겟 : 코호트 분석을 통해 선정된 인원들
• 측정지표 : 오픈율(복귀율) 4%이상 달성
• 테스트 형식 : 미리 준비한 문구중 랜덤으로 발송 및 개인화 된 타겟 메시지 발송

으로 정리할수 있겠습니다.

제가 생각한 후원방식의 개선보다는 사용자수를 늘리는데에 초점이 맞춰져 있는 해결법이긴 했으나 사용자 수가 늘어난다면 그 중 일부는 후원기능을 사용할 것이므로 이러한 방식도 방송플렛폼에서는 중요할것이란 인사이트를 얻을수 있었습니다.

(출처 : https://blog.ab180.co/posts/spoon-interview)

 

이 외에도 후원플랫폼에 관련한 자료를 찾아보려 했으나 후원 자체가 아무래도 인터넷 방송보다는 자선단체 등을 후원하는데에서 더 많이 활용되는 용어라 그런지 자료를 구하는게 쉽지 않았습니다.

그래서 아예 트위치 그 자체와 외국에서 후원에서 많이 쓰는 페이팔 자체가 어떠한 a/b테스트를 행했는가 찾아보니 그나마 걸리는게 몇가지 있었습니다.

 

2. 트위치

신기하게도 트위치 api 자체에 a/b 테스팅 기능이 존재하는것을 확인할수 있었습니다. 툴로써 존재하는건 아니고 api로 존재하는것이라 외부 프로그램이나 봇을 만들때 활용이 가능하며 그를 통해 트위치 api를 활용해 로그인 한 사람들이 어떤 행동을 보이는지 테스트 하기 용이해보였습니다. 이 api를 활용한건진 모르겠지만 트위치 자체도 작년 9월쯤에 신기능을 낼지 말지를 a/b테스팅 기법을 활용해 시험해 본적이 있씁니다.

한국어로는 메세지 격상 영어로는 Elevated Chat으로 불린 기능으로 기능 자체는 친숙할수도 있는 유튜브의 슈퍼쳇과 비슷한 기능이었습니다. A안과 B안은 A안 : 채팅창에 고정(유튜브의 방식), B안 : 영상 플레이어 밑에 고정(일단 저는 처음보는 방식이었습니다.)

이었으며 더 자세히 분석해 보자면

• 문제 정의 : 트위치 자체 후원 기능이 너무 한정되고 재미가 없다. 
• 가설 :  재밌는 기능을 넣어준다면 유저들이 더 좋아할 것이다.
• 기간 : 2022년 9월 한달간
• 타겟 : 선정 기준은 모르겠으나 아마 일정 구독자/시청자 수가 있는 방송인중 랜덤으로 선정.
• 측정지표 : 사용횟수 및 금액
• 테스트 형식 : 실제로 사용하게 해봄으로써 어떤게 더 인기 있는지 확인

약 반년 이상 지난 지금도 이 테스트의 결과는 알수 없으며(커뮤니티들을 좀 뒤져보니 가격 책정이 꽤 많이 비쌌으며 어지간히 대형 방이 아니면 사용 자체를 거의 안했다고 합니다) 이 기능이 개편되서 다시 돌아올지 폐지되었는지도 알수 없습니다. 개인적으론 실패해서 정비중인게 아닐까 짐작합니다.

(출처 : https://help.twitch.tv/s/article/elevated-chat?language=ko) 

 

3. 페이팔

외국은 개인간의 금융거래, 후원 등을 할때 페이팔을 많이 쓴다고 합니다. 트위치 방송용 프로그램중 하나인 스트림랩스에서도 공식적으로 페이팔을 통한 후원을 지원하는데 이 후원에 관련된 기능은 아니더라도 페이팔 자체에 기능을 개선하느라 a/b테스트를 한 방법들을 찾을수 있었습니다.

방법은 주로 문구 수정이었으며 사진 배치, 활용을 통해 더 집중하게 만드는 등의 사례가 있었습니다.

저는 그중 문구 수정의 방법을 분석해 보았습니다.

 

예시)
우리 고객의 75%는 우리 제품을 추천합니다 -> 최근 30일간의 고객의 100%가 우리 제품을 추천했습니다.
우리 소프트웨어는 아주 믿을만 합니다-> 568개의 회사가 우리 제품을 사용하고 있습니다.
그들은 우리 제품을 좋아해요 -> 우리는 이 제품이 너무 좋아요

 

• 문제 정의 : 기존의 문구는 충분한 구매를 일으키지 못하고 있다.
• 가설 :  개선된 문구를 넣는다면 더 많은 실제 구매로 이어질것이다.
• 기간 : 자세히는 알수 없으나 단기간(1개월 이내)
• 타겟 : 서비스를 이용하는 고객들중 랜덤으로(페이팔은 회원제 서비스이므로 아마 회원번호나 그런걸 이용 가능할듯)
• 측정지표 : 결재 전환율
• 테스트 형식 :  원안인 A안과 개선안인 B안을 실제로 사용하게 해봄으로써 어떤게 더 인기 있는지 확인

테스트 결과는 자세히는 확인할수 없었으나 모두 중간정도 이상으로 성공적이었다고 서술되어있는것을 보았을때 유의미한 클릭, 구매 전환율의 상승을 이끌어냈다 볼수 있을것입니다.

(출처 : https://tactics.convertize.com/brands/paypal)

 

이러한 사례들을 통해 기존 프로덕트를 개선할때에는 아얘 모집단(유저수)를 늘리는 방법과 이미 있는 유저들이 더 잘 활용하게끔 하는 두가지 접근방법이 있음을 다시 한번 확인할수 있게 되었습니다.

 

제가 제안하는 MVP는 기존의 투네이션의 후원기능이 기능이 많은건 좋은데 그 덕분에 어떤 기능이 내가 원하는 기능이 찾기 힘들어서 개선해보자는 아이디어를 기반으로 한 프로덕트였습니다.

검색을 원할히 하기 위해서는 태그를 기반으로한 필터기능의 강화(팝업형식)와 그를 통한 선택단계에 드는 시간을 줄이는 방안이었는데 전주차에 작성한 스토리보드와 와이어프레임을 한번 보시겠습니다

개선안(A안)

현안(B안)

A/B테스트 작성

• 문제 정의 : 기존의 레이아웃은 내가 원하는 기능을 찾는데 복잡하고 어렵다.
• 가설 :  개선된 레이아웃/검색 시스템을 도입한다면 더 많은 이용율을 확보할수 있을것이다.
• 기간 : 1달(4주)
• 타겟 : 서비스를 이용한적 있는(돈을 충전해서 후원서비스를 이용한적 있는) 고객(아이디 방식으로 회원번호 기반 및 구매 이력 기반으로 구매력이 높은 그룹 타겟팅)
• 측정지표 : 결재 전환율 증가
• 테스트 형식 :  개선안인 A안과 현안인 B안을 실제로 사용하게 해봄으로써 어떤게 더 인기 있는지 확인

이같은 테스트를 통해 제가 시험하고자 하는 MVP가 실제로 효과를 발휘할수 있는지 알아볼수 있을것이라 생각합니다.