[과제] 코드스테이츠 PMB 16기 W5D3

한 1-2년 전 넷플릭스에서 일하던 사람과 소개팅을 한 적이 있다. 나랑 만났을 때 그 사람은 customer service를 제공하는 소프트웨어를 만드는 개인 사업을 하고 있었는데 예전에 넷플릭스에서 일했던 것이 너무 힘들었다고 푸념을 늘어놓았었다. 그 사람은 넷플릭스에서 신규 가입자 수를 늘리기 위해 넷플릭스 랜딩페이지와 가입하는 과정을 a/b테스트 하는 팀에서 일했었다고 했다. 테스트했던 시나리오가 대박을 쳐서 돈을 엄청 벌었지만 반복되는 일과 다른 사람들을 가지고 논다는 생각에 사로잡혀 엄청 힘들었다고 했다. 그래서 회사를 그만두고 이제까지 모아둔 돈으로 소프트웨어 사업을 인수해서 개인 사업을 하며 전 세계를 여행할 예정이라고 그랬었다. 당시에는 그 사람한테 관심도 없었고 a/b테스트에 대해서 관심도 없어서 어떤 것인지 자세하게 찾아보지 않았지만, 이 과제를 보고 그 사람이 넷플릭스에서 했었던 a/b테스트가 어떤 것이었는지 궁금해졌다. 

 

 

A/B Testing at Netflix

리서치 결과 넷플릭스는 제품 개선 방향 자체를 a/b테스트에 의존하는 기업이라고 한다. 그 사람이 했었던 정확한 프로젝트는 알 수 없지만, 아마 아래와 같은 일들이 아니었을까 싶다. 

 

개선 포인트

랜딩 페이지, 넷플릭스 계정이 없거나 로그인이 안된 상태에서 넷플릭스에 처음 접속하면 볼 수 있는 페이지이다. 넷플릭스는 이 페이지에서 서비스에 가입하도록 바로 유도한다. 이 테스팅이 시행됬던 2019년은 스트리밍의 선도주자였던 넷플릭스를 따라 디즈니나 미국의 대형 채널들이 자신만의 스트리밍 서비스 론칭을 시작했던 시기였다. 그래서 넷플릭스는 아마 어떻게 하면 다른 서비스들을 제치고 더 많은 신규 고객들이 서비스에 가입을 하도록 유도할 수 있을까를 고민하고 해결해보려 했었던 것 같다. 

 

가설

서비스 가입을 유도하는 넷플릭스의 랜딩페이지에서 유저가 상호작용하는 단 하나의 빨간 버튼에 이목이 집중된다. 그래서 가설을 빨간 버튼에 담긴 문구를 바꾸면 고객이 sign-up에 대한 부담을 덜 느껴 신규 유저 sign-up 확률이 5% 높아진다고 세워볼 수 있다.

 

기간/타켓/테스트 형식

이 테스트를 했던 정확한 기간은 알 수 없지만, 한 블로그에 의하면 2019년 4월 10일 이 테스트를 하는 것을 넷플릭스 사이트에서 볼 수 있었다. 아마도 한 7-10일 정도 다양한 문구를 넷플릭스 랜딩 페이지에 방문한 영어권 사용자에게 보여줘 각 문구별로 CTA가 어떻게 되는지 파악했던 테스트였던 것 같다. 2019년 4월 25일, Join Netflix, Get Netflix, Watch free for 14 days, Watch free for 7 days, Watch free for 30 days, Join now, 등의 후보를 뚫고 Try it now 버튼이 랜딩 페이지에 정착한 것을 볼 수 있었다고 한다. 실험이 어떤 성과를 가져왔는지 정확히는 알 수 없지만, Try it now로 정착한 걸로 보아 이 문구가 다른 문구들에 비해 가장 많은 신규 유입을 가져온 것으로 추측된다. 

 

이 사례를 보면서 이렇게 작은 문구를 가지고도 테스팅하는 넷플릭스의 실험 정신에 경외감이 들었고 even the smallest things matter를 실감하게 되었다.

 

내가 넷플리스의 PM이라면

내가 넷플릭스의 PM이라면 테스팅해보고 싶은 것이 있다. 지금은 몇 년간 꾸준히 결제하면서 넷플릭스 구독자가 된 지 오래지만 처음에 서비스를 이용할 때는 on and off를 자주 했었다. 그때, 재가입을 반복할 때마다 궁금했던 점은, 지금 넷플릭스를 가입하면 어떤 콘텐츠를 볼 수 있는지였다. 그래서 나는 랜딩 페이지에 어떤 콘텐츠를 지금 볼 수 있는지 검색 가능한 기능과 그 관련 콘텐츠를 보여주는 기능을 넣으면 어떤 결과를 가져오는지 알고 싶다. 해당 기능을 추가하면 고객은 넷플릭스를 이용할 합당한 이유가 생겨 가입 후 churn rate dㅣ 5% 감소할 것이라는 가설을 가지고 a/b 테스트를 해보고 싶다. 이것이 맞는 approach 인지는 모르겠지만, 브라우징 목적으로만 가입하는 사용자를 미리 한 번 걸러낼 수 있을 것 같다. 

 

 

 

A/B testing at Toss

국내 서비스 중에서는 토스에 대해 알아보고 싶었다. 나는 한번도 사용해 본 적이 없지만 PMB 수업을 할 때 좋은 사례로 많이 언급되는 서비스이어서 여기는 a/b 테스트를 어떻게 하는지 궁금했다. 또, 토스 대표가 인터뷰 한 내용들로 보아 A/B테스트를 많이 하는 기업인 것 같다. 

 

source: https://cafe.naver.com/newstory365/12239?art=ZXh0ZXJuYWwtc2VydmljZS1uYXZlci1zZWFyY2gtY2FmZS1wcg.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJjYWZlVHlwZSI6IkNBRkVfVVJMIiwiY2FmZVVybCI6Im5ld3N0b3J5MzY1IiwiYXJ0aWNsZUlkIjoxMjIzOSwiaXNzdWVkQXQiOjE2NzM0MjI2OTg0NzZ9.5whvdmAg2pcQXy-eRRfAyN47XL0lXiSwmg8OGWucJFU

 

 

그리고 추가적으로 품질 검증을 위해 내부적으로 '통합테스트'라는 것도 한다고 한다

 

토스 대출의 예를 살펴보겠다. 

 

개선 포인트

원래 토스 대출 카테고리는 30개가 넘는 은행의 실제금리와 한도를 한 번에 조회/비교 가능 제품과 수십개 대출상품 찾을 수 있는 카테고리 제품 이렇게 두 개로 나뉘어있었다고 한다. 하지만 대부분의 사용자들은 이 두 제품의 차이를 모르고 이렇게 분리된 제품이 복잡하게만 느껴 사람들이 대출에 대해 갖고 있는 마음의 진입장벽만 높인다 생각해 이를 부수고 싶었다고 한다. 그래서 토스는 일반 은행처럼 두 상품을 분리할 필요가 없겠다는 생각을 했고 이 둘을 합치면 어떤 이름으로 부를까 하는 결정 내리기 위해 a/b 테스트를 진행했다고 한다.

 

 

가설

가설은 두 개의 카테고리를 하나로 합쳐 친근한 이름으로 부르면 사람들은 대출 상품의 복잡성을 덜 느껴 대출 상품의 클릭률이 10% 증가할 것이다로 설정할 수 있을 것 같다.

 

 

 

기간/타켓/테스트 형식

어떤 이름으로 부를지에 대한 결정을 내리기 위해 여러 UX writing 리스트를 가지고 5%의 고객에게 a/b 테스트를 진행했다고 한다. 기간은 찾을 수 없었지만 10일 동안 토스 대출 페이지를 방문하는 고객 10%의 고객에게 이 대출 상품을 칭하는 다양한 이름을 보여주면 어떤 이름이 가장 많은 클릭률을 얻었는지에 대한 의미있는 데이터를 얻어 결정을 내리는데 도움이 될 것이라고 생각한다. 

 

 

어떤 UX writing 후보군을 가지고 테스팅을 했는지는 알려져 있지 않지만, 결국 '대출받기'로 결정이 되었고 다른 UI 개선들과 함께 토스 대출 이용률이 눈에 띄게 성장했다고 한다. 정답을 몰라 늘 A/B 테스트를 한다는 토스의 CEO, 대출 하는 것을 규칙시 되는 보통 은행의 절차와 다르게 더 간결화 시켯다는 점이 토스는 사용자의 관점에서 서비스를 좀 더 이용하기 편리하게 프로세스를 바꾸고 있다는 느낌을 받을 수 있었다. 

 

 

내가 토스의 PM이라면

 

나는 직접적인 토스를 사용해 본 적이 없어서 내가 PM이라면 부분을 리서치하며 찾은 다른 사례로 a/b 테스트를 재구성해보려한다. 

 

지난해 토스 뱅크를 선보였을 때, '고객센터 서비스가 어디 있는지 찾을 수 없다'는 고객 불만 사항이 계속 접수 됐다고 한다. 고객센터를 가장 잘 보이는 상단에 위치에 두었는데 의아한 결과였다고 한다. UX 리서치 팀이 조사해 보니 보통의 제품에서 고객 센터는 제품 최하단에 위치하기 때문에 그에 익숙해진 유저들은 상단에 있는 고객센터를 찾을 수 없었던 것이라고 한다. 이유를 찾고는 고객센터 위치를 최하단을 바꾸고 난 후 해당 불만들은 사라졌다고 한다. 

 

결국은 잘 해결되었지만, 이 사례에서 고객센터의 위치를 바꾸기 전에 아래와 같이 a/b 테스트를 했다면 고객들의 혼잡을 줄일 수 있었을 것이라고 생각한다. 개선 포인트는 토스 뱅크는 새로운 서비스이므로 기존 서비스보다 고객들이 고객센터를 좀 더 쉽게 접근할 수 있도록 하자가 될 것이다. 그래서 고객센터 위치를 눈에 가장 먼저 띌 수 있도록 최상단에 위치하면 고객센터가 고객들의 눈에 더 잘 띄어 고객센터 위치에 대한 문의 비율이 규모가 비슷한 서비스보다 낮다하는 가설을 세운다. 토스 뱅크 론칭 후 10일간, 모든 고객을 대상으로 고객센터 위치를 한 샘플 사이즈는 최상단에 나머지는 다른 서비스들과 같이 최하단에 위치하게  a/b 테스트를 진행한다. 여기에 추가적으로 고객센테가 상단에 위치한 그룹에게 고객센터를 찾는데 문제는 없으셨나요 하는 짧은 서베이 문구를 띄워 고객들의 의견도 들어볼 수 있도록 하면 좋을 것 같다. 

 

 

 

 

 

 

 

Referencehttps://goodui.org/leaks/netflix-a-b-tested-these-4-button-labels-with-join-now-possibly-leading/