서비스 개선의 시작, 지속적인 서비스 지표 모니터링부터

[읽으면 좋은 사람들]

• - 서비스 개선 작업을 어디서부터 해야할 지 모르겠는 분

• - 서비스 개선을 하고 잘 한건지 확인하고 싶은데 어떻게 해야 하는지 모르겠는 분

• - 그로스해킹(Growth Hacking)에 관심있는 분

• - 그로스해커(Growth Hacker)를 꿈 꾸시는 분

  
  

홈쇼핑의 특징, 생방송 

본론에 들어가기에 앞서 홈쇼핑의 특징 한가지를 알고 가면 좋을 듯하다. 홈쇼핑과 일반 커머스의 차이점 중 하나가 바로 “생방송”이다. 보통 생방송 중 물건을 구매하면 방송 외 시간보다 혜택이 크고 방송을 보면 쇼호스트의 설명으로 상품의 특징을 더 자세하게 파악할 수 있다는 장점이 있다. 

이 때문에 홈쇼핑 유저는 생방송 중 물건을 구매하고자 하는 니즈가 크다. 따라서 유저는 예정 방송의 알람 기능을 많이 사용하고 홈쇼핑모아는 알람을 잘 관리/개선해야 하는 미션을 갖고 있다.

문제 인식: 알람 하락

주기적인 서비스 지표 모니터링을 통해 서비스 주요 지표 중 하나인 ‘알람 설정 수’가 하락하는 걸 확인했다. 원인을 분석해 보니 작년 9월, 알람 서비스 개선을 목적으로 알람의 디자인과 위치를 변경했는데 그 시점을 기준으로 서비스 지표가 점진적으로 하락하는 추세를 보였다.

문제 정의: 상품 상세 페이지 내 알람 디자인 및 위치 변경

유저에게 더 나은 알람 서비스를 제공하기 위해 진행한 개선 작업이 오히려 서비스 지표에 악영향을 미치고 있었다. 개선 작업 후 눈에 띄게 지표가 하락했다면 바로 알아차렸겠지만 조금씩 오랜 시간에 걸쳐 지표가 우하향하는 모습을 그리고 있어 단기간에는 확인이 어려웠다. 짧은 기간만 놓고 비교했을 때는 지표의 변화가 허용 가능한 범위 내에서의 변동이었던 것이다.

알람을 설정할 수 있는 여러 위치 중에서도 알람 설정률이 가장 크게 하락한 상품 상세 페이지 내 알람을 가장 먼저 원복시키기로 했다. 원복하기 전 알람 디자인은 자명종 시계 모양으로 구매하기 버튼 왼쪽에 위치했다. 원복 후의 알람은 토글 형태로 우상단에 위치했다. 

지표 정의

상품 상세 페이지 내 알람을 원본한 후 유저의 알람 사용성이 어떻게 변하는지 확인하기 위한 지표 정의 작업을 시작했다. 먼저 봐야할 것 같은 지표와 보고싶은 지표를 브레인스토밍하며 써내려나갔다. 그런 다음 지표에 대한 논의를 통해 지표의 우선순위를 정하고 필터링하며 확인할 지표를 확정지었다. 

상품 상세 페이지 내 알람과 직접적인 연관이 있는 지표를 1차 지표로 정의하고 그 외 지표를 2차 지표로 정의했다. 

​

[1차 지표에 해당하는 지표]

• - 예정 상품 상세 페이지 진입 수

• - 예정 상품 상세 페이지 내 알람 설정율

• - 예정 상품 상세 페이지 내 알람 해제율

• - 등등..

[2차 지표에 해당하는 지표]

• - 전체 알람 설정 수

• - 전체 방송 알람 설정 수

• - 상품 상세 페이지 내 검색 아이콘 클릭 수

• - 등등..

  
  

지표 확인 및 해석

원복 작업일을 기준으로 2주 뒤 지표가 어떻게 변했는지 비교/분석했다. 

​

[상품 상세 페이지 내 알람 위치 & 디자인과 알람 설정 수의 관계]

1. a. 상품 상세 페이지 내 알람 설정율(상품 상세 페이지 진입 대비, PV 기준) + 40%

2. b. 상품 상세 페이지 내 알람 해제율(상품 상세 페이지 진입 대비, PV 기준) + 20%

> 원복 전보다 알람 사용율이 늘었다.

1. c. 상품 상세 페이지 내 알람 설정율(상품 상세 페이지 진입 대비, UV기준) + 12%

2. d. 상품 상세 페이지 내 알람 설정율(전체 유저 대비, UV기준) + 13%

> 상품 상세 페이지 내에서 알람을 설정하는 유저가 늘었다.

1. e. 상품 상세 페이지 내에서 알람을 설정 수/전체 유저 수(AAPU) + 41%

2. f. 상품 상세 페이지 내에서 알람을 설정 수/상세 페이지 내 알람 설정한 유저 수(AAPPU) - 12%

> 소수의 유저만 상품 상세 페이지 내 알람 사용

(AAPU와 AAPPU 수치가 많이 차이날수록 소수의 유저만 알람을 사용, 수치가 비슷할수록 대다수의 유저가 알람을 사용함을 의미.)

알람과 관련된 지표가 전반적으로 개선된 것을 확인할 수 있었다. 결과로 미뤄보아 토글 형태의 디자인이 자명종 디자인보다 유저의 액션에 반응할 것 같은 느낌을 주고 알람 설정 여부가 시각적으로 잘 드러나는 디자인이었던 것 같다.

또한 핸드폰을 볼 때 눈의 움직임이 위에서부터 아래로 내려오는 것을 고려하면 오른쪽 상단이 왼쪽 하단보다 유저의 눈에 더 잘 띄는 위치였던 것 같다. 원복 전엔 강렬한 빨간색의 구매하기 버튼 옆에 위치해서 알람에 더 눈이 가지 않았던 것도 있었을 것 같다.

결론

지표를 종합적으로 봤을 때, 상품 상세 페이지 내에서 알람을 설정하는 유저 수와 알람 설정 수가 늘어난 것을 확인할 수 있었다. 따라서, 원복한 알람을 그대로 유지하기로 결정했다. 

느낀점

이번 프로젝트는 문제 인식 및 정의, 문제 해결, 지표 정의 및 확인까지 일련의 과정이 애자일하게 진행됐다. 

빠른 의사결정과 서비스 개선이 가능했던 이유는 버즈니 구성원 모두가 평소 꾸준한 서비스 지표 모니터링으로 문제에 공감하고 있었기 때문이라고 생각한다. 이번 기회에 주기적인 지표 모니터링과 구성원간의 문제에 대한 공감대 형성의 중요성을 다시 한 번 느낄 수 있었다.

아쉬운 점도 있었다. 바로 A/B 테스트를 진행하지 않았던 점이다. 유저는 계속해서 변하고 매일 다른 이벤트가 발생하기 때문에 A/B 테스트를 통해 동기간의 데이터를 비교했다면 알람 디자인과 위치의 영향력을 더 정확하게 알 수 있었을거라 생각한다.

마무리

성공적인 서비스를 만들기 위해서 강력한 한 방을 찾기 위해 매달리기 보다 구멍 난 곳을 찾아서 하나씩 메꿔나가다 보면 강력한 서비스가 된다는 생각을 갖고 있었다. 이번 케이스 스터디에도 해당되는 것 같다. 

상품 상세 페이지 내 알람 디자인과 위치를 변경했다고 전체 알람 유저 수나 알람 설정 수가 드라마틱하게 변하지는 않았다. 하지만 서비스의 대한 깊은 이해를 바탕으로 훌륭한 동료들과 함께 개선점을 찾고 꾸준히 개선해나가다 보면 알람을 가장 잘 설계하고 활용하는 서비스로 성장해 있을거라 생각한다.