온라인 콘텐츠를 위한 지표 찾기
무언가를 달성하려면 목표에 어울리는 지표를 설정하고 그것을 개선하도록 노력해야 한다. 문제는 무엇을 목표로 삼아야 할지, 목표를 어떻게 지표로 측정해야 할지를 모를 때 생긴다. 언론매체를 생각해보자. 만약 내가 구독자로서 혹은 광고주로서 단 하나의 매체만 선택해야 한다면 어떤 기준을 제시할 것인가? (물론, 세상에는 숫자로 표현하기 힘든 가치가 많이 있지만 여기서는 기계적으로 수치화할 수 있는 요소만으로 한정하자. 그리고 정량화 기술은 점점 정교해지고 있음을 기억하자.)
- 우선 언론사 사이트를 방문한 유니크 사용자수(UV)나 사이트에서 발생한 페이지뷰(PV) 같은 지표가 있겠다.
- 생산성을 파악하려면 하루에 발행하는 기사의 개수나 길이를 재면 되지 않을까?
- 분석 기법을 써서 언론사 웹사이트의 페이지랭크(PageRank)같은 값을 계산할 수도 있다.
꼭 마케팅이나 기술적인 관점으로만 생각할 필요는 없다.
- 가령, 규모가 클수록 좋은 기사를 많이 쓸 가능성이 높으니, 해당 언론사에 소속된 기자수는 어떨까?
- 아니면 경제적으로 생각해서 언론사의 광고 수입이나 소속 기자의 평균 연봉 같은 수치는 안 될까?
이외에 또 뭐가 있을까? 각자 스스로에게 만족스러운 기준을 찾았는지 모르겠다. 만약 나에게 딱 하나의 지표만 고르라 하면, 사이트의 재방문 주기를 택하겠다. 어찌어찌해서 한 번은 방문했지만 모두가 다시는 돌아오지 않았다면 재방문 주기는 무한대가 된다. 하지만 사이트의 방문에서 어떤 유용햠을 발견했다면, 그리고 자주 들러볼 가치를 느꼈다면 재방문 주기는 점점 짧아질 것이다. 물론 이 방식에도 약점이 많다. 뜸한 대신 굵직굵직한 특종 위주로 보도하는 언론에게는 매우 불리한 지표가 될 수 있다. 또한, 구독자 100명이 매일 방문하는 사이트가 1만 구독자 중 5000명이 매일 방문하는 사이트보다 높게 평가될 수 있다. 이런 문제를 막기 위해 적절한 조정(Adjustment)과 스무딩(Smoothing)이 필요하지만, 기본적으로 재방문 주기는 언론사에 대한 방문자의 만족도를 보여줄 수 있다고 생각한다. (해본 적은 없어서 실제 적용하면 어떤 변수가 있을지 모르겠다.) 재방문을 다르게 말하면 사용자의 보존/유지(Retention)라고 할 수 있고, 잔존율이 짱이다에서 하는 얘기와 같은 맥락이다.
만약 지표를 하나 더 추가할 수 있다면, 두 번째 선택은 체류 시간이다. 즉, 사용자가 사이트에 방문한 뒤 얼마나 오랜 시간 머물렀는가를 보는 것이다. 낚시글이나 별 시덥지 않은 내용이라면 금방 떠나버렸을 것이고, 가치가 있는 컨텐츠라면 시간과 관심이라는 소중한 자원을 투자했을 것이다. 특히 최근(?)에 몇몇 미국 회사를 중심으로 체류 시간이라는 요소를 지표화하고 활용하는 얘기가 나오는데, 우선 미디엄Medium의 Medium’s metric that matters: Total Time Reading을 보면, 사용자가 글을 읽는 동안 주기적으로 스크롤 위치를 저장하여, 언제 읽기 시작해서 언제 멈췄는지, 글을 읽는 데 실제로 얼마 만큼의 시간을 썼는지 추측한다고 한다. 또, 그 데이터를 분석하여 문서의 길이를 글자수가 아니라 읽는 데 기대되는 시간(Expected Reading Time)으로 측정하려는 시도도 언급한다. 그외에도 흥미로운 이야기를 미디엄의 Data Lab 페이지에서 공유하고 있으니 관심있는 분들은 한 번 들러보시길.
다른 곳으로는 Chartbeat와 Upworthy가 있는데, 각자 Engaged Time과 Attention Minutes라는 비슷한 지표를 내세운다. 그리고 첫 방문에서의 Engaged Time과 재방문 사이에 높은 상관관계가 있다고 주장하기도 한다.
Upworthy의 attention minutes 역시 웹브라우저 탭의 활성화, 마우스의 움직임, 동영상의 재생 여부 등을 체크해서 사용자가 컨텐츠에 실제로 관여한(Engaged) 시간을 측정한다고 한다. 그리고 자기 사이트의 방문자를 자신의 메트릭으로 분석한 결과를 기존에 Medium과 Chartbeat가 보고한 발견과 비교해서 공유했다. 서로 다른 종류와 출처 데이터를 갖고 한 실험이니 결과가 다를 여지는 언제나 있다. 그동안 원본데이터(Raw Data)를 확인할 수 없는 분석과 시각화에 대한 아쉬움이 있었는데, 이런 식이나마 재현 여부에 대한 비교/검증 시도는 특정 데이터로 인한 편견을 줄이는 데 도움이 될 것 같다.
컨텐츠 생산자만 이런 평가 메트릭에 관심을 갖는 것은 아니다. 큐레이션 서비스를 제공하는 컨텐츠 유통업체도 각각의 문서가 어떤 반응을 일으키는지 알고 싶어한다. 개인화 추천 서비스를 하는 스텀블어폰(StumbleUpon)은 자신들의 연구 결과를 2013년 월드와이드웹 컨퍼런스에서 “사용자 유지를 예측하기 위한 소비시간 기반의 모델(Timespent Based Models for Predicting User Retention)”이라는 논문으로 발표했다. 사업자의 입장에서 결국 중요한 것은 서비스를 이용했던 사용자가 나중에 또 찾아오냐는 것이고(User Retention), 그것을 추천받은 컨텐츠의 소비 시간 패턴을 통해서 예측해보자는 게 연구의 주제다. 결론보다도
- 컨텐츠 타입에 따라서 (가령, 사진 vs 텍스트) 필요한 소비 시간이 다를 텐데, 그 차이를 어떻게 반영할 것인가 (-> 기존에 그 컨텐츠를 긍전적으로 소비한 사람들의 소요 시간 대표값을 문턱값(Threshold)으로 삼는다.)
- 사람마다 읽기 속도가 다른데, 하나의 기준을 일괄적으로 적용해도 될까 (-> 해당 사용자의 소비 시간과 다른 사람의 소비 시간을 비교해서 차이를 보정한다.)
이런 문제를 실제로 고민하고, 분석과 실험을 통해서 나름의 답을 구하려는 시도를 의미있게 봤다.
서두에서 사이트의 재방문 주기라는 지표를 얘기했는데, 막연히 갖고 있던 그 아이디어에 결정적인 영향을 준 연구가 있다. 마이크로소프트의 연구자가 2013년 WSDM에 발표한 “부재 시간과 사용자 관여도: 랭킹 함수를 평가하기(Absence Time and User Engagement: Evaluating Ranking Functions)”라는 논문을 보면, 생존 분석(Survaval Analysis)이라는 분석 도구를 응용해서 사용자가 사이트로 돌아오는 속도를 정량화하는 방법을 제안하고, 사용자의 만족도와 관련있다고 여겨지는 다른 지표와 비교한 결과를 제시한다. 논문의 방법론을 그대로 따라하지는 않더라도 새로운 통찰과 아이디어를 얻을 수 있었던 연구다.
결론
이미 많은 곳에서 사이트와 컨텐츠를 평가할 올바른 지표를 고민하고 있으며, 또 그 지표에 영향을 끼치는 요소를 분석하여 사이트를 개선하고 컨텐츠의 만족도를 높일 방법을 찾고 있다. 그럼 우리는?