이야기 41. 왜 Test를 해야 하나 : You Should Test That(1)

이번 주 부터는 웹사이트의Optimization (최적화)에 대한 이야기를 약 10주에 걸쳐서 적어볼 예정입니다.   이 글의 많은 아이디어와 예시는 Chris Goward 저서 ‘You Should Test That: Conversion Optimization for More Leads, Sales and Profit or The Art and Science of Optimized Marketing’ 의 내용을 참고, 일부 번역 하였습니다.

——————-

누구든지 매력적인 것을 말할 수 있고 입에 발린 소리로 상대방을 기쁘게 하려고 노력할 수 있지만, 진정한 친구는 불쾌한 것을 말하고 때로 그에게 고통을 주는 것을 마다하지 않는다. 실제로, 그 친구가 진정한 친구라면 그는 조언을 기꺼이 받아들이고 오히려 좋아할 것이다. 왜냐하면 그는 그 친구가 옳은 일을 행하고 있다는 것을 알고 있기 때문이다. – 오스카 와일드

생각해보자. 여러분이 달성하고자하는 그 일에 진심으로 고통스러운 조언을 주는 이가 있는지. 그런 사람이 없다면 제대로 그 길로 가고 있는지 검증할 수 있는 방법은 있는지.

얼마 전 Optimization(최적화) 프로젝트를 진행하고 있는 고객사를 만난 적이 있다. 웹사이트 개인화를 위한 프로젝트를 진행하는 회사였는데, 어마어마한 비용을 들여서 말만하면 다 알 만한 비즈니스 컨설팅회사로 부터 아주 상세한 수준의 고객 Segmentation을 개발했다고 했다. 그런데 이 부분에서 의문이 들었다. 개인화를 위해서 웹사이트에서 특정 고객군을 위한 타켓팅을 하기 전에, 그 엄청나게 상세한 수준의 많은 Segmentation을 만들기 전에, 실제로 웹사이트에 유입되는 사람들 가운데 그런 속성의 사람들이 유입은 하는지 확인은 했는가. 그리고 이들이 비즈니스에 미치는 영향력 정도는 평가를 하고 이 타켓팅이 정말로 의미있는지 테스트(Test)정도는 몇차례 시행한 후 실제 웹사이트에 그 각각의 조건으로 개인화되도록 타켓팅(Targeting)을 하도록 하는 것이 더 좋지는 않았을까하는 생각이 들었다. 문득 이 프로젝트의 결과는 무엇이 되어야 하는지, 개인화 프로젝트라면 더 의미있는 경험을 위해서 계속 뭔가를 최적화해야하는데, 테스트도 없이 만들어진 Segment에 특정 컨텐츠를 보이게해서 어떤 결과를 도출하고 싶었던 것일까. 향후 방향의 최적화를 시킬 예정인 것인가. 뭔가 순서의 앞뒤가 맞지않는다는 생각이 들면서 과연 이 고객사의 개인화 프로젝트는 과연 성공할 수 있을까 하는 불안함을 지워버릴 수 없었다. 그리고 문득 우리는 항상 기본을 잊고 사는 것은 아닌가 하는 생각도 들었다.

간단히 테스팅과 타켓팅의 기본 개념은 이렇다. 테스팅은 ‘모르니까 알아보자’는 것이다. 우리 사이트의 특정 영역에 A와 B의 두 디자인을 제안할 예정인데, 둘 중에 어떤 것이 매출에 더 좋은 영향을 주는 디자인인지 모르니 한번 테스트해보자 하는 것이 테스트다. 방법으로 A/B Test 나 MVT(Multi Variate Test) 등이 대표적이다. 타케팅은 테스트를 해보고 ‘알았으니 이제는 가장 적합한 컨텐츠를 제공하자’는 것이다. 테스트 결과 A 디자인은 B그룹에서 더 많은 전환율을 보이니 앞으로 B그룹의 속성으로 유입이 되는 사람들은 A디자인이 먼저 보이게 해 주도록 하는 것이다. 타켓팅의 선행조건이 반드시 테스팅은 아니지만, 당연히 테스트를 수반한 프로세스가 있는 타켓팅은 마케터로 하여금 훨씬 높은 신뢰를 준다. 왜냐하면 머리로 그린 타켓팅 조건이 아니라, 검증된 데이터를 기반한 타켓팅이므로 원하는 결과에 쉽게 도달할 수 가 있다. 이런 경우, 당신에게 쓴 소리를 할 수 있는 친구는 당신과 일하는 직원들, 전문가 그룹 혹은 전문적인 솔루션들이 될 수 있을 것이다. 그들을 신뢰할 수 있을지, 그들의 조언이 당신이 원하는 결과를 도출하는 바른 길인지의 판단은 사실 당신의 안목과 경험으로만 가능한 부분이다.

Optimization(최적화)란 무엇인가

디지털 마케팅에 대한 분야가 언제부터인가 많이 회자되면서 Optimization(최적화)에 대한 관심도 덩달아 높아지고 있다. 용어들을 보면, conversion-rate optimization (CRO, 전환율 최적화), conversion optimization (CO전환 최적화, CRO의 다른 이름); landing-page optimization (LPO – 이 부분은 CRO의 일부분임), marketing optimization (MO), business process optimization (BPO), search engine optimization (SEO), website optimization (WSO), social media optimization (SMO) 등등 많은 용어들이 있고 video search engine optimization (VSEO)란 이야기도 등장한다. 어떤 이들은 SEO와 CRO를 동일하게 생각하는 경향이 있는데, 전환율에 대한 최적화를 위해 Search Engine의 최적화는 그 일부분일 뿐이지 전부는 아니다. 이 가운데 가장 포괄적이고 일반적인 최적화는 CRO 혹은 CO 로서, 필자가 참고한 책 ‘Yon Should Test That’ 에서는 “전환율 최적화 (또는 전환 최적화)를 같은 수의 방문자로부터 더 많은 수익 창출 액션을 얻어내는 과학 혹 예술”로 정의했다.

당신의 웹사이트는 중요하다

디지털 시대에 웹 사이트의 중요성(Importance)이 극적으로 높아지고 있지만 애석하게도 대부분의 웹 사이트 환경의 성능(Performance)은 여전히 그 경험과 결과 측면에서 그 소유주들이 생각하는 기대와 잠재력에 미치지 못하고 있다. 하지만, 반면에 좋은 소식은 이 커다란 차이가 사실은 또다른 기회(Opportunity)를 창출하고 있다는 것이다. 잘만 활용하면 더 높은 투자 수익 (ROI)을 얻을 수 있는 가능성이 높다는 의미다.

모든 웹사이트의 실적이 저조하다고 단정하는 것은 무리가 있으나 최소한 모든 웹사이트는 지금보다 훨씬 나아질 수 있고, 가지고 있는 잠재력보다는 실적이 저조하다고 감히 말할 수 있다. 그럼 단순히 미학적인 면이 아닌 결과를 만들어낼 수 있는 웹 사이트 디자인은 어떤 것이어야 할까? 회사가 웹사이트의 존재 이유를 정의할 수 있고, 비즈니스의 목표 및 성공을 측정하는 지표가 준비되면 웹사이트를 통해 개선 할 수 있는 기회는 훨씬 많아진다. 그런데 유감스럽게도 웹 사이트 소유자가 분명한 목표, 목표 및 측정 항목을 가지고 있더라도 신속한 수정 조언이나 “모범 사례(Best practice)”를 추구하려는 유혹에 빠지는 경향도 많다.

Best Practice가 Best 가 아닌 이유

현실적으로 통제된 테스트의 연구를 기반으로 디자인과 컨텐츠가 설계된 웹 사이트를 구현하는 경우는 매우 드물다. 웹 디자인팀은 디자인팀에게 많은 시간을 제공하는 반면 전환 최적화 테스트를 수행하는 데는 충분한 시간을 갖지 않는다. 그렇다보니 대부분의 웹사이트가 동종업계의 경쟁사들과 유사한 디자인과 레이아웃으로 만들어진다. 이러한 Follow- average approach(평균을 따라가는 접근방식)는 결국 모든이들이 다 가진 공통의 요인인 Best practice 로 여겨지게된다. 그렇다보니 고객이 말하는 Best practice 란 결국 평균적으로 있어야 하는 것 정도인 것이지, 궁극적으로 Best는 아닌 것이다. 그러면 평균을 벗어나 Best로 갈 수 있는 방법은 무엇일까?

방법은 의외로 간단할 수 있다. Best practice에서 쉽게 간과가 되는 부분에 대한 고민이다. 비즈니스 환경, 목표, 대상 고객에 대한 연구와 데이터에 기반한 테스트 즉, 단지 의견 기반의 테스트가 아닌, 통계적으로 유효하고 과학적으로 제어되는 테스트환경에서 데스트된 결과를 가지고 가정을 세우고 테스트하고, 그 가설에 대해 의문을 지속적으로 제기하면서 결함을 찾아서 고쳐가는 시도를 하면서 시간이 지나면서 그 매출에 긍적적인 영향을 주는 웹사이트로 진화하게 만드는 것이다. 테스트를 진행하면서 가설에 오류가 있거나 잘못된 테스트일 수 있는 경우는 존재하는데 이것은 지극히 자연스러운 과정이다. 세상에 완벽한 테스트시나리오는 존재하지 않고, 내가 알고 있다고 생각했던 그 고객군들이 사실은 웹의 세계에서 항상 나의 예상처럼 행동하지는 않는다.

타켓팅을 고민하기 전에 테스팅을 먼저 고민해야 하는 것이 바로 이런 이유다.