웹사이트를 최적화하고 테스트하기 위한 많은 이야기를 했습니다. 이번주는 지난 11주에 걸친 주제들을 바탕으로 어떻게 가설을 테스트 하는 것이 좋겠는지에 대한 정리 시간을 가져보겠습니다. 이 글의 많은 아이디어와 예시는 Chris Goward 저서 ‘You Should Test That: Conversion Optimization for More Leads, Sales and Profit or The Art and Science of Optimized Marketing’ 의 내용을 참고, 일부 번역 하였습니다.
——————-
절대로 테스팅을 멈추지 마라. 그러면 결코 당신의 광고가 개선을 멈추는 일도 없을 테니.– 데이빗 오길비
“Never stop testing, and your advertising will never stop improving” – David Ogilvy
지난 이야기들을 통해서 LIFT 모델로 가설을 세우는 방법이나 긴급성을 최적화하는 방법들에 대한 이야기를 나누었었다. 이번 이야기는 이것을 바탕으로 테스트 계획을 수립하고, 좋은 아이디어를 실천하는 것에 대해 이야기 해 보고자한다.
여러분 중의 많은 분들은 테스트하지 않고 뭔가 즉시 변경을 해 버리고 싶은 강한 유혹을 느낄 수도 있다. “이 웹사이트의 특정한 어떤 부분은 분명히 변화해야해.”라고 스스로 확신하고 있을 지도 모른다. 당신의 사이트를 방문하는 많은 고객들의 성향을 이미 알고 있다고 생각할 수도 있다. 아마 당신 말이 맞을 수도 있다. 그런데 사실 아닐 수도 있다.
테스트를 조직적으로 계획하여 시작 할 때의 장점은, 조직적 또는 기술적 장벽에 직면하여 놀라게 되는 일, 방향성 없는 테스트에 시간을 낭비하느라 정작 필요할 때 지원을 받지 못하거나 비용을 모두 써버려서 더이상 프로젝트를 진행하지 못하는 등의 어처구니 없는 재해를 방지할 수 있다. 테스트 계획을 한다는 것은 테스트 목표를 확고히하고, 테스트의 구조를 명확히 이해 관계자들에게 설명하고, 제어장치를 갖추고, 일반적인 실수를 피하기 위핸 프레임을 만드는 것을 의미한다. 그래서 궁극적으로 가능한 한 극적인 전환율과 수익을 올릴 수있는 테스트 계획을 수립하는 것을 말한다.
테스트 목표 설정하기 (Set test goal)
테스트 계획에서 첫번째로 결정해야하는 부분은 바로 테스트의 목표설정이다. 전환 최적화에 대한 지난 블로그에서 언급했던 것과 같이 각 테스트의 목표는 조직의 우선 순위가 적용이 된 전환과 연결되도록 디자인되어야 한다. 목표는 그 컨버젼과 웹사이트의 존재 목적에 따라 매우 다양하게 고려가 되어야 하는데, 예를 들면 리드(lead)를 만드는 것이 목적인 사이트라면 데모 요청이나, 견적 요청, 마케팅 정보 요청, 브로셔 요청 등이 주요 목표가 되어야 하고, 리테일 사이트면 당연히 매출과 연결된 목표 예를 들면 매출 전환, AOV(Average Order Value), Return on Ad Spend(ROAS)등이 되어야 한다.
여기서 신중하게 사용해야 할 지표를 하나 소개하자면, 마케팅의 효과를 판단하는 데 가장 많이 사용되는 통계 중 하나가 클릭율 (CTR, Click-Through rate)인데, 많은 사람들이 배너 광고, 유료 검색 목록 및 심지어는 웹 사이트 내부의 홍보를 측정하기 위해 이 지표를 사용한다. 문제는 마케팅 담당자가 CTR을 주요 성공 측정 항목으로 사용하면 오해의 소지가 있다는 것이다. CTR은 사람들이 광고를 클릭한다는 사실 만 알려줄 뿐이지, 클릭만으로는 잠재 고객의 구매 의도를 측정하지는 못한다. Click Through는 마케팅의 효과의 시작을 알려주는 지표일 뿐이지, 그 최종의 성공을 알려주지는 못한다.
테스트의 영역 정하기(Choose the Test Area)
우리가 테스트를 할 수 있는 곳은 단지 한 페이지에 국한되는 것이 아니라 여러 가능한 형태를 가질 수 있다. 단일 페이지가 될 수도 있고, 사이트 전체의 템플릿이 될 수도 있고, 마이크로 사이트가 될 수도 있다.
템플릿페이지 : 대부분의 웹 사이트의 컨텐츠를 구성하는 페이지로 일반적으로 CMS 시스템 또는 이 커머스 플랫폼을 통해 업데이트 되는 페이지들이다. Look and feel이 비슷한 상품페이지가 대표적인 템플릿 페이지인데 이 페이즈에 테스트를 하는 이유는 다음과 같다.
- 대부분의 방문자가 이 페이지를 보게 되므로, 테스트의 결과를 쉽게 얻을 수 있고
- 동일한 템플릿에있는 모든 페이지의 레이아웃이 동일하면 방문자의 사이트 경험이보다 일관적이고
- 방문자가 각 페이지마다 다른 변형을 보게 되는 사이트의 불일치 경험하게 할 필요가 없으니까 웹 사이트 내에서 개별 페이지를 테스트 할 때보다 훨씬 더 극적인 아이 플로우 및 레이아웃 접근법을 테스트 할 수 있다.
개별 페이지 : 반면 개별 방문 페이지를 테스트하면 해당 제품, 서비스 또는 주제와 관련된 더 구체적인 컨텐츠를 테스트 할 수 있다는 장점이 있고 테스트 디자인은 회사 웹 사이트에 맞도록 제한되거나 동적 컨텐츠와 통합되지 않다고 되나, 하나의 방문 페이지에서 테스트하는 것은 트래픽 수준이 사이트 전체 테스트보다 일반적으로 낮다는 단점이 있어서 결과를 얻은데 다소 오랜 시간이 걸릴 수 있다는 단점이 있다.
사이트 전체 섹션 테스트 : 어떤 특정한 페이지가 아니라 사이트 전체에서 영향을 주는 요소들을 테스트 할 수 있는데 예를 들면 전체 페이지 공통 영역, 네이게이션, 헤더, 전체 공통으로 사용되는 CTA(Call To Action) 버튼 등이 해당된다.
마이크로 사이트 : 마케팅 담당자가 특정 캠페인이나 제품 그룹에 대해 뚜렷한 다른 디자인을 만들거나 특정 마케팅 용도도 사용하고 싶을 때 종종 마이크로 사이트를 만드는데 본질적으로 자체 웹 사이트 인 작은 웹 사이트로 일반적으로 3 ~ 10 페이지입니다. 마이크로 사이트는 대개 단일 목표에 초점을 맞추고 마케팅 부서의 통제하에 있으므로 전환 테스트를위한 훌륭한 후보가 될 수 있다.
테스트의 타입 정하기(Choose the Test Type)
먼저 우리 사이트에 유입이 되는 트래픽을 기준으로 나의 테스트가 성공적인 결과를 가져오려면 어느 정도 볼륨의 샘플이 필요하겠는지 먼저 계획해야한다. 내부적으로 통계팀이 있어서 통계적으로 그 기간을 조언해 주거나, 최적화 분석툴을 활용하여 계획을 할 수 도 있다. 예를 들면 이 툴의 경우 A/B Test를 진행할 때 현재 트래픽과 전환을 기준으로 목표를 입력하면 얼마나의 시간이 테스트를 위해 필요한지 계산해준다. https://docs.adobe.com/content/target-microsite/testcalculator.html
현재 많은 회사들이 사용하는 방법은 A/B..N 테스트와 MVT(Multivariate Test)인데 명확히 테스트할 영역이 2개 이하 일때는 A/B를 3개 이상의 영역이 한꺼번에 테스트하여 가장 영향력이 있는 영역을 찾고 싶다면 MVT가 의미가 있다. 혹은 많은 회사들이 MVT를 시행하고, 중요한 영역은 다시 A/B로 테스트하는 등의 방법을 택하기도 한다.
그러면 도대체 좋은 Test 결과는 어떻게 얻을 수 있을까?
무엇보다 대담하게 테스트할 필요가 있다. 어차피 결과는 보기 위해 2-3 주의 시간이 일반적으로 필요하다. 가능한 2-3개의 적은 수의 시나리오를 테스트해서 성공의 경험을 먼저하는 것이 중요하며 또한 비교를 위한 Base가 되는 Control을 절대 변경하지 말아야 테스트의 변별력을 검증할 수 있다. 통계적으로 최소한 신뢰도가 95% 이상이 되었을 경우까지 기다려야하고, 가능한 테스트 전문가들의 조언을 바탕으로 비즈니스에 의미있는 테스트 시나리오의 개발이 매우 중요하다.
테스트는 지루한 프로세스다. 그래도 지리한 이 여정이 때로 여러분이 원하는 곳으로 가는 지름길이 될 수 있음을 인지하시기를. 과정이 없이 남들보다 앞서가는 꼼수는 디지털의 세계에서도 별로 통하지 않아 보인다.