이야기 33. 이야기 속 이야기 1. Action Hero 책 다시 읽기: (7) 분석의 작은 Technique

“성공은 준비와 기회가 만나는 그 지점이다. (Success is where preparation and opportunity. – Bobby Unser)

기회를 포착한다는 것은 인생의 여러 부분에서 매우 중요하다. 기회가 왔으나 준비가 안되서 알면서 놓치는 경우도 있고, 준비는 열심히 하고 있는데 기회가 그 기회인 줄 도 모르고 놓치는 경우도 있다. 인생의 기회에 대한 조언은 감히 할 수 있는 내공이 아니니, 조금 범위를 줄여서 산재한 많은 데이터 안에서 어떻게 인사이트를 도출하기 위한 분석의 기회를 포착하는데 도움이 될만한 작은 기술들에 대한 이야기를 해 보도록 하겠다.

분석 프로젝트에서 분석을 한다는 것은 사이트와 마케팅을 최적화하기 위해, 보유하고 있는 데이터들 가운데 뭔가 눈에 띄는 부분, 일반적이지 않는 부분을 찾아내는 탐구의 단계(Exploratory) 를 거쳐, 잠재적인 기회가 될 그 부분을 상세하게 파고드는 (Deep dive) 과정을 거치게 됨을 의미한다. 상세하게 파고 드는 그 과정에서 숫자와 시작적인 도구들을 활용한 기술적 통계(Descriptive Statistics)는 분석가들에게 분석의 기회를 포착 할 수 있는 많은 아이디어를 제공한다. 아래 몇가지 기술을 정리해본다.

숫자를 분석하기 위한 기술 (Techniques for Analyzing Numerical Data)

분석 리포트를 열어서 보면 가장 먼저 보게 되는 것이 숫자들인데 이 일련의 숫자들을 다음의 방법으로 원래의 값과 비교하여 숨어있는 인사이트를 찾을 수 있다.

• Percentage of total

예를 들면, 가장 많은 방문자가 유입된 채널은 어디인가에 대한 대답을 얻고자 한다면 이런 경우, 각 채널의 숫자보다 전체 중 퍼센트를 보는 것이 더 의미있다.

• Ratios

전체 볼륨에 상관없이 비교를 하고자 할때 유용하다. 예를 들면, 어느 나라에서 오는 방문자들이 방문당 보이는 평균 페이지(Page view/visit)를 뷰를 보고자 하는 경우

• Means 또는 Averages

Ratio가 이미 있는 경우, 전체 평균대비 각 아이템이 차지하는 값을 비교해 볼 수 도 있다. 예를 들면, 우리 사이트의 평균 Bounce Rate이 7.49% 인 경우 각 주요 Landing page 의 Bounce Rate 이 상대적으로 어느 정도인지 비교.

• Percent change over time

예를 들면 지난 달 대비 이번 달에 특정한 외부검색 키워드로 유입이 된 트래틱을 통해 발생된 매출이 어떻게 달라졌는지 비교하고자 할때.

시각적으로 Data를 분석하는 기술 (Techniques for Analyzing Data Visually)

일반적으로 분석리포트는 크게 Ranked type와 Trended type 정도로 리포트를 만들 수 있는데 두 리포트의 차이점은 간단하게 그 특정 기간의 결과 Total을 보는가 (Ranked) 또는 그 기간 동안의 성과의 트랜드(Trended) 를 볼 것인가 따라 다른 그림을 그릴 수 있다. 시계열 Trend Report 에서 간단하게 많이 사용되는 몇가지 예를 살펴보자.

• Outliers – 극단적인 값이 그래프에 보이는가. 그 값에 대한 해석이나 설명이 필요한가 혹은 무시해도 되는 값인가
• Time intervals – 값을 일별, 주별, 월별 등등 어떤 interval로 보는 것이 의미가 있는가. 일별로 보았을때 값의 등락이 심했다하더라고 이것을 월별이나 연별 추세로 보면 완만한 그림을 보게 될 수도 있다.

Figure 5.5  Web Analytics Action Her, page 112

• Moving averages(이동 평균)- 전체 데이터 집합의 서로 다른 하위 집합의 평균을 만들어 데이터 요소를 분석하는 계산 방법으로 단기 변동을 완화하고 장기적인 추세 또는 사이클을 강조하는 데 사용되는 기법이다.
• Control limits

통계에서 적용되는 mean, standard deviation을 사용하여, UCL(upper control limit), LCL(lower control limit) 그리고 mean 값을 보여준다. Control chart를 통해 정상범위에 들어가지 않는 데이터(즉 anomalies)를 보여주어, 상세 분석이 진행되어야 할 곳에 대한 정보를 제공한다.

• Time overlays

동일한 지표에 대해 다른 시간대에 어떤 변화가 감지되는가를 관찰

• Metric overlays

동일 기간에 다른 지표들 간의 상관관계를 관찰

• Segment overlays

같은 지표가 다른 Segment에서 어떤 다른 변화를 보이는가 관찰.  예를 들면 지난 4월에 Page view를 20대, 30대, 40대의 연령대별로 어떻게 차이를 보이는지 다음과 같이 그래프로 확인할 수 있다.

분석의 세계에서 시각화를 통해 인사이트를 얻은 방법은 매우 많다. 이 글에서 언급은 안했지만, Scatter plot chart나 Bubble chart, Cohort analysis등도 디지털 마케터들이 즐겨보는 chart들이다.

“상관 관계는 인과 관계를 의미하지 않는다(Correlation does not imply causation.)”는 말을 들어본 적이 있을 것이다. 그렇다. 분석에서 어떤 한 요인이 다른 것에 영향을 줄 수 있지만, 다른 것이 아닌 제 3의 어떤 또다른 것에 의해 결과가 일어날 수 있는 경우도 너무 많다. 그러므로 우리는 항상 여러 숫자나 시각적인 그래프로 보이는 상관 관계가 모든 것을 보여준다는 오류에 빠져서는 안된다.

그럼에도 불구하고 지표간의 상관관계를 여러 각도로 보고자 하는 노력이 중요한 이유는, 상관 관계가 인과관계는 아니지만, 확실히 그 진짜 원인을 찾아가는데 매우 중요한 실마리를 제공하기 때문이다.