개인적으로 셜록 홈즈를 좋아하는 팬으로서, 영화와 드라마 종류를 불문하고 모든 셜록의 이야기를 좋아한다. 지난 런던 출장 때는 221B Baker street를 찾아가볼까 진지하게 고민도 했었다. 뜬금없이 디지털 분석을 이야기하면서 셜록의 이야기를 하는 이유는, 인사이트를 얻는 다는 것은 사실 어느 날 문득 계시처럼 다가오는 것이라 셜록같은 관찰과 논리적인 훈련을 통해 얻어질 수 있는 산물이라서 과학적인 사고와 훈련이 필요하다는 이야기를 하고 싶어서다.
디지털 분석에서 적용할 수 있는 과학적으로 사고하는 일반적인 세가지 방법에 대해 다시 한번 정리해 보자.
- 귀납법 (Inductive reasoning) : 여러 관찰(Pattern이나 trend)을 바탕으로 일반적일 결론(Hypothesis)을 도출하는 방법이다. 예를 들면, 100 마리의 까마귀를 관찰해보니 모두 검정색이므로 까마귀는 일반적으로 검다.
- 연역법 (Deductive reasoning) : 전제(Hypothesis)를 바탕으로 결론(Evidence)에 도달하하는 방법이다. 예를 들면, 모든 까마귀는 검다. 한국의 까마귀도 검고, 일본의 까마귀도 검다. 따라서 미국의 까마귀도 검다.
- 귀추법 (Abductive reasoning) : 관찰의 결과(완전하지 않지만 어떤 event나 effect)를 토대로 가장 잘 설명이 가능한 원인 혹은 가정을 선택하는 방법이다. 예를 들면, 모든 까마귀는 검다. 그런데 왜 까마귀는 검을까? (여러 연구와 관찰을 해 보니) 까마귀는 XXX 때문에 검은 것이다.
과학적인 방법론은 매우 시스템적인 접근으로, 과학자들은 이런 프로세스로 관찰을 하고, 문제를 해결하고 생각했던 가설들을 테스트한다. 이런 과학적인 방법론은 사실 디지털 세상에서 분석을 하는 사람들에게도 매우 유용하게 활용이 될 수 있다. 다음은 과학적인 생각의 프로세스를 디지털 분석을 위한 프로세스로 만들어 놓은 예다.
Fig 5.1 Online analysis follows a path similar to the scientific method
(Web Analytics Action Hero by Brent Dykes, Page 92)
- 관찰하기 (Make Observations)
지난 여러 에피소드에서 어디부터 분석을 해야할지에 대해 고민했었다. 어느 지점에서 상세한 분석을 할지 결정이 되었다면, 가지고 있는 데이터를 통해 한단계 상세하게 데이터를 모니터링하고 관찰하는 단계가 필요하다. 기억하는가. 마치 돗자리를 깔아도 될 것 같이 혹은 신내림 받은 사람처럼 진실을 뱉어내는 셜록의 모든 이야기는 사실 세심한 관찰에서 비롯된 결론이었음을. 예를 들면, 우리 회사에서는 소셜 채널을 통한 유입을 높혀서 우리 웹사이트에서 ‘등록’을 완료하게 하는 것이 이번 달 목표였다고 하자. 그러면 소셜 채널을 통해 유입이 된 고객이 얼마나 등록을 많이 완료하는지 모니터링하고 그들의 행동을 관찰하는 것이 첫 단계다.
- 가설세우기 (Formulate Hypothesis)
관심있는 영역에 데이터를 수집하고 깊이 관찰을 했다면, 나온 결과를 가지고 그 다음 단계에서 활용할 예측의 정보를 고민해 보아야 한다. 예를 들면 이번 달의 소셜 캠페인으로 유입이 되는 Landing page 에 bounce rate이 80% 였다고 하자. 이 의미는, 우리회사에서 Facebook에 광고를 하는데, Facebook의 그 광고를 보고 우리 회사 웹사이트로 유입이 되는 그 페이지(전문용어로 landing page라고 부른다.)에 들어온 100명의 사람들 중 80명이 다른 페이지로 이동하지 않고 바로 우리 웹사이트를 나가버린다는 것이다. 우리 회사의 이번달 목표는 소셜 채널을 통한 등록건수를 높히는 것인데, 이 landing page에서 ‘등록하기’ 버튼을 클릭하고 등록을 해야하는데 그것을 안하고 80%의 방문자들이 그냥 사이트를 나갔다면 대단히 문제가 있는 상황이다. 왜 이런 문제가 생겼을지 여러가지 가정을 세워보는 것이 이 단계다. 아마 이 ‘등록하기’ 버튼이 모바일 기기로 들어온 사람들한테는 잘 안 보일 수도 있다. 혹은 ‘등록하기’ 버튼이 너무 작아서 제대로 눈에 안 뛸 수도 있다. 이 문제를 발생시켰을 모든 상황을 가정하여 이런 경우는 이렇게 되고, 저런 경우를 저렇게 흘러갈 것이라는 가설로 정의한다. 일종의 현재 존재하는 데이터를 기반으로 한 예측을 해 보는 것이다.
- 증거 확보하기 (Gather Evidence)
가정을 만들었으면 그 가정에 해당하는 내용들을 실제로 Test하여 정말 그런지 증거를 확보해야한다. 이 단계에서 귀추법을 활용하여, 왜 그랬을까에 관련이 될 데이터를 확보하고 그 후 연역법, 귀납법을 활용하여 그 원인이 되는 것이 무엇이었는지를 확인하고 다음 단계에서 결론을 도출할 수 있는 데이터의 검증이 이 단계에서 이루어진다. A/B test나 Multivariate Test(MVT) 같은 툴들이 이 단계에서 활용이 될 수 있다.
- 결론내기 (Draw Conclusions)
이 모든 분석 후에 이제 여러분이 세운 가설을 따를지 혹은 이 가설을 철회할지를 결정하게 된다. 여러분이 예측한 그 결과가 맞을 수도 있고, 틀릴 수도 있다. 어떤 경우는 여러 데이터가 뒷받침을 못해주므로 원하는 결론에 도달하기 힘든 경우도 있을 수도 있다. ‘그래서 더이상 분석을 할 수없다’라는 결과도 이 단계에서는 중요한 결론이다. 분석의 결과가 어떻게 되든지에 상관없이 여러분은 결론은 내야하고, 반드시 다음 단계로 넘어가야 한다.
이런 과학적인 접근은 조직이 Data에 기반한 문화를 가지게 하는게 매우 중요한 틀을 제공한다는데 있어서 매우 의미 있다. 그렇지 않으면 분석가들을 지속적으로 매우 불투명하고, 시간을 낭비하는 업무에 에너지를 소비할 리스크를 감당해야한다. 추가적으로 분석가들은 이러한 과학적인 분석프로세스를 조직에 적용할때 조심해야 할 점이 있는데 바로 특정 상황에 대한 선입견을 가지고 데이터를 보는 것, 그리고 실제로 가지고 있을 수 있는 데이터의 error 들이다.
- 선입견(Biases)
개인적으로 혹은 조직에서 가지고 있는 선입견 예를 들면 지난 분석의 경험, 개인적인 믿음, 현재 조직에서 지원하는 사업 등에 호의적인 감정 등등이 여기에 속한다. 분석 전에 선입견으로 작용할 수 있는 여러 조건들을 미리 나열하고 편향된 분석 결과를 도출하지 않도록 경계해야한다.
- 에러 (Errors)
단정적으로 말하면, 완벽한 데이터는 존재하지 않는다. 그러나 가능한 실제의 데이터에 가까운 데이터가 수집이 될 수 있도록 확인해야 하는데 이 에러는 크게 시스템에서 데이터를 수집할때 로직이나 태깅을 제대로 하지 못해 발생하는 시스템 에러, 어떤 외부 환경적인 문제로 발생이 되는 예를 들면 시스템 다운이나 Cookie가 충돌되서 발생하는 문제등의 예측이 어려운 랜덤 에러, 사람의 실수로 초래되는 휴먼 에러등이 있을 수 있다. 랜덤 에러의 경우는 미리 방지를 하지 어려우나 최소한 시스템 에러나 휴먼 에러는 기업의 가버넌스가 제대로 구축되어 있으면 어느 정도는 방지될 수 있는 에러다.
이제 이 세 가지 과학적 추론 방법을 종합하여 다음과 같은 분석 프로세스를 설계 할 것은 권고한다. 어떤 문제가 발생했고, 왜 이것이 발생을 했고, 그래서 이것이 해결이 되서 당신의 가정대로 진행이 된다면 당신이 고민하는 그 비즈니스에 얼마나 많은 리턴에 돌아올 수 있을까.
Fig 5.3 The HEROIC analysis approach will answer three key questions.
(Web Analytics Action Hero by Brent Dykes, Page 101)
몇 년 전에 호주의 한 고객에게 디지털 분석 강의를 왜 들어오셨다고 질문을 한 적이 있다. 그 고객 대답이 “난 더 이상 Guesstimation (Guess + Estimation) 하는 마케터가 되고 싶지 않았다” 고 했다. 영어에 Guesstimation이라는 단어는 존재하지 않는다. 그런데 우리는 그 마케터가 더 이상 “Maybe..” 라고 추측(guessing)만 하는 마케팅이 아니라 데이터가 기반한 과학적인 분석을 배우고 싶어했음을 알 수 있다. 문득 물어본다. 비즈니스에서 발생하는 많은 문제에 대해 아직도 우리는 원인도 모르고 “Maybe..”로만 일관하는 것은 아닌지. 당신이 이제 그 디지털 세계에 셜록이 되어야 하는 것은 아닐까.