이야기 6. 대시보드의 함정

Oxford 사전에 대시보드 (Dashboard)의 정의를 찾아보면 다음과 같다.

  1. 계기판 및 제어 장치가 포함 된 차량 운전자 또는 항공기 조종사를 위한 패널
  2. 일반적으로 비즈니스 개요를 제공하는 데 사용되는 중요한 정보의 시각화된 요약

그런데 조금 더 오래된 대시보드의 어원을 찾아보면, 원래는 말이 주요한 교통 운송 수단인 시절에 말이 달릴 때 튀는 진흙과 암석으로부터 운전자와 승객을 보여하기 위해 앞단에 붙힌 목재 보드였다고 한다.

회사의 임원 및 매니저들은 대시보드를 좋아한다. 아니 사랑한다. 잘 만들어진 보드에 주요 지표들에 대한 현황들이 그것도 이젠 실시간으로 보여지니 아름다울 수 밖에.  그러므로 필자의 교육에 들어오는 많은 고객들은 국가와 인더스트리를 막론하고 일단 대시보드를 어떻게 만드는지를 주요한 배움의 한 항목으로 생각하고 교육에 임한다.

그런데 애석하게도 대시보드는 많은 매니저들이 원하는 그런 마술 거울은 아니다. 오히려  대시보드는 의사결정을 위해서 필요한 뉴앙스가 문맥에 대한 정보가 없는 경우 잘못된 의사결정을 하는 주범이 될 수도 있다.  일반적으로 데이터 분석을 한다는 것은 아래의 세 가지를 의미하는데  1)현재 혹은 과거의 현상을 서술하는 것( 2)과거의 데이터를 기반으로 하여 미래의 사건을 예측하는 것 3)일련의 행동을 미리 처방하여 조언하는 것. (자세한 내용 참고 이야기 1. Analytics, 그가 도대체 뭐길래. 그는 Big Data와 어떤 관계인가? )

사실 대부분의 대시보드는 첫번째에 해당하는 부분으로 과거에 무엇이 발생했나에 촛점을 둔다. 단순히 서술하는 관점(Descriptive Analytics)에서 미래의 행동에 대한 예견 혹은 처방적 관점(Predictive or Prescriptive Analytics)의 분석이 가능해지려면, 이 데이터가 나오는 그 저변에 비즈니스에 대한 행간을 읽어야 한다. 대시보드는 이런 인사이트를 제공하기는 어려우며 오히려 이 매력적인 대시보드의 간략 명료함, 우아함에 이끌려 중요한 뉴앙스를 간과하는 결과를 초래하기도 한다.사람이든 분석이든 너무 외형에 끌리는 것은 좀 위험하다.

많은 분석가들을 잘못된 의사 결정의 늪에 빠지게 하는 세가지 함정에 대해 알아보자.

중요도의 함정

많은 경우 대시보드는 기업의 비즈니스에 가장 중요하다고 생각되는 우선 순위의 지표들로 만들어진다는 가정하에 대부분 IT나 혹은 디자인 전문가, 혹은 솔루션을 잘 아는 외부컨설턴트에 의해 작정이 된다. 그런데 많은 경우 이 전문가들은 실제 기업의 비즈니스를 잘 모르는 경우가 많으며 솔루션 입장에서 “중요할 것이라고 가정”하는 지표들을 가지고 대시보드를 만든다. 경험이 많지 않은 고객이 전문가인 외부 컨설턴트들에게 “우리는 잘 모르니 알아서 만들어 주세요” 하는 경우가 여기에 속한다.  많은 경우 정의한 지표가 사실은 그 고객의 실제 비즈니스에 대한 Goal 혹은 비즈니스 모델이 맞지 않고, 알고 싶어하는 것과는 크게 관련이 없을 수도 있다. 외형상 예쁜 대시보드가 만들어지긴 하나 비즈니스의 맥락을 읽을 수 없다면 이미 알고 싶어하는 답과는 거리가 멀어지게 된다.

 

문맥의 함정

너무나 자주 분석은 편견없이 냉철한 그 어떤 것이라 간주된다. 많은 관리자들은 “경험적” 이면서 “양적으로 충분한 것”은 “객관적인 것”이라고 동일시한다. 이런 위험한 믿음은 매니저들로 하여금 대시보드에 보이는 간단 명료한 정보를 추종하며 심지어 이런 정보를 가지고 행동을 한다. 아래 예로 보이는 그래프는 시간이 지나면서 영업리드가 주기적으로 어떻게 변하는지에 대한 간략한 대시보드다. 흔히 이 경우라면, 대부분은 리드가 가장 많이 발생한 그 지점에 왜 리드가 가장 발생했나 분석하려 한다. 그런데 다른 차원의 그래프가 더 해지면 이야기는 좀 달라진다.

dasboard1

사실은 분석의 관점에서 관심을 가져야 할 기간은, 가장 리드가 많이 발생한 시점이 아니라, 사실은 예상치는 매우 높았는데 실제로 리드가 적었던 그 기간이 분석이 필요한 시점이다.

인과관계의 함정

대시보드가 의사 결정에 위험한 대표적인 경우는 대시보드에서 구성 요소들을 비교할 때 그 인과관계를 잘못 분산시키게 하는 경우로, 실제로는 그룹화하지 않는 것들을 그룹으로 만드는 오류를 범하여 대시보드에 비교하고 너무 쉽게 결론을 내버리는 경우이다. 불행히도 이런 경우는 매우 많다.

어느 날 기업의 경영자가 다음 대시보드를 보았다. 단순히 이 내용을 보았을 때 GPS를 업그레이드 한것이 교통사고의 주범이 된다. 정말 그런가?  그 대신 사고를 잘 내는 운전자와 안전하게 운전하는 운전자를 그룹으로 나누어 비교해 보았다. 그랬더니 두 그룹 모두 GPS를 업그레이드하지 않는 경우에 사고확률이 높았다. 그러면 최초의 그래프는 왜 이런 결과를 보여주는가.  이 경우는 사고를 잘 내는 운전자의 경우 GPS의 성능을 의심하여 안전운전자보다는 GPS를 업그레이하는 경우가 많고, 안전운전자는 오히려 예전 GPS를 사용하는 경우가 많았기 때문이었다.

dasboard2

포인트는 대시보드 자체가 잘못된 의사결정을 유도한다는 것이라기 보다는  비즈니스를 모르는 비전문가에 의해 잘못 양산되는 대시보드를 경계해야하며, 대시보드의 간단 명료와 시각화된 그래프들의 아름다움에 현혹이 되어 숨어있는 데이터의 뉴앙스와 중요한 메세지를 간과하는 오류를 범하는 상황을 조심해야 한다는 것이다.

대시보드는 흙이 튀는 것을 방지해주는 나무 보드에 불과했다. 혹시 우리는 아직도 대시보드를 임원과이해당사자들에게 보여주기 위한 임기응변의 방편 정도로 사용하는 것은 아닌가 한번 쯤 고민해 볼 때다. 대시보드의 의미가 진화했듯이 이제는 대시보드에 담을 메세지 또한 한 단계 진화시켜야 하는 것은 아닌지.

[인용] https://hbr.org/2017/01/3-ways-data-dashboards-can-mislead-you 의 내용과 그래프를 사용했습니다.

광고

Written by Isabel Han 한명주

Digital Advisor, Adobe Global Services, Senior Consultant 디지털 어드바이저. 어도비 글로벌 서비스, 시니어 컨설턴트

댓글 남기기

%d 블로거가 이것을 좋아합니다: