몇 년 전, 어느 회사의 경영진과 면접을 본 적이 있다. 면접하시는 분의 질문 중 하나가 어떻게 해서 이 분야에서 일을 하게 되었는지, 어떻게 알고 분석 솔루션에 대한 경력을 쌓게 되었는지 알고 싶다는 질문이다. 이런 경우 일자리를 얻기 위한 면접에서는 ‘이 분야가 전망이 좋고, 이런 저러한 비전이 있어서 열심히 찾아서 여기까지 오게되었습니다..’ 뭐 그런 패기있고 치밀한, 나름의 전략을 보여주는 것 같은 대답이 옳다. 그런데 사실 한국 시장에서 디지털 분석에 대한 솔루션이 소개가 되고 시장에서 제대로 알려지기 시작하는 것은 채 10년이 안된다. 그러므로 그때부터 뭔가 미래를 보고 이 분야의 업무를 시작했다고 말하는 것은 진실이기 힘들다. 결론적으로 나는 거짓말을 하지 않았고, 진솔한 사람이라 좋다는 예상하지 못한 좋은 피드백을 받았으나 이만 저만한 이유로 그 회사로의 이직은 안하는 것으로 결론지어졌다. 8년전 지금의 회사로 입사하던 그날, 난 디지털 분석의 분야에서는 제반 지식이 제로인 상태로 일을 시작했음을 고백한다. 그리고 그 때는 나뿐만 아니라 이 땅에서 이 분야의 존재감은 거의 제로였음을 또한 고백한다. 이야기의 처음에 나의 개인적인 이야기로 시작을 하는 이유는, 지난 10년 이 분야에 글로벌하게 무슨 일이 있었는지 이해하기 전에 한국 시장은 어떠한 상황이었는지를 한번 짚고 가는 것은 의미가 있을 것 같아서다.
오늘의 이야기는 지난 6월 HBR의 온라인 판에 실렸던 How Analytics Has Changed in the Last 10 Years (and How It’s Stayed the Same) 의 내용을 번역하여 일부 내용을 차용하였다. 지난 10년 간 국내외적으로 기술, 문화, 리더십 등 많은 부분에서 변화와 발전이 있었는데 이번 이야기는 주로 기술적인 부분으로 국한을 시킬 예정이다.
지금은 물론 지난 10년은 빅데이터의 시대였다. 온라인 클릭스트림과 같은 새로운 데이터 소스들이 기본적으로 분산 컴퓨팅을 지원하는 온프래미스 혹은 클라우스에 기반한 다양한 하드웨어 환경을 필요로 하게 되었고 이는 여러 상이한 서버들을 넘나들어 데이터의 분석이 가능하게 된 시대가 되었다. 어떤 경우는 ‘인 메모리’ 에서 데이터를 처리하게하여 그 분석의 속도를 획기적으로 단축하게 하기도 했다. 클라우드 기반 분석을 통해 조직은 저렴한 비용으로 단기간 동안 엄청난 양의 컴퓨팅 성능을 확보 할 수 있게 되었고 이런 활동은 대기업에 국한된 업무가 아니라 이제 중소기업조차도 적극적으로 그 분야에 관심을 가지게 되었다. 소프트웨어적으로 대용량 데이터의 대부분이 상대적으로 구조화되지 않았기 때문에 데이터 과학자들는 Pig, Hive 및 Python(파이썬)과 같은 새롭고 혹은 오래된 스크립팅 언어로 구조화되고 통계 분석을 위한 준비를 할 수있는 방법을 고안하기에 이른다. 스트리밍 데이터를 위한 Spark와 통계를 위한 R과 같은 보다 전문화 된 오픈 소스툴 또한 상당한 인기를 얻게 되었다. 또한 오늘날 많은 조직에서는 분석을 기존의 시스템들과 통합하고자하는 시도를 하고 있다. 예를 들면 고객의 lifetime value를 평가하기 위해 CRM 의 데이터를 추출해오기도 하고, 최적화된 가격을 책정하기 위해 SCM 의 재고 data를 실시간으로 가져와야하는 경우가 있는데 이때 원하는 분석 결과를 얻어내기 위해 특정의 코드를 삽입하거나 API call를 발생하여 시스템과 연동을 하게 한다. 최근에 많은 글로벌 회사들이 도입하는 방법론 중의 하나는 SOA(Service Oriented Architecture)와는 조금 다른 형태의MSA(Microservice Architecture)인데 이는 IoT나 Wearable 과 기존 시스템간의 연동을 구현하는데 도움을 준다. (이는 모두 개발을 어떻게 하느냐에 대한 구현 방법에 대한 이야기다.) 이런 기술들은 인터넷이 제한이 되는 지역에서 사물간의 통신과 분석을 위한 인프라를 구축할 때 활용이 되기도 한다. 사물간의 통신이 기술적으로 가능한 시대가 되었으니, 웹이나 모바일 앱들과 기존의 시스템과의 연동은 이제 당연한 이야기가 되었다.
분석 기술 환경의 또 다른 핵심 변화는 AI 또는 인지 기술의 한 형태인 자율 분석이 가능하게 되었다는 것이다. 과거의 분석은 결과를 고려하고 최종 결정을 내린 인간 의사 결정자를 위해 작성되었다. 그러나 이 기계 학습에 의한 머신러닝 분석 시스템은 다음 단계로 나아가 실제로 결정을 내리거나 권장 사항을 제언할 수 있다. 인간은 데이터만 제공할 뿐 거의 개입을 할 필요가 없어진 것이다. 대부분의 인지 기술은 통계 기반의 핵심이며, 데이터 분석의 생산성과 효율성을 크게 향상시킬 것으로 기대하고 있다. 이미 많은 분석솔루션들이 AI 기반한 상품과 서비스를 시장에 내 놓고 있다.
여기까지는 글로벌하게 미주나 유럽을 중심으로 그랬고 글로벌 벤더들이 그랬다는 것이고, 10년 전 미주나 유럽의 여러 선진기업들이 이 영역에 깊은 관심은 가지고 솔루션을 찾아서 비즈니스에 적용을 하면서 성공 사례를 만드는 동안, 우리의 비즈니스 환경은 여전히 매우 보수적인 입장을 고수한다. 시스템에 국한하여 예를 들어보면 “우리는 데이터를 보안 때문에 다른 나라 서버에 못 보내요. “(클라우드 환경에 대한 고객들의 반응, 그러면 내부에서 관리를 더 잘 할 것이라는 보장이 있는가? 클라우드는 못쓰는 이유가 단순하게 그것인가? ), “우리 IT가 개발하면 다 될 것 같은데. “(그들 내부 IT가 솔루션을 만드는 수준의 역량이 되는가?), “외국 솔루션들은 못써요 우리나라 기업과는 안 맞아”(우리나라 기업이 더 이상 한국 기업이서는 안된다는 사실은 이미 알고 있지 않나?), “우린 전문가가 없어서 그런 솔루션 못 써요.”(오프라인에서 만나 보면 많은 담당자들이 배우고 싶어서 안달하는데 기업은 인재에 투자를 할 마음이 없다.전문가들은 비싸서 채용할 수 없다고 말한다.), “ 이것도 하고 싶고 저것도 하고 싶은데 비싸요.” (원하는 모든 것들은 다 하고 싶은데, 재정적으로는 어려우니 당신들이 좀 손해보면서 일 좀 하라고 말한다. 너무 당연하게 요구한다. 좋은 퀄리티의 프로젝트가 될리가 없다.) 안되고 못하는 이유가 너무 많아서, 다른 나라들이 꾸준히 성장을 거듭하는 동안 한국에서 이 시장은 별로 성숙한 시장이 되진 못했다. 그래도 요즘에 너도 나도 4차산업혁명과 빅테이터, AI 등등을 말하니 데이터 분석에 대한 시장이 가야하는 방향인가보다 하는 정도는 인지는 하고 있는 듯 하다.
원본의 글에서도 지적했듯이 지난 10여년의 급속한 기술 발전에도 불구하고 많은 글로벌 회사들도 여전히 메인 프레임을 사용하고, 여전히 오래된 버전의 통계 패키지, 스프레드 시트, 데이터웨어 하우스 및 마트, 비주얼 애널리틱스 및 비즈니스 인텔리전스 도구를 사용한다. 기업들은 여러 기술의 옵션에서 다소 비싸지만 구현이 용이한 독점적인 소프트웨어를 사용할 것인가 혹은 오픈 소스 소프트웨어를 도입할 것인가 고민한다. 많은 경우 오픈 소스 소프트웨어가 저렴하다는 이유로 기업들이 오픈 소스에 관심을 가지지만, 그 사실은 아는가 오픈 소스는 무료이지만 오픈 소스 도구로 작업 할 수있는 사람들은 독점적인 기술을 사용할 수있는 사람들보다 더 비싼 인력들이란 것을. 그러니까 라이센스에 비용이 절약이 된다는 것이지 오픈 소스에 의한 구현이 저렴하다는 의미는 절대로 아니다.
분석 기술의 변화는 그야말로 빠르고 그 범위 또한 넓다. 현재 분석 기술의 선택지가 이전 세대보다 더 많아졌고, 그 기능들은 강력해졌고 가격은 더 저렴해졌다는 것은 의심의 여지가 없다. 그런데 이러한 새로운 도구는 더욱 복잡하며 많은 경우 전문 지식이 필요로 한다는 것 또한 의심의 여지가 없다. 10 년간 분석 기술의 중요성이 커짐에 따라 조직에서 탁월한 성과를 낼 수 있도록 노력해야한다는 부담감과 책임감 역시 높아진 것도 또한 사실이다. 많은 기업들이 분석이 비즈니스 성공에 중요하다는 사실을 인식하고 있고, 많은 선진 회사의 사례에서도 보듯이 반드시 신기술 만이 경쟁에서 우의를 차지하는 것도 사실 아니다.
최첨단 분석 기술을 사용하는 것은 성공을 위한 전제 조건이지만, 광범위한 활용 가능성은 분석적 리더십, 문화 및 전략과 같은 비 기술적 요인에 더 많은 가중치가 매겨질 수 밖에 없다.
더욱이 지난 10년의 시간을 제대로 따라잡지 못해서 기술적인 성숙의 시간을 충분히 갖지 못한 우리 데이터 산업의 경우라면, 기술 자체 보다는 어쩌면 비즈니스를 바라보는 마인드와 문화가 훨씬 중요하게 고민되어야 할 시기라는 생각이 든다. 기술은 계속 진보하고, 노력과 리소스를 투자하면 어느 정도 따라잡을 수 있으리라 보여지지만, 데이타에 기반한 의사 결정을 하는 조직의 문화는 생각보다 그렇게 쉽게 구현이 될 수 있을것 같지는 않아보이기 때문이다.
멋진글 감사합니다!
공감합니다.
감사합니다 🙂