빅 데이터 과학의 정의와 데이터의 특성, 이를 뒷받침하는 기술적 기반 및 상관성에 기반한 예측의 원리 doc_id PCY_201509210500089561_4

둘째, 정보가 데이터가 되기 위해서는 수량화 과정이 필요하다. 수를 통해 측정될 수 있어야 한다. 정보가 수를 통해 측정되어야만 비로소 정보의 수량화, 표준화, 수집이 가능해진다. 정보를 수량화하면 정보를 기록화하는 것보다 더욱 정밀한 측정을 할 수 있다. 인류역사의 발전과정을 보면, 문자를 통해 이루어지는 기록화와 더불어 수량화가 그 얼마나 중요한 기여를 했는지를 알 수 있다. 숫자, 그 중에서도 아라비아숫자가 발명되고, 수량화를 학문화한 수학이 발전하면서 인류문명은 그 이전보다 더욱 진보하기 시작하였다. 경제 역시 수량화와 밀접하게 관련을 맺으면서 발전해 왔다. 이를 잘 보여주는 것이 바로 회계이다. 회계는 경제 체계가 원활하게 작동하는 데 필수적인 역할을 수행해 왔다. 특히 14세기에 복식 부기가 발명되면서 경영정보를 수량화하는 것이 더욱 원활해질 수 있었고, 이를 통해 경제체계 역시 더욱 정밀하게 작동할 수 있었다. 이러한 수량화 경향은 오늘날 더욱 강화되고 있다. 종래 수학은 자연과학이나 공학에서 주로 사용되었지만, 오늘날에는 그 적용영역이 점차 확장되어 경제, 경영, 금융뿐만 아니라, 거의 모든 데이터 분석에서 수학이 사용된다. 데이터 마이닝은 데이터를 대상으로 한다. 데이터는 정보가 기록화･수량화･디지털화를 통해 전환된 것이다. 그러면 데이터 마이닝이 대상으로 하는 데이터는 무엇인가? 이미 언급한 것처럼, 현대 정보화 사회에서는 거의 모든 정보를 데이터화 하고 있으므로, 데이터 마이닝 역시 세상의 거의 모든 데이터를 분석 대상으로 삼는다. 그런데 여기서 주의해야 할 점은, 데이터는 속성상 한 번 분석하고 버리는 것은 아니라는 것이다. 다른 일반적 재화와는 달리, 데이터는 한 번 사용한다고 해서 그 가치가 사라지지는 않는다. 한 번 사용한 데이터라 할지라도 다른 관점과 다른 목적에서 여러 번 다시 사용될 수 있다. 더 나아가 데이터는 다른 데이터와 조합되어 사용될 수도 있다. ‘데이터 잔해’(data exhaust), 즉 “사람들이 세상에서 활동하고 움직이는 과정에서 부산물로 떨구고 가는 데이터” 역시 새로운 관점과 목적에서 다시 사용될 수 있다. 데이터 마이닝을 하는 경우에는 데이터가 지닌 이러한 속성에 주의해야 한다. 빅 데이터 과학이 출현하는 데 영향을 준 정보통신기술은 크게 두 가지 범주로 살펴볼 수 있다. 하드웨어와 소프트웨어가 그것이다. 하드웨어로는 개인용 컴퓨터, 인터넷, 스마트폰뿐만 아니라, 처리속도와 용량이 비약적으로 증대하고 있는 반도체기술 그리고 무엇보다도 클라우드 컴퓨팅(cloud computing) 기술과 같은 비용효율적인 장비활용기술 등을 지적할 수 있다. 여기서 클라우드 컴퓨팅이란 “정보처리를 자신의 컴퓨터가 아닌 인터넷으로 연결된 다른 컴퓨터로 처리하는 기술” 을 말한다. 이러한 클라우드 컴퓨팅을 사용하면 굳이 많은 수의 컴퓨터 서버를 활용하지 않아도 대규모의 데이터를 처리할 수 있다. 하루하루 엄청난 데이터가 생성되는 오늘날의 빅 데이터 시대에서 볼 때, 클라우드 컴퓨팅은 매우 효율적으로 정보를 처리할 수 있는 기술에 해당한다. 이 점에서 클라우드 컴퓨팅은 빅 데이터가 출현하는 데 필수적인 기여를 하였다. 빅 데이터 과학을 선도하는 구글은 일찍부터 클라우드 컴퓨팅 기술을 활용하여 매일매일 30억 개 이상이라는 엄청난 양의 검색어를 처리한다. 다음으로 ‘빅테이블’이란 ‘구조화된 데이터’(Structured Data)를 처리하기 위한 ‘분산 스토리지 시스템’(Distributed Storage System)을 말한다. 나아가 ‘맵리듀스’란 “효율적인 데이터 처리를 위해 여러 대의 컴퓨터를 활용하는 분산 데이터 처리 기술”을 말한다. 맵리듀스는 말 그대로 ‘맵’(Map)과 ‘리듀스’(Reduce)를 합성한 개념인데, 이 개념이 시사하는 것처럼 맵 과정과 리듀스 과정이라는 두 단계 과정으로 구성된다. 우선 맵 과정에서는 여러 대의 컴퓨터를 분산시켜 대규모의 데이터를 병렬적으로 처리함으로써 중간결과물인 새로운 데이터를 생산한다. 다음 리듀스 과정에서는 이렇게 생산한 중간결과물을 결합해 최종적으로 원하는 결과를 산출한다. 빅 데이터 과학은 정신과학, 더 나아가 전체 학문에서 중요한 역할을 수행하는 ‘인과성’(causality)에 대해서도 중대한 도전을 제기한다. 왜냐하면 빅 데이터 과학은 인과성을 밝히는 데 초점을 맞추지 않고, ‘상관성’(correlation)을 추구하는 데 만족하기 때문이다. 빅 데이터 과학에서 말하는 상관성이란 데이터와 데이터 사이의 통계적 관련성을 수량화한 값이라고 정의할 수 있다. 전통적인 학문, 이를테면 자연과학이나 사회과학은 모두 원인과 결과 사이의 인과관계를 밝히는 데 집중 하였다. 이러한 인과관계를 규명함으로써 앞으로 어떤 일이 발생하게 될지를 예측 하고자 하였다. 그러나 빅 데이터 과학은 인과관계를 추구하지 않는다. 왜냐하면 그렇게 하지 않아도 데이터만 충분하면 수학적 알고리즘을 사용해 상당히 높은 수학적 수준에서 미래를 예측할 수 있기 때문이다. 상관성만 파악할 수 있으면, 정확한 인과성을 알지 못한다 하더라도 앞으로 어떤 일이 발생할지, 소비자들이 어떻게 행동할 것인지를 예측할 수 있는 것이다. 이러한 이유에서 빅 데이터 과학은 왜 일정한 현상이 나타나는지 그 이유를 탐구하지 않는다. 그보다는 특정한 결과가 어떤 요소와 상관관계를 맺는지에 더 주목한다. 예를 들어, 구글은 독감과 관련된 다양한 검색어를 분석함으로써 언제 어느 지역에서 독감이 유행할 것인지를 예측하는 알고리즘을 만들었다. 그러나 이 알고리즘에서 중요한 것은 특정한 검색어와 독감의 유행 여부가 서로 상관성을 띠고 있다는 점이지, 왜 그 검색어가 독감의 유행 여부를 예측하게 해주는지에 대한 인과 관계는 아니다. 이 점에서 빅 데이터 과학은 한의학과 같은 동양의 전통적인 과학과 유사한 면을 지닌다. 왜냐하면 한의학 역시 인과관계를 추구하기보다는 상관관계를 추구하는 학문이라고 말할 수 있기 때문이다. 그런데 여기서 눈여겨 볼만한 점은, 빅 데이터 과학을 통해 획득하는 새로운 통찰은 주로 상관성에 기반을 둔 예측이라는 것이다. 이 때 ‘상관성’(correlation)이란 “두 데이터 값 사이의 통계적 관련성을 수량화한 것”을 말한다. 빅 데이터 과학은 빅 데이터를 분석함으로써 획득한 상관성을 바탕으로 하여 미래에 어떤 일이 발생할 것인지를 통계적으로 예측한다. 이를테면 구글은 검색어를 활용해 앞으로 언제 어떤 지역에서 독감이 발생할 것인지를 예측한다. 월마트는 허리케인이 엄습하게 되면 팝타르츠 판매가 증가할 것이라고 예측한다. 아마존은 일정한 고객이 특정한 책을 구입하면 이와 연관된 다른 책도 구입할 가능성이 높다고 예측한다. 심지어 월마트와 더불어 미국의 대표적인 유통업체인 타깃은 고객들의 구매패턴 데이터를 대규모로 수집해 분석함으로써 부모보다도 먼저 딸의 임신 여부를 정확하게 예측하기도 하였다.