빅 데이터의 등장 배경, 정의 및 핵심 구성 요소와 데이터화의 개념 doc_id PCY_201509210500089561_3

그러면 이러한 빅 데이터 또는 빅 데이터 과학은 구체적으로 어떤 배경에서 등장한 것인가? 이에 대해서는 크게 두 가지 배경을 언급할 수 있다. 사회적 배경과 과학기술적 배경이 그것이다. 우선, 사회적 배경으로서 사회구조가 변화함으로써 사회적 소통이 급속도로 증가했다는 점을 언급할 수 있다. 이는 이미 앞에서 현대사회의 구조적 특징으로 지적한 정보화 사회와 밀접한 관련을 맺는다. 오늘날 개인용 컴퓨터가 도입되고 인터넷과 SNS가 등장하면서 현대사회가 정보화 사회로 접어들었다. 이로 인해 사회 전체적으로 사회적 소통이 증가하고 이에 비례하여 각 개인의 정보가 공적 공간이나 사이버 공간에서 노출되는 경우가 빈번해지게 되었다. 그 결과 오늘날 매일매일 생성되는 데이터의 양은 그 어느 때와 비교할 수 없을 정도로 비약적으로 늘어 나고 있다. 물론 이렇게 사회적 소통이 증가하게 된 데에는 아래에서 언급하는 정보통신기술의 발전과도 무관하지 않다. 하지만 빅 데이터 기술이 등장하면서 양상은 완전히 달라졌다. 특히, 우리나라는 국가정보화 정책을 강력하게 추진한 결과 현재 상당한 수준의 정보통신 인프라를 갖추고 있어서 다양한 분야에서 빅 데이터를 경쟁적으로 도입하고 있다. 빅 데이터가 등장하면서 데이터에 대한 재발견이 이루어지고 있다. 즉, 데이터는 엄청난 경제적 사회적 가치를 가지고 있는 새로운 원천이자 생산을 위한 기본적 요소가 되어 왔다. 데이터 마이닝과 분석방법, 컴퓨팅 능력과 데이터 저장능력의 급속한 발전은 규모적 측면에서 기업과 정보를 위해 유용한 정보의 범위를 팽창시켜왔다. 데이터는 구조화된 데이터베이스에 한정되지 않고 존재하는 정보에 대한 상관관계와 그에 대한 새롭고 예상치 못한 사용에 대한 구상을 식별해 낼 연구진의 능력을 높이는데 있어서 가공되지 않은 형식으로도 유용하다. 데이터는 세계경제, 개혁, 생산성, 효율성과 성장에 대해 막대한 가치를 부여하고 있다. 저장매체 기술의 발전으로 기업과 정부 조직에 수집되고 저장된 데이터의 규모는 폭발적으로 증가해 왔기 때문에 이러한 현상이 가능하다. 이러한 시류는 정보저장비용의 감소와 현대적 실험기술의 사용, 관측과 종적 연구, 대규모 시뮬레이션을 사용하는 비구조화된 정보 분석 능력의 증가와 맞물려서 이루어진 것이다. 위에서 인용한 개념정의에서는 빅 데이터가 산출하는 새로운 통찰이나 새로운 가치 또는 이에 연계되는 사회적 변화를 부각시킨다. 이와 유사하게 우리의 ‘국가 정보화전략위원회’에서는 “대용량 데이터를 활용, 분석하여 가치 있는 정보를 추출하고, 생성된 지식을 바탕으로 능동적으로 대응하거나 변화를 예측하기 위한 정보화 기술”이라고 정의한다. 이와 유사한 맥락에서 새로운 비즈니스의 관점에서 빅 데이터를 정의하기도 한다. 예를 들어, 일본 총무성은 빅 데이터를 “사업에 도움이 되는 지식을 도출하는 데이터”라고 정의한다. 이의 연장선상에서 빅 데이터 비즈니스를 “빅 데이터를 이용하여 사회･경제적 문제를 해결하고, 업무의 부가가치 향상을 행하거나 또는 지원하는 사업”이라고 정의한다. 이러한 개념정의는 빅 데이터의 유용성을 비즈니스에 집중시킨 것이라고 말할 수 있다. 이렇게 과학적･기술적 관점에서 빅 데이터를 정의하면, 빅 데이터와 빅 데이터 과학 사이의 개념적 차이는 사라진다. 위 두 가지 방식 중에서 양적 관점과 과학적･기술적 관점을 종합한 방식에 따라 빅 데이터를 정의하고자 한다. 이에 따르면 빅 데이터는 다음과 같이 정의내릴 수 있다. 즉 “빅 데이터”란 과거와는 비교할 수 없을 정도로 그 규모가 방대하고, 생성속도도 매우 빠르며, 매우 다양하고 이질적인 데이터를 기반으로 하여 새로운 통찰이나 새로운 가치를 창출하고 이를 통해 사회구조의 변화를 야기하는 것의 총체를 말한다. 이렇게 빅 데이터 개념을 정의하면, 이로부터 아래와 같은 개념요소를 추출할 수 있다. 첫째, 빅 데이터는 그 이전과는 비교할 수 없을 정도로 그 규모가 방대한 데이터를 대상으로 한다. 예를 들어, 가장 대표적인 인터넷 기업인 구글은 하루에 24페타바이트의 데이터를 처리한다. 이는 미국 의회도서관이 소장하고 있는 인쇄물 전체의 수천 배에 해당할 만큼 엄청난 양이다. 이는 빅 데이터를 3Vs로 정의할 때 ‘크기’(volume)에 해당하는 요소이다. 셋째, 빅 데이터는 아주 다양하고 이질적인 데이터를 그 대상으로 한다. 이는 3Vs 가운데 ‘다양성’(variety)에 해당한다. 전통적으로 데이터는 문서와 같은 텍스트로 이루어진 데이터를 의미하였다. 그렇지만 오늘날에는 이러한 텍스트 데이터와는 다른 데이터들, 가령 사진이나 동영상 같은 비텍스트 데이터들이 엄청나게 증가하고 있다. 이질적이고 다양한 데이터들이 폭증하고 있는 것이다. 빅 데이터는 바로 이렇게 이질적이고 다양한 데이터를 모두 포괄한다. 이뿐만 아니라, 빅 데이터는 정확하지 않은 들쭉날쭉한 데이터도 포괄한다. 일부의 샘플을 분석함으로써 전체를 추론하는 통계학에서는 어쩔 수 없이 샘플의 정확성을 획득하기 위해 노력한다. 이에 반해 빅 데이터 과학은 정보의 정확성을 엄격하게 추구하지는 않는다. 왜냐하면 개별 정보가 정확하지 않다 하더라도 정보의 양이 압도적으로 많아지면, 불완전한 정보의 질적 한계를 넘어설 수 있기 때문이다. 완전하지만 소규모인 샘플에서는 볼 수 없었던 새로운 지혜를, 불완전하지만 그 양이 압도적인 빅 데이터에서는 발견할 수 있는 것이다. 이에 대한 좋은 예를 구글의 번역프로그램에서 찾을 수 있다. 빅 데이터의 관계구조는 말 그대로 빅 데이터를 중심으로 하여 구축된다. 빅 데 이터의 관계구조에 참여하는 주체는 모두 빅 데이터와 무관하지 않다. 그러나 빅 데이터를 중심으로 하여 형성되는 관계구조를 더욱 면밀하게 들여다보면, 각 관계의 중심, 즉 키워드가 조금씩 달라진다는 점을 알 수 있다. 이 데이터를 압축해서 정식화하면, 각각 ‘데이터’, ‘기술’, ‘아이디어’라고 말할 수 있다. 이 핵심어들은 빅 데이터의 처리과정과 무관하지 않다. 위에서 살펴본 것처럼, 빅 데이터를 처리하기 위해서는 크게 세 단계 과정을 밟아야 한다. 먼저 데이터를 수집해야 하고, 나아가 이렇게 수집한 데이터를 분석해야 하며, 마지막으로 이러한 데이터 분석을 활용해 새로운 가치나 통찰을 얻어야 한다. 세 가지 키워드 중에서 데이터는 데이터 “수집”과, 기술은 데이터 “분석”과 그리고 새로운 가치나 통찰은 “아이디어”와 관련을 맺는다. 이를 아래에서 구체적으로 검토하도록 한다. 정보만으로는 빅 데이터 과학이 제대로 작동할 수 없다. 정보는 일정한 가공과정을 거쳐 데이터로 전환되어야 한다. 그렇게 해야만 비로소 정보가 빅 데이터 과학에 의해 관리･분석될 수 있다. 여기서 정보를 데이터로 전환하는 것을 ‘데이터화’라고 부를 수 있을 것이다. 그러면 데이터화란 구체적으로 무엇을 뜻하는가? 본래 라틴어에 어원을 둔 ‘데이터’라는 개념은 ‘사실’(fact)로서 ‘주어지는’(given) 것을 뜻한다. 이렇게만 보면 데이터와 사실 또는 정보는 개념적으로 차이가 없다. 따라서 빅 데이터 과학에서 의미하는 데이터는 이보다 더욱 넓은 개념적 외연을 갖고 있어야 한다. 이러한 맥락에서 쇤베르거와 쿠키어는 데이터란 “기록되거나 분석되거나 재정리할 수 있는 어떤 것”을 뜻한다고 말한다. 이의 연장선상에서 데이터화란 “표로 만들고 분석이 가능하도록 그 현상을 수량화된 형태로 만든다”는 것을 말한다. 여기서 데이터화에 관한 두 가지 핵심적인 표지 또는 전제조건을 발견할 수 있다. ‘기록화’와 ‘수량화’가 바로 그것이다.