제4차 산업혁명 기술과 지식재산권

빅 데이터를 처리하기 위해서 각각의 소스 데이터를 분산 저장하게 된다. 분산 저장된 데이터는 각각의 노드에서 처리된 뒤, 하나의 데이터로 통합되어 중앙서버에 전달된다. 이때 데이터를 분산 저장하고 읽기를 위해서는 별도의 분산 파일 시스템이 필요하게 되는데, 현재 가장 많이 사용되는 빅 데이터 분산처리 파일 시스템은 하둡 분산 처리 파일 시스템(HDFS, Hadoop Distributed File System)을 들 수 있다. 분산된 각각의 데이터는 각 노드에 존재하는 익명화 프로그램에 의해 익명화가 진행 된다. 이때 익명화 프로그램은 맵(Map)코드 형태로 배포가 되며, 처리된 결과는 리듀서(Reducer)에 의해 정렬된 후 서버에 전달된다. 또한 데이터를 익명화하기 전에 의미 중의성을 해소하기 위해 별도의 중의성 해결 알고리즘이 적용 된다. 빅 데이터는 그 크기가 방대하여, 기존처럼 하나의 서버나 하드 디스크에 모두 저장하여 보관하거나 처리할 수 없기 때문에, 주로 여러 대의 컴퓨터에 나누어서 저장하는 분산 저장 방식이 사용된다. 이 방식에서는 빅데이터를 일정한 크기(예를 들어, 64MB)의 조각(블록)으로 나눈 후, 이를 서로 다른 컴퓨터에 분리해서 저장한다. 이렇게 저장하는 것의 문제점은 하나의 블록이라도 문제가 생겨 사라질 경우, 전체 데이터에 문제가 생긴다는 점이다. 이러한 문제점을 해결하기 위해서, 분산 저장 방식에서는 하나의 동일한 블록을 여러 개 복사해서 다른 컴퓨터에 중복 저장하는 데이터 복제 기법이 사용된다. 이렇게 함으로써, 데이터 조각이 저장된 서버가 고장 나면, 다른 서버에서 필요한 데이터 조각을 가져와서, 데이터에 대한 신뢰성을 보장한다. 빅 데이터를 분산 저장할 경우 데이터 조각이 저장된 컴퓨터의 용량이 모자라거나 저장할 컴퓨터가 부족할 경우, 저장할 컴퓨터를 새로 발굴하고 추가해서, 저장 용량을 늘려 주어야 한다. 새로운 컴퓨터가 추가된 후에는 기존 컴퓨터의 용량은 모두 차 있고 새로 추가된 컴퓨터에는 데이터가 하나도 저장되어 있지 않은 상태가 된다. 사회 연결망 분석은 분석 대상 데이터에서 개체들(인물 또는 제품)을 선정한 후, 이들 관계를 연결망(네트워크)으로 구성하여 특정 개체의 전체관계 및 영향력 등을 찾아내는 빅 데이터 분석 기법이다. 여기서 개체란 분석의 대상이 되는 회사의 제품이나 SNS 상에서의 인물 등이 될 수 있다. 일반적으로 분석 대상간의 연관성은 데이터 마이닝 기법 중 확률기반 연관 규칙 기법을 이용해서 찾아낼 수도 있지만, 이 방법은 한 데이터와 또 다른 데이터의 직접적인 연관 관계만 표현할 수 있을 뿐, 두 단계 또는 세 단계 이상의 관계성을 잘 표현하지 못한다. 사회 관계망 분석에서는 두 단계 이상의 연관 관계도 잘 표현할 수 있다. 사회 연결망 분석을 위한 지표(metric)로서 두 종류가 있다. 첫째, 연결망 결속 정도를 파악하기 위한 지표이다. 이 지표는 각 노드의 연결 개수(degree), 연결 거리(distance), 밀도(density), 포괄성(inclusiveness)등 있다. 자율학습에서는 지도 학습과 같이 동일하게 훈련용 데이터를 통해 학습을 수행하지만, 데이터에 대한 정답이 주어지지 않는다. 예를 들어, 다양한 수백 종류에 동물 사진들을 입력하고 이를 호랑이, 고래, 거북이 등으로 분류하는 작업을 생각해 보자. 비(非)지도 학습에서 각 사진이 호랑이인지 고래인지 거북이인지 컴퓨터에 알려주지 않는다. 사진에 나와 있는 동물들의 특징을 분석해서 비슷한 것끼리 분류만 해놓을 뿐이다. 이때, 컴퓨터는 분류해 놓은 사진이 어떤 동물인지 알지 못한다. 비슷한 것끼리 분류할 때, 데이터 간의 거리를 계산하여 값의 차이가 적은 것끼리 분류해 놓는다. 학습이 잘 된 상태라면, 사진을 줬을 때, 호랑이, 고래, 거북 등을 잘 판별할 수 있지만, 훈련 데이터가 적거나 잘못된 입력 데이터를 사용하였을 경우에는 고래를 호랑이로 또는 거북이를 고래로 판별할 수도 있다. 따라서 이것은 컴퓨터가 알아서 데이터를 분류하고 의미 있는 값을 보여 주거나 데이터가 어떻게 구성되어 있는지 밝히는데 주로 사용되는 학습 방법이다. 자율학습은 계산을 반복하면서 가장 적합한 가중치 계수를 찾아내고 정답 정보가 없는 상태에서 학습을 통해 모델을 만들어 낸다. 비(非)지도학습을 사용하는 인공지능 알고리즘에는 군집화 기법이 있다. 구매 경향은 세 가지 특징에 대해서 분석 하였다. 연결 중심성 지표 값을 계산하여 제품에 대한 연관 구매 경향을 파악 하였다. 연관 구매란 다른 상품을 구입할 때 다른 제품을 함께 구입하는 경향성을 의미하며, 연관 구매 경향이 높은 제품을 함께 진열함으로써 제품이 매출이 증대될 수 있도록 한다. 연결 중심성 값이 높으면 다른 상품과 연결이 매우 많이 존재하므로 다른 상품 구입 시 같이 구매될 확률이 높다는 것을 알 수 있다. 두 번째는 매개 구매 경향을 파악하였다. 매개 구매 경향은 연결망에 있는 한 상품이 다른 상품을 구매하도록 하는 매개 역할의 정도를 나타내는 성질로서, 값이 비싼 상품은 다른 상품들과 가장 짧은 거리에 위치하여 다른 상품들의 구매에 큰 영향을 주는 상품임을 의미한다. 이 경향의 정도를 나타내는 값으로 매개 중심성(Betweenness Centrality) 지표 값을 사용하였다. 세 번째, 한 상품이 다른 상품에 얼마나 가까이 근접해서 있는가를 의미하는 중심 구매 경향을 파악하였다. 값이 비싼 상품은 전체 연결망에서 중앙에 있으며, 전체 매출에 높은 영향을 미치고, 온라인 쇼핑몰의 전체를 대표할 수 있는 상품인지 아닌지를 판단할 수 있게 한다. 중심 구매 경향을 파악하기 위해 근접 중심성 지표 값을 계산하여 나타내었다. 딥 러닝은 캐나다 토론토 대학의 제프리 힌튼 교수에 의해 처음 제안된 인공지능 기술이다. 이 기술에서도 기존에 이미 나와 있던 신경망을 사용한다. 제안된 기법에서는 기존에 신경망에서 문제가 되었던 부분을 데이터 전처리 과정을 통해 해결하였다. 딥 러닝이 등장하기 전에 문제가 되었던 부분은 신경망 기법에서 사용하는 최적화(Optimization) 알고리즘 적용 부분에서 발생한다. 최적화란 인공지능이 정답과 비슷한 여러 개의 답을 대입해 가며 최적의 해를 찾아가는 과정입니다. 이 과정에서의 문제점은 최적화 과정을 수행해서 나중에 값을 확인해 보면 정답이 아니라 오답이 나온 경우가 빈번히 발생한다는 것이었다. 이 문제를 힌튼 교수는 데이터 전처리 과정을 통해 해결하였다. 이 방법은 인공신경망의 각 층을 먼저 자율 학습(unsupervised learning)을 통해 잘 만들어 놓고 대량의 빅 데이터를 통해 오랫동안 학습시킨다. 대량의 데이터 학습은 수백개의 CPU가 집적된 슈퍼 컴퓨터의 등장으로 가능하게 되었다. 인공지능 컴퓨터는 문제 해결을 위해 다양한 컴퓨터 알고리즘을 사용한다. 잘 알려진 신경망 이론이나 퍼지 이론뿐만 아니라, 전문가 시스템(Expert System)과 같은 거대 판단체계, 기계학습(Machine Learning), 유전 알고리즘(Genetic Algorithm) 등이 활용된다. 최근 「알파고」라는 구글사의 인공지능 컴퓨터에 적용되어 뛰어난 성능을 구현한 딥러닝(Deep Learning) 기법도 관심을 끌고 있다. 대표적인 인공지능 컴퓨터로는 애플사의 「Siri」, IBM의 「딥마인드」, 구글 「알파고」, 구글 「딥드림」, 마이크로소프트의 「테이」, 삼성전자의 「빅스비」 등이 있다. 최근까지 대부분의 인공지능 컴퓨터들은 스마트기기에 적용되어 자연어를 처리하기 위한 용도로 사용되거나, 병명·상담 등 전문적인 컨설팅을 제공하기 위한 보조 수단으로 사용되고 있으나, 앞으로는 다양한 분야에 적용되어 혁신제품을 만들어 낼 것으로 예상한다. 인공지능 알고리즘이 진화해 인류를 뛰어넘는 초지능이 만들어지면 인류가 대항할 수 없는 수준까지 갈지도 모를 일이다.