항공분야 빅데이터의 정책적 활용방안 연구

텍스트 마이닝 분석을 위해 이용할 수 있는 대상으로 논문, 정책연구보고서, 뉴스 기사, 입찰정보 등 다양한 정보 원천이 존재하지만, 본 연구에서는 논문 및 정책연구보고서를 활용하였다. 뉴스 데이터의 경우 저작권 이슈가 존재하며, 웹상의 다양한 데이터 원천으로부터 데이터를 크롤링하여 통일된 형식으로 표준화하는 것 등의 어려움 등과 같은 한계점이 존재하였다. 논문의 경우, 저자, 연도, 초록, 키워드 등 정형화된 항목으로 구성되어 있어 분석이 비교적 용이하다. 정책연구보고서의 경우에는 기관의 특성에 따라 원문이 비공개, 관련 정보에 대한 항목이 상이한 경우가 있어 데이터 수집에 한계가 있었다. 따라서 제목, 초록 등 정책연구별 요약 정보를 분석에 활용하였다. 따라서 제목, 초록 등에 ‘항공’이라는 키워드를 검색하여 해당 키워드가 포함된 논문을 추출하였다. 검색 키워드는 해당 도메인에 일반적인 단어를 선정하거나 전문가가 선택하며, 데이터 분석 목적과 검색된 데이터의 관련성을 고려하여 선정하였다. 본 연구는 항공 분야의 전반적인 트렌드를 분석하는 것을 분석 목적으로 하였기 때문에 ‘항공’이라는 검색 키워드를 선정하였으며, 추후 항공 내 세부적인 분야에 대한 트렌드 분석을 위해서는 더욱 더 세밀한 키워드를 선정하기 위한 사전 검토가 필요하다. 추출된 데이터를 바탕으로 특정 분석·처리 기술을 통한 빅데이터 분석을 수행하는 단계이다. 분석하고자 하는 대상은 항공 관련 전문 자료인 논문 및 정책연구 보고서이며, 데이터의 형태는 PDF, 워드 프로세스 등 텍스트로 이루어져 있다. 이러한 텍스트 형태의 데이터를 분석하기 위해 빅데이터 분석 기법 중 텍스트 마이닝을 채택하였다. 형태소 분석을 포함한 텍스트 전처리 단계를 실시한 후, 텍스트 문서 집합 내에 잠재된 주제를 도출하는 기법인 토픽분석과 추출된 토픽에 대하여 시계 열적으로 살펴보는 트렌드 분석을 수행하였다. 토픽분석은 문서 집합 내에서 동시출현빈도(Co-occurence Frequency)가 높은 단어들을 기준으로 유사한 주제로 문서들을 그룹화하였다. 하나의 토픽은 한 개 이상의 키워드의 집합으로 표현되며, 개별 문서가 하나의 주제에만 해당하는 것이 아니라 여러 주제를 다룰 수 있다는 점을 가정하고 있어 대량의 문서에 대해 전반적인 주제를 추출하는데 유용하게 사용되었다. 항공 관련 논문으로부터 추출된 토픽의 의미는 키워드의 집합으로 파악할 수 있으며, 문서집합 내에서의 해당 토픽에 대한 출현 빈도는 토픽이 의미하고 있는 개념(Concept)에 대한 관심도를 반영한다고 볼 수 있다. 이러한 관심도를 산출함으로써 해당 개념에 대한 트렌드 분석이 가능해지며, 더 나아가 핵심 유망분야의 도출이 가능하다. 항공 트렌드 분석을 위한 분석 접근 방식으로 두 가지가 존재한다. 첫 번째는 상향식 접근 방식(Top-down approach)으로 최종 토픽을 선정한 후 연도별 추이를 분석하는 것이다. 전체 데이터에서 토픽을 추출한 후, 연도별로 동일한 토픽에 대해 빈도 기반의 추이 분석을 실시하여 증가 또는 감소하는 토픽을 추출할 수 있다. 두 번째는 하향식 접근 방식(Bottom-up approach)으로 시대별로 토픽을 추출하여 추이를 분석하는 것이다. 이 방법은 시대별로 차별화되는 토픽을 쉽게 파악할 수 있지만, 과거로부터 현재에 이르기까지의 토픽 발생 추이를 살펴보기 어렵다. 따라서 본 연구에서는 두 가지 접근 방식 중 상향식 접근 방식(Top-down approach)을 수행하여 항공산업에 대한 트렌드 분석을 실시하여 연도별로 동일한 토픽에 대한 트렌드를 파악하였다. 텍스트 전처리 작업 단계를 수행한 후에는 텍스트 내에 숨겨져 있는 패턴 및 경향 분석이 가능하도록 의미 있는 단어를 선별해야 한다. 단어 필터링(Filtering)을 위하여 분석 대상 최소 문서 수 결정, 불용어(Stopword) 처리, 어간 추출(Stemming), 키워드별 가중치 산출 등의 작업을 수행한다. 먼저, 해당 키워드를 포함한 문서의 수가 최소 n개 이하인 경우에 제거한다. 해당 키워드를 포함한 문서의 수에 대한 정해진 규칙은 없기 때문에 실험을 통하여 결정한다. 정관사와 같이 의미 파악이 어려운 단어 및 해당 도메인에서 사용되지 않는 단어 등을 불용어로 처리한다. 또한, 어간(Stem) 파악을 통해서 동일한 어간을 가지고 있는 단어는 하나의 단어로 처리하여 텍스트 처리의 효율성을 높인다. 앞서 처리된 텍스트 데이터를 의미 정보로 저장하기 위해 단순히 단어별 빈도를 이용하기보다는 정보 추출(Information Retrieval) 분야에서 범용적으로 사용되고 있는 TF-IDF(단어 빈도-역문서 빈도, Term Frequency-Inverse Document Frequency)를 고려하여 각 키워드별 가중치를 산출한다. 최종 선정된 의미 정보를 기반으로 문서를 분류하거나 군집화 하는 등의 정보를 재생산하는 단계이다. 비정형 텍스트 문서 집합이 분석 가능한 형태로 정형화되면, 인공신경망(Artificial Neural Network), 의사결정나무(Decision Tree), SVM(Support Vector Machine) 등 기존의 데이터 마이닝(Data Mining) 기법 등을 활용하여 문서를 분류(Classification)하거나 텍스트 군집분석 또는 토픽 분석을 통해 유사한 성격을 갖는 문서들을 군집화(Clustering) 한다. 텍스트 군집 분석 및 토픽 분석은 텍스트 문서 집합 내에 숨겨진 군집 또는 주제를 도출하는 기법으로 문서 집합 내에서 연관성, 즉 동시 출현 빈도가 높은 단어들을 기준으로 유사한 문서의 군집화를 수행한다. 기존의 텍스트 군집 분석은 개별 문서가 하나의 주제에만 해당된다는 것을 가정하기 때문에 대량의 문서에 대해 전반적인 주제를 추출할 수 없다는 한계점이 존재한다. 이에 반해, 토픽 분석은 복합적인 주제를 포함한 개별 문서가 여러 토픽을 다룰 수 있다는 점을 가정한다. 하나의 군집 또는 토픽은 여러 개의 키워드 집합으로 표현되고, 각 군집 또는 토픽에 대한 명명(Naming)은 연구자가 직접 판단해야 한다. 텍스트 군집분석을 위한 방법으로는 기댓값 최대화 알고리즘(Expectation-Maximization Algorithm), 계층적 응집 클러스터링( Hierarchical Agglomerative Clustering) 등이 있다. 토픽 분석의 시초가 된 방법은 잠재 의미 분석(Latent Semantic Analysis)이며, 이후 확률적 잠재 의미 분석(Probabilistic Semantic Analysis), 잠재 디리클레 할당(Latent Dirichlet Allocation) 등으로 발전되었다. 본 연구에서는 항공안전 및 사고조사 분석, 지연 및 결항 분석, 그리고 항공 산업 관련 트렌드 분석 분야에서 가능한 데이터를 탐색하고, 관련 데이터를 활용하여 빅데이터 분석을 수행하였다. 항공안전 및 사고조사 분석의 경우 기존의 정형화된 데이터에만 치중되었던 연구들의 한계를 극복하기 위해 빅데이터 분석 기법인 텍스트 마이닝을 적용하여 항공안전과 관련된 비정형 텍스트 데이터의 분석을 통해 항공사고를 유발할 수 있는 장애 요인들을 군집화하고 그 결과를 기반으로 향후 항공사고 조사 및 항공안전 데이터 축적의 기준을 제시했다는 점에서 의의가 있다. 지연 및 결항 분석의 경우 연관 규칙 분석 기법을 적용하여 항공기 비정상 운항을 일으키는 요인과 지연, 결항 여부 및 시간과의 연관관계를 분석해보고자 하였으나, 세분화되지 않은 항공기 지연 및 결항 데이터 관리 방식으로 인해 비정상 운항 요인 분석에서 한계점을 발견하고 이에 대한 시사점을 제시하였다. 항공산업 관련 트렌드 분석의 경우 빅데이터 분석 기반의 항공산업 핵심 이슈 도출 및 트렌드 분석에 관한 연구는 아직 초기 단계이기 때문에 비교적 정형화된 항목으로 구성되어 있고, 분석이 용이한 논문을 분석 대상으로 선정하였다.