문맥 (context)
본고는 텍스트 마이닝의 주요 방법론 및 경제 분석의 활용 사례를 소개하는 것을 목 적으로 한다. 언어 특유의 다의성과 비정형성에도 불구하고 텍스트로부터 수치화된 정보를 추출해 내는 텍스트 마이닝을 활용할 경우 새로운 데이터를 만들거나 기존의 데이터를 보완할 수 있고, 기존 방법론으로 분석이 어려웠던 주제들에 대한 연구도 가능하다. 빅데이터와 전산 기술의 발전으로 텍스트 마이닝 방법론은 빠르게 발전하 고 있으며 이미 학계, 산업계, 정부 부문에서 활발하게 연구되고 이용되고 있다. 기 존 데이터 및 방법론을 보완함과 동시에 새로운 정보를 제공하는 방법론으로 텍스트 마이닝의 수요는 더욱 증대될 것으로 기대한다.
위에서 살펴 본 텍스트 마이닝의 폭넓은 활용 가능성이 있지만 몇 가지 제약을 염두에 둘 필요가 있다. 텍스트 데이터는 일부 서베이 자료에 비해 비용이나 효율성 측면에서 우월한 정보의 원천도 될 수 있다. 그럼에도 불구하고 텍스트 데이터와 전통적인 구조화 데이터와의 완전 대체관계는 존재하지 않는다. 텍스트 데이터가 근본적으로 사람이 알고 있는 지식과 의견의 발현이라는 점에서, 사람의 생각을 거칠 필요가 없는 객관적 자료의 경우 기존대로 측정하는 방식의 통계자료들이 더 적합한 정보를 제공하기 때문이다. 일례로 GDP와 같은 통계를 텍스트 데이터를 집계하여 편제할 수는 없다. 따라서 텍스트 데이터는 구조화된 자료를 보완하거나 구조화된 자료와 함께 분석에 활용될 때 효용이 높을 수 있다. 즉 대체 가능성과 보완성을 고려하여 적절한 방법론을 선택할 필요가 있다.보다 큰 범위의 문제로는 최근 활발하게 이용되고 있는 인공신경망 또는 딥러닝을 포함해서 머신러닝 방법론에 공통적으로 적용될 수 있는 한계로 검증을 위한 통계적 방법론이 부족하다는 점이다. 텍스트 데이터의 확률위에서 살펴 본 텍스트 마이닝의 폭넓은 활용 가능성이 있지만 몇 가지 제약을 염두에 둘 필요가 있다. 텍스트 데이터는 일부 서베이 자료에 비해 비용이나 효율성 측면에서 우월한 정보의 원천도 될 수 있다. 그럼에도 불구하고 텍스트 데이터와 전통적인 구조화 데이터와의 완전 대체관계는 존재하지 않는다. 텍스트 데이터가 근본적으로 사람이 알고 있는 지식과 의견의 발현이라는 점에서, 사람의 생각을 거칠 필요가 없는 객관적 자료의 경우 기존대로 측정하는 방식의 통계자료들이 더 적합한 정보를 제공하기 때문이다. 일례로 GDP와 같은 통계를 텍스트 데이터를 집계하여 편제할 수는 없다. 따라서 텍스트 데이터는 구조화된 자료를 보완하거나 구조화된 자료와 함께 분석에 활용될 때 효용이 높을 수 있다. 즉 대체 가능성과 보완성을 고려하여 적절한 방법론을 선택할 필요가 있다. 보다 큰 범위의 문제로는 최근 활발하게 이용되고 있는 인공신경망 또는 딥러닝을 포함해서 머신러닝 방법론에 공통적으로 적용될 수 있는 한계로검증을 위한 통계적 방법론이 부족하다는 점이다. 텍스트 데이터의 확률적 표상만 하더라도 학습 결과의 강건성 등에 대한 통계적 유의성 등을 검증할 대안이 마련될 필요가 있으며, 머신 러닝으로 구축한 감성사전의 경우에도 학습된 사전을 검증할 기준을 엄밀히 설정할 필요가 있다. 추가적으로 분야에 따라 텍스트 데이터를 구축하는데 많은 시간이 소요될 수 있다는 점은 연구자들에게 부담이 될 수 있다. 이런 제약에도 불구하고 텍스트 마이닝은 기존 경제학의 분석범위를 더욱 넓혀줄 뿐만 아니라 절대적으로 부족한 자료의 한계를 극복하는데 도움이 될 수 있다. 게다가 빅데이터의 출현과 인공지능 기술 발전에 힘입어 최근 들어 새로운 정보의 원천으로 인식되고 있다. 경제학은 경제 활동을 연구하는 사회과학 분야로 자연과학과 달리 자연실험에 의해 데이터를 구하기 어렵다. 게다가 데이터의 이면에 있는 경제주체의 기대변화, 심리변화는 수치화된 통계자료로 식별하는 것은 경제학의 오랜 과제가 되어왔으며 상대적으로 강한 가정에 기반한 이론을 통해 식별을 시도해 오고 있다. 이런 맥락에서 볼 때 텍스트 마이닝은 새로운 데이터, 또는 기존의 데이터를 보완할 수 있기 때문에 앞으로도 경제학 분야에서 그 활용도가 점점 커지리라 기대한다.
지시문 (instruction)
주어진 원문을 읽고 필요한 정보를 파악하여, 원문에 근거해 질문에 답하라.
질문 (question)
텍스트 데이터를 활용하여 경제 분석을 수행할 때, 기존의 구조화된 통계 자료와 어떤 방식으로 병행하거나 활용하는 것이 효용이 높은가?
추론 과정 (compact_reasoning)
-
1과제 해석
task_interpretation텍스트 데이터와 구조화된 데이터 간의 관계 및 효과적인 활용 방법에 대해 묻는 질문이다.
-
2정보 추출
information_extraction텍스트 데이터가 구조화된 데이터와 완전한 대체 관계가 아님을 파악한다.
- 텍스트 데이터와 전통적인 구조화 데이터와의 완전 대체관계는 존재하지 않는다.
-
3근거 선택
evidence_selection텍스트 데이터의 특성(사람의 지식과 의견 발현)과 구조화된 데이터의 적합성(객관적 자료 측정)을 비교한다.
- 텍스트 데이터가 근본적으로 사람이 알고 있는 지식과 의견의 발현이라는 점에서, 사람의 생각을 거칠 필요가 없는 객관적 자료의 경우 기존대로 측정하는 방식의 통계자료들이 더 적합한 정보를 제공하기 때문이다.
-
4논리 통합
logical_integration두 데이터의 상호 보완적 관계를 도출한다.
- 따라서 텍스트 데이터는 구조화된 자료를 보완하거나 구조화된 자료와 함께 분석에 활용될 때 효용이 높을 수 있다.
-
5결론 도출
conclusion_formulation대체보다는 보완 및 병행 분석의 관점에서 방법론을 선택해야 한다는 결론을 도출한다.
- 즉 대체 가능성과 보완성을 고려하여 적절한 방법론을 선택할 필요가 있다.
-
6답변 생성
answer_generation질문에 대해 보완적 활용 방안을 중심으로 답변을 작성한다.
- 텍스트 데이터는 구조화된 자료를 보완하거나 구조화된 자료와 함께 분석에 활용될 때 효용이 높을 수 있다.
최종 답변 (final_answer)
텍스트 데이터는 구조화된 자료와 완전한 대체 관계에 있지 않으므로, 구조화된 자료를 보완하거나 구조화된 자료와 함께 분석에 활용할 때 효용이 높다. 따라서 연구자는 대체 가능성과 보완성을 고려하여 적절한 방법론을 선택해야 한다.
핵심 해석 (core_interpretation)
텍스트 데이터는 구조화된 데이터와 완전한 대체 관계에 있지 않으므로 구조화된 자료를 보완하거나 함께 분석에 활용할 때 효용이 높으며 대체 가능성과 보완성을 고려하여 적절한 방법론을 선택해야 한다.