한의학 고문헌 데이터 분석을 위한 단어 임베딩 기법 비교: 자연어처리 방법을 적용하여 document_id A220623199848

본 연구의 목적은 동아시아 전통의학 텍스트를 데이터로서 분석할 때 적절한 단어 임베딩 방법을 선택하는데 도움을 주기 위한 것이다. 동아시아 전통의학의 치법을 함축하고 있는 방제 데이터를 대상으로 하여, 카운트 기반 단어 임베딩 방식 4가지와 예측 기반 단어 임베딩 방식 2가지를 적용하였다. 단어 임베딩 결과를 직관적으로 비교하기 위해 "방제 생성 게임"을 제안하였고, 그 결과를 가지고 단어 임베딩 결과를 비교해 보았다. 인접한 벡터를 추출 하였을 때, 카운트 기반 단어 임베딩 방식은 서로 자주 함께 사용되는 약대 관계에 있는 본초들이 도출되었다. 이에 반해, 예측 기반 단어 임베딩 방식에서는 유의어 관계의 본초들이 도출되었다. 서로 함께 등장하는 본초를 이용하는 분석에서는 카운트 기반 단어 임베딩 방식이 더 효과적일 것으로 보인다. 이 가운데 TF 벡터 방식은 빈도의 효과가 과장되는 경향이 있으므로 TF-IDF 벡터나 벡터가 좀 더 합리적인 선택이 될 수 있다. 또한 빈도에서 찾을 수 없었던 색다른 정보를 탐색하기 위해서는 벡터와 같은 방법이 권장될 수 있을 것이다. 반면 문맥에서 유사한 의미의 본초를 도출할 때에는 예측 기반 임베딩 방식이 효과적일 것으로 보인다. 동아시아 전통의학에서는 고문헌이라고 하는 텍스트로 이루어진 방대한 양의 데이터가 존재한다. 그간 이러한 텍스트는 의학을 익히는 이들이 반복해서 읽고 깨달아야 할 대상으로만 여겨져 왔다. 그러나 오늘날 인터넷을 통해 대량의 텍스트 데이터가 생겨나면서 비정형 데이터인 텍스트를 분석하여 인간에게 유용하게 사용하고자 하는 시도들이 늘어나고 있다. 따라서 충분한 양의 데이터가 준비된다면 전통의학의 문헌들도 이러한 방식을 적용하여 암묵적이었던 지식들을 명시적으로 표현하거나, 잘 드러나지 않았던 정보들을 찾아내는 데 활용할 수 있을 것이다. 텍스트를 분석하기 위해서는 텍스트를 컴퓨터가 이해할 수 있는 형태로 변환시켜주는 단어 임베딩이 선행되어야 한다. 텍스트의 단어들은 단어 임베딩 과정을 거쳐 실수로 이루어진 고차원 벡터로 매칭되게 된다. 본 연구에서는 자연어처리 분야에서 사용되고 있는 단어 임베딩 방법을 동아시아 전통의학 데이터에 적용해 보고 그 결과를 비교해 보았다. 향후 전통의학 텍스트를 분석할 때 분석 목적에 맞는 적절한 방법을 선택하는 데 도움을 주기 위해서이다. 본 연구에서는 동아시아 전통의학의 치법을 함축하고 있는 방제 데이터를 대상으로 하여, 카운트 기반 단어 임베딩 방식 4가지와 예측 기반 단어 임베딩 방식 2가지를 적용하여 각각의 단어 임베딩 결과를 도출하였다. 자연어처리 기법에서 문서와 단어는 대상 데이터에서 방제와 본초로 각각 병치시켜 적용하였다. 단어 임베딩 결과를 직관적으로 비교하기 위해 " 방제 생성 게임"을 제안하였고, 그 결과를 가지고 단어 임베딩 결과를 비교해 보았다. 인접한 벡터를 추출하였을 때, 카운트 기반 단어 임베딩 방식은 자주 함께 사용되는 ‘인삼 백출’, ‘당귀 천궁’ 등 약대 관계에 있는 본초들이 도출되었다. 이에 반해, 예측 기반 단어 임베딩 방식에서는 ‘감초 자감초’, ‘복령 백복령’ 등 유의어 관계의 본초들이 도출되었다. 한편, 단어 임베딩은 기본적으로 단어의 빈도를 출발점으로 삼기 때문에 빈도가 높은 단어가 두드러지게 나타날 수 있다. 본 연구 결과에서도 이러한 점을 확인할 수 있었다. TF 벡터의 경우 빈도가 가장 높은 감초의 영향이 높게 평가되는 경향을 보였고, TF IDF 벡터 방식이나 co-word 벡터 방식에서도 이러한 효과가 어느 정도 관찰되었다. t-score의 경우는 오히려 빈도의 영향을 낮게 평가하여 낯선 결과들이 도출되기도 하였다. 어떤 임베딩 방식이 우월하다고 단정하기보다는 분석하는 목적에 따라 단어 임베딩 방식을 선택해야 할 것으로 보인다. 예를 들어, 처방 데이터에서 특정 병증에 사용된 유의미한 약대를 도출하는 등 함께 사용된 본초가 중요한 의미를 지니는 경우에는 카운트 기반 단어 임베딩 방식이 효과적일 것으로 보인다. 이 가운데 TF 벡터 방식은 빈도의 효과가 과장되는 경향이 있으므로 TF IDF 벡터나 co-word 벡터가 좀 더 합리적인 선택이 될 수 있다. 반면, 이미 알려진 조합 외에 특수한 약재 조합을 탐색하거나, 동일한 처방에서 즐겨 사용되지 않았던 본초 사이의 관계를 검토해야 할 때에는 빈도의 영향이 적은 t-score 벡터와 같은 방법이 권장될 수 있을 것이다. 또한 동의어나 유의어 관계에 있는 본초를 추출해 내거나 주변 본초와의 맥락 속에서 약효가 유사한 본초를 추정하기 위한 목적일 경우에는 예측 기반 임베딩 방식이 효과적일 것으로 보인다. 본 연구는 한의학 고문헌에서 방제 데이터만을 사용하였고, 빈도가 높은 본초에 대한 결과만을 비교하였다. 이를 통해 단어 임베딩이 가지는 특성을 어느 정도 비교할 수 있었으나 이를 한의학 고문헌 전체로 일반화하기에는 부족함이 있다. 이에 대해서는 후속 연구를 기대한다.