한의학 고문헌 텍스트 분석을 위한 비지도학습 기반 단어 추출 방법 비교 document_id A220517025304

비지도학습 기반으로 동아시아 전통의학 텍스트에서 단어를 추출할 때 적절한 방법 선택을 돕고자 한다. 문자열에 순위를 부여하기 위해 본 연구에서는 외부경계값을 이용한 방법 1가지와 내부경계값을 이용한 방법 3가지, 그리고 이들을 조합한 방법 6가지 방법으로 테스트를 진행하였다. 위배 비율을 기준으로 한 경우, TS와 SL를 조합하여 곱한 값을 사용하였을 때 오류가 가장 적었고, CS를 단독으로 사용하였을 때 오류가 가장 컸다. 분절된 텍스트의 수를 가중치로 적용한 기준을 사용한 경우, SL을 사용하였을 때 결과가 가장 좋았고, BE를 단독으로 사용하였을 때 결과가 가장 좋지 않았다. 비지도학습 기반 단어 추출 방법은, 용어집이 준비되지 않은 상태에서 텍스트를 분석해야 할 때 사용할 수 있는 방법이다. 이 방법을 사용할 때에 SL 및 SL과 TS의 조합 방법을 우선 고려할 수 있다. 텍스트 형태의 비정형 데이터를 분석하기 위해서는 텍스트에서 분석의 최소 단위가 되는 토큰을 추출해 주어야 한다. 토큰은 일반적으로 해당 언어의 단어를 기준으로 한다. 그러므로 분석에 앞서 텍스트에서 단어를 추출하기 위한 방법이 마련되어야 한다. 단어 추출을 위해 가장 확실한 방법은 용어집을 사용하는 것이지만, 용어집 구축에는 많은 자원이 소요된다. 이런 경우 비지도학습 기반의 용어 추출 방법을 고려할 수 있다. 본 연구에서는 한의학 고문헌에 비지도학습 기반의 몇 가지 용어 추출 방법을 적용하고 그 성능을 비교해 보았다. 이를 위해 학습용 데이터로 한국한의학연구원에서 구축한 17,842,632자 규모의 한의학 고문헌 텍스트를 사용하였고, 실험용 데이터로는 870,540자 규모의 동의보감 텍스트 데이터를 사용하였다. 결과 검증을 위해서는 219,475건의 동의보감 표점 정보를 이용하였다. 본 연구에 순위 부여에 필요한 점수를 계산하기 위해 외부경계값을 이용한 방법 1가지와 내부경계값을 이용한 방법 3가지, 그리고 이들을 조합한 방법 6가지 방법으로 테스트를 진행하였다. 그 결과 표점이 서로 위배된 비율을 기준으로 한 경우, TS와 SL를 조합하여 곱한 값을 사용하였을 때 오류가 가장 적었고, 분절된 텍스트의 수를 가중치로 적용한 기준을 사용한 경우, SL을 사용하였을 때 결과가 가장 좋았다. 본 연구는 평가용 데이터를 확보할 수 없는 상태에서 텍스트가 분절된 지점이 동의보감 표점 부분과 위배되는지만 검토하였다. 그러므로 분절되지 않아야 할 곳에서 분절되었는지에 대해서는 적절하게 평가할 수 없다는 한계를 지닌다. 그러나 한의학 고문헌 텍스트 분석을 위해 비지도학습 기반 단어의 추출 방법을 고찰하였다는 점에서 의의를 찾을 수 있다.