가공데이터 · 한국어 지식관계

DeNERT: DQN과 BERT를 이용한 개체명 인식 모델 document_id A220623170227

분류
전기전자
라벨 상태 (label_status)
approved
문맥 (context)
본 논문에서는 새로운 구조의 개체명 인식 DeNERT 모델을 제안한다. 최근 자연어처리 분야는 방대한양의 말뭉치로 사전 학습된 언어 표현 모델을 활용하는 연구가 활발하다. 특히 자연어처리 분야 중 하나인개체명인식은 대부분 지도학습 방식을 사용하는데, 충분히 많은 양의 학습 데이터 세트와 학습 연산량이필요하다는 단점이 있다. 강화학습은 초기 데이터 없이 시행착오 경험을 통해 학습하는 방식으로 다른 기계학습방법론보다 조금 더 사람이 학습하는 과정에 가까운 알고리즘으로 아직 자연어처리 분야에는 많이 적용되지않은 분야이다. 아타리 게임이나 알파고 등 시뮬레이션 가능한 게임 환경에서 많이 사용된다. BERT는 대량의말뭉치와 연산량으로 학습된 구글에서 개발한 범용 언어 모델이다. 최근 자연어 처리 연구 분야에서 높은성능을 보이고 있는 언어 모델이며 많은 자연어처리 하위분야에서도 높은 정확도를 나타낸다. 본 논문에서는이러한 DQN, BERT 두가지 딥러닝 모델을 이용한 새로운 구조의 개체명 인식 DeNERT 모델을 제안한다.제안하는 모델은 범용 언어 모델의 장점인 언어 표현력을 기반으로 강화학습 모델의 학습 환경을 만드는방법으로 학습된다. 이러한 방식으로 학습된 DeNERT 모델은 적은 양의 학습 데이터세트로 더욱 빠른 추론시간과높은 성능을 갖는 모델이다. 마지막으로 제안하는 모델의 개체명 인식 성능평가를 위해 실험을 통해서 검증한다. 본 논문에서는 아타리 게임이나 알파고 등 게임 환경에서 많이 사용되는 강화학습 알고리즘인 구글의 DQN과 최근 자연어처리 연구 분야에서 높은 정확도를 보이며 많은 자연어처리 하위분야에서 높은 성능을 보이는 언어 표현모델인 BERT 두 모델을 이용한 DeNERT 개체명 인식 모델을 제안했다. 제안한 모델은 강화학습과 개체명 마스킹방식으로 조금 더 적은 데이터세트로 기존 모델보다 비슷하거나 약간 좋은 성능을 보였다. 개체명 인식의 경우에는 적은 개수의 개체명 범주, 즉 강화학습 모델의 행동이 유한하기 때문에 DQN을 적용할 수 있었지만, 다른 자연어처리 분야의 경우 이러한 방법을 적용하기 어렵다. 향후 연속적인 행동을 가진 문제에도 적용 가능한 강화학습 알고리즘인 A3C 알고리즘이나 Policy Gradient와 같은 알고리즘을 적용해 좀 더 다양한 자연어처리 분야에 강화학습 방법을 적용할 수 있을 것으로 기대한다.
지시문 (instruction)
주어진 원문을 읽고 필요한 정보를 파악하여, 원문에 근거해 질문에 답하라.
질문 (question)
제안된 DeNERT 모델이 강화학습과 개체명 마스킹 방식을 사용했을 때, 기존 모델과 비교하여 나타난 성능적 특징은 무엇인가?
추론 과정 (compact_reasoning)
  1. 1과제 해석task_interpretation

    DeNERT 모델의 실험 결과로서 기존 모델 대비 성능적 특징을 묻는 질문임을 파악한다.

  2. 2정보 추출information_extraction

    DeNERT 모델의 학습 방식과 그에 따른 성능 결과를 추출한다.

    • 제안한 모델은 강화학습과 개체명 마스킹방식으로 조금 더 적은 데이터세트로 기존 모델보다 비슷하거나 약간 좋은 성능을 보였다.
  3. 3근거 선택evidence_selection

    기존 모델과의 비교 결과가 명시된 구절을 선별한다.

    • 기존 모델보다 비슷하거나 약간 좋은 성능을 보였다.
  4. 4논리 통합logical_integration

    적은 데이터세트를 사용했음에도 불구하고 기존 모델과 대등하거나 소폭 향상된 성능을 보였다는 점을 연결한다.

  5. 5결론 도출conclusion_formulation

    데이터 효율성과 성능 유지/향상 측면에서 결론을 도출한다.

    • 조금 더 적은 데이터세트로 기존 모델보다 비슷하거나 약간 좋은 성능을 보였다.
  6. 6답변 생성answer_generation

    질문에 대해 문맥에 근거하여 서술형으로 답변을 작성한다.

    • 조금 더 적은 데이터세트로 기존 모델보다 비슷하거나 약간 좋은 성능을 보였다.
최종 답변 (final_answer)
DeNERT 모델은 강화학습과 개체명 마스킹 방식을 통해 기존 모델보다 조금 더 적은 데이터세트를 사용하면서도, 기존 모델과 비슷하거나 약간 더 좋은 성능을 보여준다.
핵심 해석 (core_interpretation)
제안된 DeNERT 모델은 적은 양의 데이터세트로도 기존 모델 대비 비슷하거나 우수한 성능을 보인다.