의미 관리를 이용하는 언어 모델 적응 document_id A220517005461

본 발명은 언어 처리에서 사용되는 언어 모델에 관한 것으로 특히, 요청되는 영역에 대한 언어 모델들을 적응적으로 변화시키는 것에 관련되어 있다. 자동 음성 인식(automatic speech recognition, ASR)과 같은 언어 처리 시스템에서는 종종, 학습(training) 및 테스트 데이터와 실제 영역 데이터 사이의 미스매치(mismatch)에서 비롯되는 성능 저하를 다루어야 한다. 잘 알려져 있는 바와 같이 음성 인식 시스템에서는 인식을 제공하기 위해 음향 모델과 통계적 언어 모델(statistical language model, LM)을 채택한다. 새로운 영역으로 음향 모델을 적응적으로 변화시키는 것은 어느 정도 성공을 거두었으나, 언어 모델의 적응적 변화는 만족스러운 결과를 이루지 못했다. 통계적 언어 모델(LM)은 단어 시퀀스(word sequence)들에 대해 사전 확률 추정(prior probability estimate)을 제공한다. LM은 가장 그럴듯한 단어 시퀀스에 대한 가상 검색(hypothesis search)을 안내하므로 ASR 및 기타 언어 처리 형태에서 중요한 구성 요소가 된다. 언어 처리 성능이 탁월하기 위해서는, 성능이 좋은 LM이 필수적이라고 알려져 있다. 일반적으로 LM에서는, 테스트 데이터와 유사할 것으로 예상되는 상당량의 학습 데이터로부터 수집된 평활 n-그램(smoothed n-gram) 통계를 사용한다. 그러나 유사도의 정의는 엄격하지 않고, 보통 주어진 관심 영역에 대해 어떤 데이터 소스를 사용해야하는가는 모델 제작자의 결정으로 남겨지며, 대부분 시행착오를 겪게 된다. 학습 또는 테스트 데이터와 실제 영역 또는 "영역 내(in-domain)" 데이터 사이에 미스매치가 존재하고, 결과적으로 오류를 일으키는 일이 꾸준히 있어 왔다. 미스매치의 한 가지 원인은 테스트 데이터의 어휘 범주를 벗어난 단어들에서 비롯된다. 예를 들면, 어떤 항공 여행 정보 시스템이 원래 특정 항공사를 위해 설계된 것이라면, 다른 항공사에 대해서는 문제가 되는 도시 이름(city name)들, 항공기 이름들 및 기타 항공사가 서비스하는 것들과 미스매치가 생기기 때문에 잘 동작하지 않을 수 있다. 미스매치의 다른 잠재적 원인은 상이한 언어 스타일에서 비롯된다. 예를 들면, 뉴스 영역의 언어 스타일은 항공 여행 정보 영역과는 차이가 있다. 뉴스선(newswire)이나 기타 일반 텍스트 상에서 학습된 언어 모델은 항공 여행 정보 영역에서는 잘 동작하지 않을 수 있다.