문맥 (context)
벡터 공간 모델(―空間―, vector space model) 또는 단어 벡터 모델(單語―, term vector model)은 텍스트 문서를 단어 색인 등의 식별자로 구성된 벡터로 표현하는 대수적 모델이다. 정보 검색, 정보 필터링 및 검색 엔진의 색인이나 연관도 순위에 사용된다. 이 모델이 최초로 적용된 것은 코넬 대학교의 게오르그 셀튼 교수 연구실의 SMART 정보 검색 시스템이었다.
<heading>정의 </heading>
문서와 질의는 다음과 같이 벡터로 표현된다.
벡터 공간 모델에서 ''단어''(term)의 의미는 그 적용 대상에 따라 달라진다. 일반적으로는 하나의 단어(word)나 키워드, 또는 좀더 긴 구를 의미한다. 벡터의 차원의 크기는 말뭉치에 포함된 단어의 개수와 같다.
벡터 연산은 문서들간의 유사성을 비교하는 데에도 사용될 수 있다.
<heading>용</heading>
키워드 검색에서 사용되는 문서의 연관도는 문서 유사도 이론으로 계산될 수 있다. 문서 유사도 이론에서 문서 유사도는 문서 벡터간의 각도의 편차를 이용하여 산출된다.
실제 적용시에는, 문서 벡터간의 각도 자체보다는 다음과 같이 각도의 코사인값을 이용하는 것이 더 간단하다.
ight|</math>는 벡터 q의 노름이다. 벡터의 노름의 다음과 같이 계산된다.
벡터의 모든 요소는 음수가 아닌 값이므로, 코사인값이 0인 경우 질의 벡터와 문서 벡터가 직교하며 겹치는 부분이 전혀 없음(서로 동일하게 포함하고 있는 단어가 하나도 없음)을 의미한다. 벡터간 각도의 코사인값을 이용한 유사도 계산에 대해서는 코사인 유사도를 참조하라.
w_{t,d}</math>는 다음과 같다.
문서 ''d<sub>j</sub>''와 질의 ''q''의 코사인 유사도를 이용하여 다음과 같이 문서간 유사도를 계산할 수 있다.
<heading>점</heading>
벡터 공간 모델은 불린 모델에 비해 다음과 같은 장점을 지닌다.
<heading>계</heading>
벡터 공간 모델은 다음과 같은 한계를 지닌다.
벡터 공간 모델의 이러한 여러 문제점들은 다양한 방법으로 극복될 수 있다. 여기에는 특잇값 분해와 같은 수학적 기법과 워드넷과 같은 어휘 데이터베이스 활용이 포함된다.
<heading>련 모델</heading>
벡터 공간 모델에 기반하거나 이를 확장한 모델에는 다음과 같은 것들이 있다.
<heading>련 소프트웨어</heading>
다음의 소프트웨어들은 벡터 공간 모델을 연구하거나 구현할 경우 참고가 될 수 있다.
지시문 (instruction)
주어진 원문을 읽고 필요한 정보를 파악하여, 원문에 근거해 질문에 답하라.
질문 (question)
벡터 공간 모델의 한계를 극복하기 위해 활용될 수 있는 방법에는 어떤 것들이 있는가?
추론 과정 (compact_reasoning)
-
1과제 해석
task_interpretation벡터 공간 모델의 한계를 극복하는 구체적인 방법들을 분류하여 나열해야 한다.
-
2정보 추출
information_extraction본문에서 '한계'와 '극복'에 관련된 내용을 탐색한다.
- 벡터 공간 모델의 이러한 여러 문제점들은 다양한 방법으로 극복될 수 있다.
-
3근거 선택
evidence_selection극복 방법으로 명시된 구체적인 사례들을 추출한다.
- 여기에는 특잇값 분해와 같은 수학적 기법과 워드넷과 같은 어휘 데이터베이스 활용이 포함된다.
-
4논리 통합
logical_integration추출된 수학적 기법과 어휘 데이터베이스 활용을 정리한다.
-
5결론 도출
conclusion_formulation수학적 기법(특잇값 분해)과 어휘 데이터베이스 활용(워드넷)을 답변으로 구성한다.
- 특잇값 분해와 같은 수학적 기법과 워드넷과 같은 어휘 데이터베이스 활용
-
6답변 생성
answer_generation질문에 적합한 리스트 형식으로 최종 답변을 작성한다.
- 특잇값 분해와 같은 수학적 기법과 워드넷과 같은 어휘 데이터베이스 활용
최종 답변 (final_answer)
특잇값 분해와 같은 수학적 기법과 워드넷과 같은 어휘 데이터베이스 활용이 있다.
핵심 해석 (core_interpretation)
벡터 공간 모델의 여러 문제점은 특잇값 분해와 같은 수학적 기법과 워드넷 같은 어휘 데이터베이스 활용을 통해 극복될 수 있다.