문단 (context)
텍스트 자료를 분석 자료로 사용할 때에는 컴퓨터에서 자연어 처리(Natural Language Processing: NLP)가 용이하도록 데이터를 가공하는 절차가 필요하다. 자료 가공 단계에서 일차적으로 이루어지는 작업은 ‘형태소 분석’이다. 형태소 분석(morphological analysis)이란 문장을 분석하기 위해 의미의 최소 단위인 형태소로 문장을 바꾸는 작업으로, 형태소는 어휘 형태소(명사, 동사, 형용사, 부사 등)와 문법 형태소(조사, 어미 등)로 분류된다. 예컨대, “교육의 질은 교사의 질을 능가하지 못한다”라는 문장에 대해 명사에 한하여 형태소 분석을 실시하면, ‘교육’, ‘질’, ‘교사’, ‘질’, ‘능가’와 같은 용어들이 추출된다. 또한 텍스트 자료의 경우 자료 정제(data cleaning) 과정 역시 필수적이다.
기계독해 질의응답 4건
| question_id | 질문 | 답변 불가 | 정답 |
|---|---|---|---|
| 937085 | 자료 가공 단계에서 일차적으로 이루어지는 작업이 뭐야 | 가능 | 형태소 분석 |
| 937086 | 무슨 작업이 첫 번째로 자료 가공 과정에서 이루어지니 | 가능 | 형태소 분석 |
| 937087 | 자료를 인공적으로 처리하여 질을 높이는 과정에서 처음으로 이루어지는 작업이 뭐지 | 가능 | 형태소 분석 |
| 937088 | 무슨 작업이 두 번째로 자료 포장 과정에서 이루어질까 | 불가 | 형태소 분석 |