국제 및 국가 수준의 학업성취도 평가 체계와 자동채점 프로그램의 기술적 현황 및 유용성 doc_id PCY_201708220340129841_1

국제 학업성취도 비교 평가인 PISA(Programme for International Student Assessment)와 TIMSS(the Trends in International Mathematics and Science Study)는 여러 국가가 함께 시행하여 국가 간 비교가 가능한 국제 학업성취도 평가이다. 국제 학업성취도인 PISA와 TIMSS는 여러 국가에서 동시에 시행되는 평가로 PISA는 만 15세 학생을 대상으로 읽기, 수학, 과학적 소양의 측정 및 배경 변인과의 관계 조사를 통하여 각국 교육 시스템의 강점과 약점에 대한 정보를 제공하는 데 그 목적이 있으며(이미경 외, 2007), TIMSS는 학생들의 수학과 과학 성취도를 국제적인 수준에서 평가하고 그 결과를 토대로 각국 Partnership의 교육정책 수립과 교육의 질 개선에 도움이 되는 정보를 제공하는 것을 목적으로 하고 있다(조지민 외, 2011). 2015년 5월 19~22일, 인천 송도에서 개최될 세계교육포럼은 1990년 태국 좀티엔과 2000년 세네갈 다카르에 이어 세 번째로 열리는 EFA 분야 세계 최대 회의라 할 수 있다. 이번 포럼에서는 지난 25년간의 EFA 진척 상황을 종합적으로 점검하여 매듭짓고, 2015년 이후 새롭게 나아가야 할 방향을 설정하게 된다. 2015 세계교육포럼은 시기적으로도 중요한 의미를 지닌다. 2015년은 국제사회에 있어 굵직한 사업들이 마무리되고 새로운 청사진을 그려내야 하는 중요한 해이다. 유엔 차원에서 진행한 ‘새천년개발목표(Millenium Development Goals)’의 마감기한인 동시에 ‘유엔 지속가능발전교육 10년(UN Decade of Education for Sustainable Development; 2005-2014)’이 종료되어 Post-DESD를 논의해야 하는 시점이기도 하다. 앞서 언급하였듯이 EFA의 6개 목표 달성 기한도 2015년이다. 2015년은 국제사회가 미래의 새로운 도전과 변화된 환경에 맞추어 새로운 의제와 목표들을 설정하는 분기점이 될 것이라 해도 과언이 아니다. 올해로 개원 16주년을 맞이한 한국교육과정평가원(이하 평가원)의 이미지를 보다 참신하고 친근하게 만들어 줄 ‘배우미’와 ‘이끄미’가 탄생했다. 1998년에 설립된 평가원은 개원 이래 현재까지 교육 전문연구기관으로서 학교 현장과 밀착된 초·중등학교의 교육과정 연구 및 개발, 학교 현장에 적합한 교수·학습 프로그램 개발과 보급, 초·중등학교 교과용도서 검정뿐만 아니라 국가수준 및 국제 학업성취도 평가와 대학수학능력시험 그리고 각종 국가 고사 등을 수행해 왔다. 이는 모두 국민적 관심이 높은 사업들인 만큼 신뢰감 있고 안정적으로 수행하기 위한 신중함과 질 높은 연구를 위한 끊임없는 고민들이 따랐으며, 그 결과, 평가원의 이미지를 전문적이긴 하나 보수적이고, 경직된 조직으로 비춰지게 했다. 각 평가의 채점방식을 살펴보면, 우선 국가수준 학업성취도 평가의 채점은 표집채점과 온라인 채점의 2단계로 진행된다. 표집채점은 시·도 교육청의 추천을 받은 채점위원들이 2박 3일의 합숙채점을 한다. 채점위원은 학교급별 해당 교사가 참여하고 초, 중, 고등학교를 합하여 약 26,443명의 학생 답안지를 채점한다. 표집채점 후 채점 매뉴얼을 수정 보완하여 시·도 교육청에 제공하고, 표집채점 채점위원들은 온라인 채점에서 중앙 채점위원으로 참여하여 채점자 연수, 채점자 관리 등을 담당한다. 온라인 채점은 약 1개월 간 채점관리자 연수, 채점자 온라인 연수, 1∼4차 채점, 채점 결과 확정의 순서로 이루어진다. 채점단은 책임자, 교과책임자, 채점 관리자, 채점자로 구성되며 채점자는 교과 담당 교사들로 구성된다(김미경 외, 2011). 서답형 문항에 대한 자동채점 프로그램의 유용성은 채점의 정확성과 효율성이 중요한데, 미국의 차세대 평가에 자동채점 프로그램 도입의 타당성을 점검하기 위해 ASAP(Automated Student Assessment Prize) 자동채점 공개경쟁 대회가 개최되었다. 특히, 장문형 답안에 대한 자동채점 분야의 공개경쟁에는 미국 자동채점 시장의 97%이상을 차지하고 있는 9개 자동채점 프로그램의 시범이 포함되어 있었는데(Shermis & Hammer, 2013), 동일한 평가준거를 토대로 9개 자동채점 프로그램의 채점 수행능력을 객관적으로 비교할 수 있는 기회를 제공하였다. 이 글에서는 Shermis & Hammer(2013)가 분석한 9개 자동채점 프로그램의 주요 특징을 소개하고, ETS가 단문형 답안을 채점하기 위해 개발한 c-rater의 특징에 대해서도 알아본다. Ellis Page가 1960년대에 최초의 자동채점 프로그램이라고 할 수 있는 Project Essay Grader(PEG)를 개발한 이후에, 현재 평가기관에서 개발한 많은 상업용 시험뿐만 아니라 대학의 에세이 입학시험을 채점하기 위해 자동채점 프로그램들을 사용하고 있다(Lewis, 2013). 구체적으로, ETS가 e-rater라는 자동채점 프로그램을 개발하여 1999년부터 GMAT(Graduate Management Admission Test)의 에세이 문항을 채점하기 시작하였고, 현재 TOEFL(Test of English as a Foreign Language)과 GRE(Graduate Record Examination)의 에세이 문항까지 확대하여 채점하고 있다(Dikli, 2006a; Lewis, 2013). 한편, ACT는 2006년부터 GMAT의 채점을 맡으면서 Intelli Metric 자동채점 프로그램으로 에세이 문항을 채점하고 있다(Dikli, 2006a). 종합하여 정리하면, 한국어 서답형 문항 자동채점 프로그램을 개발하여 국어, 사회, 과학 등 학업성취도 평가의 다양한 교과 문항에 적용해 본 결과, 단어·구 수준의 문항은 자동채점이 거의 완벽하게 가능한 것으로, 짧은 단문 수준의 문항에 대한 자동채점 가능성이 높은 것으로 나타났다. 즉 단어·구 수준의 문항에 대한 자동채점 프로그램의 채점 비율과 채점자와의 일치도는 적정한 수준이었다. 일부 채점 오류가 있었으나 그 비율은 작은 편이었으며, 이 중에는 채점자의 실수도 포함되어 있기 때문에 자동채점의 오류는 보고된 수치보다 더 작다고 볼 수 있다. 자동채점에서 가장 자주 발생하는 채점상의 오류는 생성된 개념의 잘못된 적용, 철자 오류, 그리고 유의어 처리, 부정어 처리, 정답 판정에 필요 없는 정보나 용어가 포함되어 있을 때 처리하지 못하는 경우였다.