수능 한국사 절대평가 도입을 위한 고정 분할점수 기반 방식과 준거설정 기반 방식의 비교 및 검토 doc_id PCY_201410231002160681_3

영국의 경우는 대학입학시험이 따로 존재하기 보다는 통상 A-level 시험으로 불리어지는 GCE Advanced Level(General Certificate of Education, Advanced Level)이 학력인정시험 또는 대학 입학을 위한 자격시험로서의 역할을 수행하고 있다. A-level 시험 결과는 A*, A, B, C, D, E의 6단계로 제시된다. 2008년부터 A 등급을 A*와 A로 세분화하여 변별력을 확보하고자 하는 정책이 도입되어 2010년 입시부터 적용되었으며, 그 전까지는 A-level 시험에서 각 과목별 자격을 부여받을 수 있는 등급으로 A-E까지 5등급을 활용하였다. 최소 자격 요건이라 할 수 있는 E단계 분할점수에 미치지 못하는 경우 낙제를 의미하는 U(unclassified)로 분류된다. 따라서 A-level 시험은 전체 7등급으로 구성되었다고 볼 수 있다. 절대평가를 위해서는 성취수준, 즉 성취해야 할 단계적 목표가 무엇보다 먼저 필요하며, 각 성취수준을 달성하기 위한 최소한의 능력이 설정될 필요가 있다. 특정 학업성취도 시험에 대해서 이러한 ‘최소한의 능력’과 상응하는 점수를 분할점수라고 하며, pass/fail처럼 두 개의 성취수준만 존재하는 경우 응시자들을 합격/불합격의 두 집단으로 가르기 위한 해당 분할점수는 합격선이라고 불리기도 한다. 따라서 절대평가의 등급을 분할하기 위하여 어떠한 분할점수 설정 방식을 따를 것인지를 결정할 필요가 있다. 또한, 성취수준의 수에 따라서 설정해야 할 분할점수의 수 또한 자동적으로 결정된다. 예를 들어, 수능 한국사 실시 결과 학생들을 9개의 등급으로 나눈다면 8개의 분할점수가 설정되어야 하는 것이다. 이하에서는 먼저 해외와 국내의 대규모 평가에서의 점수 체제 사례 및 등급 분할 방법을 살펴보고자 한다. 본 연구 내용 및 결과를 바탕으로 현 상대평가 체제에서 수능 한국사 절대평가 9등급제 도입단계에서 ‘고정 분할점수 기반 방식’을 1안으로, ‘준거설정 기반 방식’을 2안으로 제시하였다. 고정 분할점수 기반 방식을 1안으로 제시한 이유로는 여러 차례의 전문가 협의회, 세미나 등을 통해 학교 현장으로부터 매 시험마다 준거에 따라 분할점수를 산출하는 것에 대한 현실적인 어려움과 매번 등급 분할점수가 달라진다는 것에 대해 국민적 공감이 어렵다는 점에 주목하였으며, 분할점수의 일관성, 등급 분할 방식에 대한 이해도, 분할점수 산출을 위한 시간 인력 비용 측면에서 고정 분할점수 기반 등급 분할 방식이 준거설정 기반 등급 분할 방식에 비해 효율적이라는 점을 고려하였다. 부가적으로 혼합 방식 또한 제안되었으며, 이 방안은 고정 분할점수 기반 방식과 준거설정 기반 방식 양자를 혼합한 방식이다. 예를 들어 전문가 집단이 모여 상ㆍ중ㆍ하 3개 등급을 준거설정 방식으로 설정하고, 각 등급을 다시 3개 등급으로 균등 분할하는 방식을 일컫는다. 추후 수능 한국사 절대평가가 정착해 나가는 과정에서 고정 분할점수 기반 등급 분할에서 좀 더 이론과 학문에 기반한 준거설정 기반 등급 분할로 이행하는 것을 고려할 경우 두 방식을 혼합한 방식이 자연스러운 연결 고리가 될 수 있을 것이다. 고정 분할점수 기반 등급 분할은 학생들의 성취 정도를 판단하는 기준으로 고정된 분할점수를 사용한다. 예를 들면, 중학교 성취평가제의 경우, 90, 80, 70, 60점을 A, B, C, D, E 성취수준을 가르는 분할점수로 사용하고 있다. 또한 국내의 다양한 자격 및 면허시험에서 100점 만점에서 60점을 합격과 불합격을 구분하는 분할점수로 사용하고 있으며, 과목별 과락 기준으로는 40점을 사용한다. 고정 분할점수 기반 등급 분할 방식의 장점은 별도의 준거설정 절차가 없기 때문에 분할점수 산출을 위한 시간 및 비용이 들지 않는는 것이다. 더불어, 분할점수로 동일한 점수가 반복적으로 사용되기 때문에 일반인들의 이해를 용이하게 하고 동의를 구하게 쉽다. 하지만, 시험의 난이도가 일관되지 않는다면 분할점수가 갖는 의미가 달라질 수 있다. 즉, 쉽게 출제된 경우 상대적으로 낮은 분할점수, 어렵게 출제된 경우 상대적으로 높은 분할점수로 기능할 수 있다는 것이다. 준거설정 기반 등급 분할은 관련 전문가들이 모여 분할점수 설정을 위하여 의견을 합의하는 절차를 반복한다. 전통적인 준거설정 기반 등급 분할 방법에는 네델스키 방법(Nedelsky, 1954), 앵고프 방법, 에벨 방법(Ebel, 1972), 재거 방법(Jaeger, 1978) 등이 있으며, 이 중 가장 널리 쓰이는 방법은 앵고프 방법을 약간 변형한 방법이다. 우리나라에서 앵고프 방법을 사용하는 시험으로는 의사 국가실기시험, 국가수준 학업성취도 평가 등이 있다. 또한 문항반응이론을 활용한 준거설정 등급 분할 방법도 다양하게 개발되었으며, 가장 널리 쓰이는 방법 중의 하나는 북마크 방법(Mitzel, Lewis, Patz, & Green, 2001)이라고 할 수 있다. 앵고프 방법에서는 먼저 평정자로 하여금 최소 능력을 보유한 피험자(minimally competent person, MCP)가 해당 문항을 맞힐 비율을 추정하고, 이러한 비율 추정치들을 전체 문항에 대해 합산한 후에 평정자들의 평균 추정치를 해당 검사의 준거기준 설정 값으로 보고한다. 앵고프 방법에서는 이러한 과정을 거치는 것을 하나의 라운드(round)라고 부르며 일반적으로 한 준거설정 워크숍에서 대개 3회 정도의 라운드를 반복하게 된다. 등급 비율의 안정성 측면에서 고정 분할점수 기반 등급 분할 방식은 분할점수를 고정하기 때문에, 검사 난이도에 따라 등급별 학생 비율 변화가 있을 수 있지만, 정밀한 출제 전략을 통해 난이도 변화를 최소화한다면 등급별 학생 비율이 변화가 크지 않을 것으로 예상된다. 이와 비교하여 준거설정 기반 등급 분할 방식은 전문가 집단이 모여 분할점수를 산출하기 때문에 등급별 비율을 일정하게 유지하는 데 용이한 것으로 판단된다. 따라서 매년 일정한 검사 난이도를 유지한다면 준거설정을 하여도 등급 분할점수가 일관성 있게 산출되므로, 고정 분할점수 기반 등급 분할과 차별성이 없을 것이다. 실제로 한국사 시험과 상관도가 가장 높은 언어 영역 자료 분석 결과 검사 난이도(전체 평균 점수)가 유사할 경우 동일한 분할점수를 적용하더라도 등급 비율의 변화가 크지 않은 것으로 나타났다. 실제로 평균과 표준편차가 비슷했던 2011학년도와 2012학년도 언어 영역 자료를 활용하여 80점, 70점, 60점을 1, 2, 3등급 분할점수로 임의 선정하여, 등급별 비율을 살펴 본 결과 그 차이가 크지 않은 것으로 나타났다. 고정 분할점수 기반 등급 분할 방식은 등급 분할점수가 정해져 있어 한국사 등급 산출에 대한 불확실성이 감소하고, 이에 따라 입시 부담 경감에 기여할 것으로 예상된다. 반면, 준거설정 기반 등급 분할 방식은 매 시험마다 분할점수가 다르게 산출되어, 한국사 등급과 관련하여 학생, 학부모, 교사에게 혼란을 줄 수 있다. 또한 매년 일정한 검사 난이도를 유지한다면, 준거설정을 하여도 등급 분할점수가 일관성 있게 산출되므로, 고정 분할점수 기반 등급 분할과 차별성이 없을 것으로 판단된다. 실제로 2012년과 2013년에 매 시험마다 준거설정을 통해 분할점수를 산출하였던 국가영어능력평가시험의 경우, 동일한 목표 검사 난이도를 가지고 문항을 출제하고 준거설정을 한 결과 듣기 영역(2급)의 A/B 등급을 분할하는 분할점수가 25점 만점에 21점 또는 22점으로 매우 유사하게 산출되었다. 비슷하게 읽기 영역(2급)에서도 25점 만점에 18점 또는 19점 정도가 A/B 등급을 분할하는 점수로 산출되었다. 이와 같은 현상은 듣기, 읽기, 2급 , 3급에 관계없이 B/C 등급을 분할하는 분할점수와 C/D 등급을 나누는 분할점수에서도 유사하게 나타났다(한국교육과정평가원, 2013a, 2013b).