2017학년도 한국사 수능 필수화에 따른 출제 방안 탐색

국가수준 학업성취도 평가는 영역/교과별로 기술된 성취수준의 도달 정도를 측정하는 것을 목표로 하고 있으며, 성취수준으로 네 개의 등급(우수, 보통, 기초, 기초미달 또는 A, B, C, D)을 사용하였다. 성취수준 설정 방법으로 준거설정 기반 방식 중 하나인 앵고프(Angoff, 1971) 방법을 사용한다(김성숙 외, 2010). 한국사능력검정시험의 점수 체제는 고급, 중급, 초급으로 구성되어 있는데, 고급 시험은 1/2급, 중급 시험은 3/4급, 초급 시험은 5/6급의 능력을 평가하도록 구성되어 있다. 등급 산출은 고정 분할점수(100점 만점에 70점) 기반 등급 분할 방식을 사용하고 있으며, 급수별 시험의 원점수를 기준으로 70점 이상이면 1급, 3급, 5급으로 각각 능력이 인증되며, 60∼69 점이면 2급, 4급, 6급의 등급이 부여된다. 북마크 방법은 앵고프 방법에 문항반응이론 모형을 접목시킨 방식으로서, 준거설정 방식으로 문항반응이론이 적용될 경우에 주로 사용되는 방법이다. 이 방법에서는 먼저 사전검사에서 문항반응이론 모형을 통해 문항 난이도를 추정한 후, 이러한 난이도를 토대로 쉬운 문항에서 어려운 문항으로 순서화하여 문항집(ordered item booklet, OIB)을 구성한다. 이후 패널들은 순서화된 문항집에 최소능력자의 정답률이 사전에 제시된 응답 확률보다 큰 마지막 페이지에 표시를 한다. 북마크 방법에 따르면 패널이 모든 문항에 대하여 각각 판단을 할 필요가 없이, 순서화되어 제공된 문제집에 북마크를 하는 방식으로 진행되기 때문에 준거설정 패널의 인지적 부담을 크게 줄여준다는 장점이 있다. 그러나 실제 북마크 방법을 적용하기 위해서는 쉬운 문항부터 어려운 문항까지 각 단계의 난이도가 골고루 반영된 50∼60개 정도의 문항들을 지닌 OIB가 요구된다. 때문에 과목당 문항 수가 작거나 문항 곤란도가 고루 나타나지 않는 경우에는 이 방법을 적용하기 어렵다는 단점이 있다. 비록 9등급 하에서 8개의 분할점수를 설정하는 것이 쉽지는 않겠지만, 이를 전통적 준거설정 방법이라고 할 수 있는 앵고프 방법이나 문항반응이론에 기반한 북마크 방법 등 학문적으로 접근하는 것을 고려해 볼 수 있을 것이다. 이는 이론적·학문적으로 이미 검증받은 분할점수 산출 방법을 적용하는 것이기 때문에 과학적인 방법이라고 볼 수 있으며, 그 결과 또한 공신력을 확보할 수 있다는 장점이 있다. 하지만, 토플이나 토익 시험처럼 검사동등화를 통한 척도 점수 체제가 유지되지 않는 상황 속에서, 준거설정 워크숍을 매년 시행해야 한다는 문제점이 존재한다. 매년 준거설정을 실시해야 할 뿐만 아니라 이에 따라 매년 등급 분할점수가 달라지는 문제점은, 한국보건의료국가시험원에서 실시하고 있는 의사 국가고시 실기 시험의 운영에서 이미 경험하고 있는 바이다. 이 경우 일반 국민의 이해를 구하기가 상당히 어려울 뿐만 아니라, 준거설정에 따른 시간, 인력, 비용의 부담이 상당할 것으로 예상된다. 수능 한국사 절대평가가 조기에 정착하기 위해서는 절대평가 점수 체제에 대한 국민의 이해가 선행되어야 한다. 이미 상술한 바와 같이 절대평가 점수 체제에서 가장 주요한 관심사항이 되는 것은 등급을 분할하는 분할점수이며, 이러한 분할점수와 관련하여 불필요한 논쟁을 피하기 위해서는 분할점수 산출 방식 또는 절차에 대해 국민적 공감대가 형성되어야 한다. 현재 성취평가제 시행으로 준거설정 방법들이 등급 분할점수 산출을 위해 일부 적용되고 있으나, 여전히 준거설정 방법에 대한 국민적 이해도는 현저히 낮다고 할 수 있다. 이러한 측면에서 고정 분할점수 기반 등급 분할 방식은 국민들이 쉽게 이해할 수 있는 분할점수 산출 방식으로서 등급 분할에 대한 불필요한 오해를 없애고, 수능 한국사 절대평가가 안정적으로 정착하는 데 기여할 것으로 예상된다. 이와 비교하여, 준거설정에 기반한 분할점수 산출 방식에 대한 학생, 학부모, 교사 등의 이해 부족으로 인해 분할점수 자체에 대한 불신 가능성이 존재한다. 실제로 ‘세미나’, ‘전문가 협의회’, ‘자문 위원회’ 등에서 매 시험마다 준거에 따라 분할점수를 설정하는 것이 현실적으로 어려우며, 등급 분할점수가 달라진다는 것에 대해 국민적 공감이 어렵다는 점이 지적되었다. 이 결과에 의하면 한국사 시험의 성격을 수능의 일반적인 성격과 달리 차별적으로 제시하는데 무리가 없다고 판단된다. 오히려 한국사 시험의 성격을 차별적으로 제시하여야 한국사를 수능 필수로 지정한 의미가 강화될 것이다. 이러한 성격 진술은 교육과정에서 제시하는 지식과 역사적 사고력을 평가하되, 학생의 기본 소양을 검증하기 위한 문항을 출제한다는 것이다. ‘고등학교 교육과정에 맞는 출제로 고등학교 학교교육의 정상화 기여하려는 수능의 목표와도 부합되면서 한국사의 특성을 부각시킨 성격을 설문 조사에서 제시한 초안을 다소 수정해서 “ʻ고등학교 졸업자가 한국사에 대해 어느 정도 소양을 갖추었는지를 검증하기 위해 한국사 기본 지식의 이해 정도와 역사적 사고력을 종합적으로 평가하는 시험ʼʼ으로 규정하였다(한국교육과정평가원, 2014a). 등급 비율이 정해져있지 않고 일정 수준에 도달하면 등급점수를 얻는 절대평가에서는 고등학교 졸업 정도에서 알아야할 역사 지식과 역사적 사고력을 측정하는 것이 중요한 목적이 된다. 그런데 고등학교 졸업 정도에서 알아야할 역사 지식과 역사적 사고력도 기존의 수험생을 기준으로 하여서는 곤란하다. 구조적으로 기존의 선택자 집단에 속할 수 없었던 과학 탐구 선택자와 직업탐구 선택자, 심지어 탐구 영역에 응시할 필요가 없었던 학생까지 고려해야 한다. 또 수능 필수 한국사가 한국사를 잘하는 학생들의 성취 정도를 평가하기보다는 한국사에 대한 소양을 평가하여 한국사 교육의 정상화를 요구하는 의미로 전환했다면, 부담 없는 준비로 원하는 등급을 받을 수 있도록 출제할 필요가 있다. 이상과 같은 정책 방향을 고려하면서 예시 문항 개발을 위해 고려할 점은 다음과 같이 정리할 수 있다. 첫째, 수능 한국사 시험의 성격과 출제 방향에 부합해야 한다. 이에 대해서는 Ⅱ장 1절에서 상세히 서술하였다. 우선적으로 교육과정의 내용과 수준에 맞춘 문항을 개발해야 한다. 특히 기본 소양을 측정하는 시험이라는 점을 강조하였으므로 한국사 교육 내용 중에서 핵심적인 내용을 다루는 예시 문항을 개발할 필요가 있다. 한편 교육부는 ‘2017학년도 대학수학능력시험 대비 한국사 사교육 수요 경감 방안’에서 학생들의 수험 부담이 최소화 되도록 출제한다면서, 구체적인 방법으로 한국사능력검정시험 3급보다 쉽게 출제할 것을 검토하는 것으로 밝혔다(교육부, 2014a). 연구진은 이러한 기준을 고려하여 예시 문항 개발에서 한국사능력검정시험 출제 경험자를 포함시켰으며, 출제 과정에서 한국사능력검정시험 기출 문항에서 나타난 난이도를 참조하였다. 넷째, 시험의 성격에 맞추어 다양한 문항 유형을 제시할 필요가 있으며, 현행 수능와 유사한 형식과 함께 새로운 형식도 예시할 필요가 있다. 예시 문항 제작을 준비하면서 연구진은 다양한 문항 유형을 개발하고자 하였다. 기존 수능은 10년간 시행되면서 안정적인 출제가 이루어졌지만 한편으로는 문항 형식이 점차 정형화되고 있다는 점을 부인하기 어렵다. 2017 수능 필수 한국사의 경우 변별이 아닌 기본적인 소양을 평가한다는 점에서 탐구형 문항 위주로 구성된 기존 수능보다 기초적인 능력을 묻는 문항을 출제할 필요가 제기되었다. 이에 따라 연구진은 기존 수능에서는 출제되지 않았던 자료 없는 문항 등 다양한 형식의 문항을 학생들의 기본적인 소양을 평가하는 문항으로 제시하고자 하였다.