PISA의 컴퓨터 기반 평가 도입 배경, 시행 과정 및 역량 중심 평가로의 변화 양상 doc_id PCY_201502160915116561_2

PISA의 경우 컴퓨터 기반 평가의 적용을 위한 장기적인 계획을 수립하고 PISA 2006부터 매주기 일부 영역에 대해 컴퓨터 기반 평가를 도입하여 부수적으로 시행해 왔으며, PISA 2015부터 모든 영역에 대해 컴퓨터 기반 평가를 적용한다. PISA 2006부터 PISA 2012까지 각 주기의 주영역에 대한 컴퓨터 기반 평가를 최초로 적용해 왔다. 과학이 주영역이었던 PISA 2006에는 CBAS가, 읽기가 주영역이었던 PISA 2009에는 DRA가, 수학이 주영역이었던 PISA 2012에는 CBAM이 각각 최초로 시행되었다. 이 때 만 15세 모집단 중 일부를 표집하여 지필평가를 시행하면서, 지필평가 대상 중에서 컴퓨터 기반 평가 대상을 표집해 왔다. 세 주기에 걸쳐 읽기, 수학, 과학 등 세 영역에 대한 컴퓨터 기반 평가를 최소 한 번씩 시행하여 적용 가능성을 타진해 온 것이다. 컴퓨터 기반의 평가는 주기 간 추이 분석을 파악하는 점수의 산출에는 활용되지 않으면서 각 영역에 대한 평가 문항의 내용과 유형에 대한 실험적 적용이었다고 할 수 있다. PISA 2012에서는 문제해결에 기본이 되는 인지적 과정을 측정하는 데에 집중할 수 있도록 문제를 해결하기 위해 교과 지식을 필요로 하는 문항들을 피하였다. 즉, 문제해결력 평가 문항에서 전문적 지식을 필요로 하는 문항을 제외하였으며 읽기, 수학, 과학 등 기존의 영역에 포함될 수 있는 문항들도 제외하였다. 따라서 일상적 상황을 중심으로 평가 과제가 주어지며 일반적인 선지식을 이용하여 과제를 해결하도록 하였다. 다만 선지식을 적용하는 것만으로는 문제를 풀기 어렵기 때문에 기존의 지식들을 조직하여 새로운 지식을 창출하고 문제 상황을 관찰하고 탐구하여 문제를 해결해야 한다. 이 때 규칙을 찾아내는 과정에서 상호작용이 필요한데 PISA 2012 문제해결력 평가는 컴퓨터 기반 평가를 도입하여 이러한 상호작용이 가능하게 되었다. 컴퓨터 기반 평가의 도입은 학생들이 문제 상황과 상호작용을 하면서 문제를 해결하는 문항 형식을 포함시키기 위해 꼭 필요한 것이었다. 우리나라에서는 2012년 5월 21일(월)부터 6월 2일(토)까지 PISA 2012 본검사가 시행되었고, 모든 표집학교에서 PBA를 먼저 시행한 후에 이어서 CBA를 실시하였다. CBA 시행에는 문항 풀이 40분에 사전 준비와 설명, 수거 및 정리 시간을 포함하여 총 1시간 30분 가량 소요되었다. CBA 평가도구에 포함된 구성형 문항은 15문항으로 CBAPS 6문항, CBAM 4문항, DRA 5문항이었으며, 구성형 문항 중 자동 채점 가능한 문항을 제외한 문항에 대한 응답은 전문가들이 채점하였는데, 이는 온라인 채점 시스템(Online Coding System; OCS)을 통해 이루어졌다. PBA 경우 학생들이 작성한 답안을 별도로 스캔하여 저장한 이미지 파일을 OCS에 탑재한 반면, CBA에서 학생들이 컴퓨터에 입력한 답안은 파일로 저장되어 OCS에 탑재하였다. 정보통신기술의 발전으로 생활 및 직업 환경이 변화하고 교육환경을 비롯한 교육 내용과 방법 등 전반적인 변화가 진행되고 있으므로, 컴퓨터를 기반으로 한 평가 환경의 전환이 선행되어야 미래 사회에 요구되는 다양한 능력과 특성을 평가할 수 있게 된다. PISA에서 컴퓨터 기반 평가의 시행은 실생활 환경에서 컴퓨터의 중요성이 점점 더 증대하여 다양한 정보통신기기를 활용한 학습 활동의 변화가 평가에 반영된 것이다. Ⅱ부터 Ⅳ장에 예시된 CBAPS, CBAM, DRA 문항에서 보듯이 컴퓨터 기반 평가에서는 지필평가와 달리 하이퍼텍스트, 다채로운 색채의 이미지, 동영상, 사운드, 그래프와 표 등을 자유롭게 이용하고, 특히 상호작용이 가능한 문항을 제작할 수 있으므로 복합적이면서 다양한 능력을 측정할 수 있다. 역량 평가의 필요성 및 중요성, 국외 평가 방법의 변화 동향에 따라 송미영 외(2013e)는 국가수준 학업성취도 평가를 비롯하여 우리나라의 대규모 평가에서 컴퓨터 기반 평가 도입을 제안한 바 있다. 국가수준 학업성취도 평가는 교육과정에 기반한 평가로서 교과 내 지식을 직접적으로 평가하지는 않는 PISA와 다소 다른 성격의 평가였으나 교육과정의 개정 방향이 역량을 중시한다면 21세기 역량도 국가수준 학업성취도 평가에서 다루어야 할 것이며 이러한 변화에 따라 PISA와 평가 내용의 공통점이 많아지게 될 것이므로, 컴퓨터 기반 평가의 도입에 대해 고려해야 한다. 이와 관련하여 최근 미국의 경우 단순지식 측정 중심의 선다형 시험을 지양하고 핵심역량으로서 창의력, 비판적 사고력, 문제해결력 등 고등사고력에 대한 평가를 강조하면서, 차세대 평가 시스템인 학력평가 2.0(Assessment 2.0: "Next-Generation" Comprehensive Assessment Systems)을 설계하였다(Joaquin, 2010). 문제해결력과 같이 교육과정 전반과 관련된 역량(cross-curricular competencies)을 설명하는 데에 어느 한 영역이나 교과와 연관된 것이 아닌, 일반적인 특성이 활용될 수 있다(OECD, 2013a). PISA 2012에서는 학생의 문제해결력을 설명하고자 문제해결에 대한 끈기(perseverance)와 개방성(openness)을 자기보고 방식의 학생 설문을 통해 측정하였다. PISA에서는 문제해결과 관련된 특성은 학습을 이끄는 추진력이 되는 학습 심리 특성 (drive and motivation)에 포함된다고 보고 있으며, 문제해결에 대한 끈기는 어려움에 직면했을 때 그 문제를 해결하려는 의지, 문제해결에 대한 개방성은 문제해결에 참여하고자 하는 의지를 의미한다(OECD, 2013b). 교과와 직접 관련되지 않는 개인적 문제해결력을 평가하는 PISA 2012 문제해결력 평가에서 우리나라는 싱가포르에 이어 2위라는 높은 성취를 기록하였다. 문제해결력과 같은 고등사고능력은 각 교과에 대한 기본적인 지식과 역량을 토대로 길러질 수 있는 것으로, 우리나라 학생들의 높은 수학․읽기․과학 소양이 문제해결력 신장의 토양이 되었을 것으로 보인다. 또한 학교에서 이루어지는 각 교과 교육과정에서 지속적으로 문제해결력을 강조해온 것도 주요한 요인 중 하나로 볼 수 있다. 한 예로 2009 개정 수학과 교육과정(교육과학기술부, 2011)에서는 수학 교수학습의 목표 중 하나로 수학적 문제해결력을 증진시키는 것을 제시하고 있다. PISA의 문제해결력 평가는 PISA 2003, PISA 2012에 이어 다음 주기인 PISA 2015에도 시행될 예정인데, 각 문제해결력 평가에서의 문제해결력의 정의, 평가틀, 평가 방식에 큰 차이가 있는 것은 시대의 흐름에 따라 요구되는 문제해결력이 변화하기 때문일 것이다.