PISA 2012 컴퓨터 기반 평가(CBA)의 도입 배경과 우리나라 학생들의 성취 특성 및 교육 성과 분석 doc_id PCY_201502160915116561_1

PISA는 실제적인 상황과 맥락에서의 지식 활용 능력을 중시하므로, 정보통신기술의 발달에 의하여 도래한 21세기 지식정보화 사회에 필요한 역량을 만 15세 학생들이 갖추었는지를 파악하는 데 부합하는 내용을 적절한 방법으로 평가하기 위해 노력해 왔다. 그러한 노력은 컴퓨터 기반 평가와 문제해결력 평가로 구체화 할 수 있다. PISA 2006부터 PISA 2012까지 컴퓨터 기반 평가(CBA)를 도입해 왔으며, PISA 2012에는 컴퓨터 기반 평가가 문제해결력(CBAPS)․수학(CBAM)․읽기(DRA) 영역에 대해 실시되었다. 문제해결력 평 가는 2003년에 지필평가(PBA)로 시행된 이후 9년 만에 두 번째로 시행된 것이다. 본 연구는 21세기에 요구되는 창의융합인재 양성을 위한 교육적 시사점을 도출하고자 우리나라만 15세 학생들이 컴퓨터 기반 평가 환경에서의 문제해결력, 수학, 읽기 성취 특성을 검사 수준과 문항 수준에서 파악하고, 문제해결력과 다른 소양 점수 간 관계 및 교육맥락변인들과의 관계를 분석하였다. 이 연구에서는 OECD의 국제비교 보고서 제1권의 부록표(OECD, 2014b)와 제5권(OECD, 2014a)의 내용을 중심으로 컴퓨터 기반 평가 결과를 국제수준에서 다각도로 비교하고, 뿐만 아니라 문항 수준의 분석과 ICT 지표의 비교 및 영역별 소양과의 관계, 컴퓨터 기반 평가(CBA)와 지필평가(PBA) 점수 비교 등 우리나라 독자적인 추가 분석을 통해 우리나라의 교육성과와 학생들의 특성을 파악하였다. CBAM과 DRA 결과는 참여국별 평균점수와 성취수준 비율 등에 대한 표만 국제 보고서에 제시되어 있을 뿐이고, CBAPS을 비롯하여 CBAM과 DRA의 문항 분석 결과와 컴퓨터 기반 평가와 관련있는 ICT 지표에 대한 내용은 국제 보고서에서 다루고 있지 않다. 이 절에서는 PISA 2012 컴퓨터 기반 평가에 나타난 우리나라 학생들의 성취 특성과 교육성과를 파악하기 위한 본 연구의 분석 내용을 기술하고, 국제비교 주요 결과를 개관하는 차원에서 OECD 회원국의 순위와 전체 참여국의 순위를 제시하였다. PISA는 수학․읽기․과학 영역 내의 개념을 이해하고 습득한 지식을 활용하여 실제 생활에서 접할 수 있는 다양한 상황과 맥락에서 문제를 해결하는 능력의 평가를 강조한다. 이러한 평가를 위하여 지식, 과정, 상황이라는 세 차원으로 이루어진 평가틀을 설계하되, 평가 영역의 특성을 반영하여 영역에 따라 차원을 구체화하고 하위요소를 구성한다. 평가 틀의 축을 이루는 세 차원의 의미는 영역에 따라 다소 차이가 있지만 공통적인 의미는 각각 다음과 같다. 먼저 ‘지식’은 문제해결에 필요한 개념, ‘과정’은 문제해결을 수행하는 인지 과정, ‘상황’은 지식과 인지 과정이 적용되는 상황과 맥락을 의미한다. PISA 2012에 실시된 컴퓨터 기반 평가(CBA), 즉 CBAPS, CBAM, DRA에서 평가하는 각 소양의 정의 및 평가 틀의 차원과 하위요소에 대해서는 각각 Ⅱ, Ⅲ, Ⅳ장에 상세히 기술되어 있다. PISA에서는 학교 안팎에서의 학습 결과로 실제 삶에서 요구되는 소양을 측정하고, 인지적․비인지적 성과를 설명하기 위해 교육맥락 정보를 수집한다. 학생의 문제해결력 및 소양 평가와 더불어 학생, 학교장, 학부모 대상의 설문을 통해 학생과 학교의 배경과 여건, 학습이 이루어지는 맥락과 관련된 다양한 정보를 조사한다. 학생의 문제해결력이나 소양과 교육맥락변인 정보를 서로 관련지어 분석함으로써 학생의 인지적 성취의 차이가 교육 체제, 학교 자원, 개인 배경과 성향 등의 차이에 의해 설명될 수 있는지를 파악할 수 있다. 학생의 성취는 학교 활동의 결과이며, 개인적인 배경이나 다른 자원의 영향을 받는다고 보고, PISA 2012에서는 학생들의 성취를 설명하는 요인들이 크게 전제(투입), 과정, 성과의 기본 구조를 가지는 것으로 정의하고, 개념 모형에 따라서 교육 맥락변인 평가틀과 설문 조사도구를 구성하였다(김경희 외, 2010a; 송미영 외, 2013c). PISA에 참여한 각 국가의 순위는 PISA 점수(plausible value)를 활용하여 산출되는데, PISA 점수는 본검사 시행 결과 자료의 검증 후에 문항반응이론(Item Response Theory)의 1-모수 로지스틱 모형과 부분 점수모형에 의한 척도화를 거쳐 산출된다. PISA는 표본 조사이므로 국가별 평균점수는 오차를 포함하고 있기 때문에, OECD는 PISA 2006부터 95% 신뢰수준에서 국가별 최고 등수와 최하 등수를 추정하여 국가별 점수 평균에 대한 순위를 제공하고 있다. 단, OECD에서 PISA 2012 CBAM과 DRA에 대한 국가별 순위 정보는 산출하지 않았다. PISA 점수는 평균 500점, 표준편차 100점의 척도점수이며, 이 점수에 따라 성취수준을 구분하고 각 수준의 특성을 제공하는데, 이를 기준으로 영역별 성취도를 해석하게 된다. 21세기 지식정보화 사회에서는 지식과 정보의 생산과 전달이 대부분 컴퓨터 환경에서 이루어지면서 사회 구성원들에 요구되는 능력이나 역량, 그리고 이를 교육하는 방법과 교육에 필요한 도구나 매체 등은 변화하게 되는데, PISA에서는 이러한 변화를 반영하여 3주기인 PISA 2006부터 컴퓨터 기반 평가를 도입해 왔다. PISA에서 컴퓨터 기반 평가의 부분적 도입을 거쳐 PISA 2015에 전면적으로 적용하는 배경은 PISA의 취지와 초점에서 찾을 수 있다. PISA는 만 15세 학생들이 향후 사회에 진출하였을 때 사회 구성원으로서 성 공적인 삶을 영위할 준비가 되었는지를 파악하기 위한 목적으로 시행되므로, 실생활 문제를 해결하는 능력을 중시하는 역량 평가이다. 그러므로 미래 사회에서 요구하는 인재상의 변화는 PISA에 고스란히 반영되어, 평가의 내용(평가틀)을 변경하거나 새로운 영역을 추가하거나 이를 평가하기에 적합한 환경이나 방법을 적용하는 등의 모습으로 나타난다. 실생활 소양을 강조하는 PISA에서는 ICT의 활용이 증가하고 있는 현실을 반영하여 컴퓨터 기반 평가(CBA)를 도입하여 부분적으로 시행해 왔다. 컴퓨터와 인터넷, 스마트 기기의 활용이 빈번한 환경에서 당면하는 문제 상황에 교과 지식을 적용하고 문제를 해결하는 역량이 요구되기 때문에 정보화 사회에 요구되는 역량 평가 방안으로 CBA가 도입되었다. PISA 2006부터 도입된 CBA는 PISA 2012까지 수학․읽기․과학 영역의 지필평가(PBA)에 추가하여 일부 영역에 한해 시행되어 왔다. 과학이 주영역이었던 PISA 2006에는 컴퓨터 기반 과학 평가(Computer Based Assessment in Science; 이하 CBAS; 이미경 외, 2006), 읽기가 주영역이었던 PISA 2009에는 디지털 읽기 평가(DRA; 김경희 외, 2009)가 실시되었다.