국제 교육 모니터링 체제 구축을 위한 학습성과 지표 개발 연구 -수학·읽기 영역의 학습성가 명세화 및 평가 방안

공통척도 개발을 통한 학습성과의 국제적 비교 방안은 다음과 같은 장점을 가진다. 이 장점들은 대체로 ‘판단적 조정 방안’이 가지는 제한점에 반하는 것들이다. 첫째, 국제공통 능력평가 검사 및 발달점수척도의 개발로 측정하고자 하는 수학, 읽기 능력의 개념이 조작적으로 정의되어 국제공통의 학습성과의 개념 및 이론 체계를 더욱 정교화 할 수 있다. 국제공통의 능력평가 검사에 포함된 문항을 분석함으로써 각국은 자국의 국가수준 능력평가 검사를 어떻게 개발하고 수정할지에 대한 구체적인 정보를 얻을 수 있다. 또한 검사의 목적, 목표 모집단, 측정 내용 및 구인의 유사성 등의 측면에서 기존의 국제 학업성취도평가 검사가 국제공통의 능력평가 검사와 어떤 차이를 지니는지를 분석함으로써 국제공통의 성취수준의 의미를 보다 명료하게 할 수 있다. 둘째, 국제공통의 능력평가 검사를 기존의 타 검사의 점수척도와 연계함으로써 한 학생의 수학, 읽기 능력을 다양한 점수척도에 비추어 해석할 수 있다. 특히, 지역별, 주별, 권역별로 공통적으로 실시되는 검사의 경우, 그 국지적 검사의 점수척도를 국제공통의 발달점수척도와 연계함으로써 국지적 검사를 치른 학생들은 국제공통의 능력평가 검사를 치르지 않고서도 발달점수척도 상에서 어느 정도의 위치에 있는지를 대략적으로 알 수 있다. 위에서 서술한 공통척도 개발을 통한 학습성과의 국제적 비교 방안의 장점들은 다음의 제한점들을 희생하면서 얻어지는 것들이라 할 수 있다. 첫째, 이 방안을 실시하기 위해서는 국제공통의 능력평가 검사의 개발 및 실시, 발달점수척도의 개발 등에 막대한 시간과 비용이 요구된다. 물론 이러한 개발은 참여국과 국제적 검사개발 기관과의 체계적이고 효율적인 협력이 절대적으로 필요하다. 특히 국제공통의 읽기능력평가 검사의 경우, 국제공통의 읽기 자료 확보와 언어 및 문화적 차이의 극복, 각국의 공용 언어로의 번안 등 단순히 기술적으로 해결할 수 없는 많은 측정학적 문제들을 해결해야 비로소 국제공통의 검사 및 발달점수척도가 개발될 수 있을 것이다. 둘째, 기준설정 작업에 앞서 발달점수척도의 개발이 선행되어야 하는데, 이 발달점수척도는 복잡하고 난해한 수직척도화 이론을 통해 개발되어야 한다. 수직척도화는 초등 전기와 초등 후기 간의 수학, 읽기 능력의 차원성 문제, 점수척도의 범위 및 축소의 문제, 척도화 연구 표본의 선정 문제, 초등 전기 검사와 초등 후기 검사의 자료의 통합 및 공통 능력 척도의 개발 문제 등을 해결하기 위해 고도의 측정학적 이론과 기술을 활용한다. 넷째, IRT를 활용한 수직척도화를 통해 초등 전기 및 후기 검사를 연계하여 발달점수척도를 개발하고, 이 척도상에서 국제 공통의 성취수준을 구분하는 분할점수를 찾는다. 공통 문항 설계에서 IRT 수직척도화는 공통문항을 가진 두 검사의 문항모수와 능력분포를 어느 한 기준 능력척도에 표현함으로써 이루어진다. 이를 위해, IRT 문항모수 및 능력분포는 검사별로 독립적으로 추정되거나 검사자료를 통합하여 동시에 추정된다. 개별추정의 경우, 한 검사의 문항모수와 능력분포는 다른 검사의 능력척도로 변환되어야 한다. 이로써 개발 된 공통의 IRT 능력척도는 규준적 정보나 측정오차의 정보가 가미되어 발달점수척도로 변환된다(Kolen & Brennan, 2014). 이 국제공통의 발달점수척도에서 기준설정 작업을 통해 국제공통의 성취수준들 간의 경계지점을 찾는다. 기술적으로, 분할점수를 설정하기 위해 수정된/확장된 Angoff 방법이나 Bookmark 방법이 사용될 수 있다. 다섯째, 우리나라에서 사용하는 초등 전기 및 후기의 국가 또는 국제 수준 검사(“기본 검사형”)를 선정 혹은 개발하고 그 검사의 점수척도를 국제 공통의 발달점수척도로 연계한 다. 우리나라의 경우 초등 전기 국가수준 수학능력평가 검사가 실시된 적이 없다. 또한 우리나라는 초등 전기용 국제 수학 능력평가 검사에 참여하고 있지도 않다. 따라서 우리나라의 교육과정과의 연계를 위해 국가수준의 초등 전기용 수학 능력평가 검사를 자체 개발하는 것이 바람직할 것이다. 한편, 우리나라는 초등 후기의 학생들(4학년)의 수학 능력 평가를 위해 4년 주기로 TIMSS 검사에 참여해오고 있으므로, TIMSS 검사의 점수를 국제 공통의 발달점수척도로 연계할 수 있다. 그러나 초등 전기용 국가수준 검사와 TIMSS 검사는 국제 공통의 수학 능력평가 검사와 공통의 문항을 공유할 가능성은 거의 없을 것으로 예측되기 때문에 검사연계를 위한 검사자료는 단일집단 설계를 통해 수집되어야 할 것이다. 본 연구에서 서술된 검사 연계를 포함한 여러 유형의 검사 연계의 이론과 실제는 Dorans et al.(2007)에 자세히 수록되어 있다. 판단적 조정 방안을 예시를 통해 설명하면 다음과 같다. 설명의 구체성과 편의를 위해 평가영역과 예시 국가를 수학과 우리나라로 국한한다. Ⅲ장에서 수학 영역은 수와 연산, 기하, 측정, 자료의 4가지 영역으로 구성됨을 확인하였다. 이러한 전제 하에서 이 방안의 실제적 적용은 다음과 같이 이루어질 수 있다. 첫째, 기준설정 작업을 적용할 초등 전기 및 후기의 국가수준 혹은 국제 수학능력평가 검사를 선정한다. 우리나라의 경우 초등 전기용 국가수준 수학능력평가 검사는 시행되지 않고 있으며, 초등 후기용 검사는 국가수준 학업성취도평가의 수학 검사로 6학년에 시행되다가 중단된 상태이다. 한편, 우리나라는 초등학교 4학년생들과 중학교 2학년생들이 TIMSS 국제평가에 참여하고 있다. 앞 절에서 요약하였듯이, 4년 주기로 실시되는 TIMSS는 수학 영역의 수와 연산, 기하, 측정, 자료의 4가지 영역을 모두 평가한다. 즉, TIMSS 수학 검사는 초등 후기용 수학 영역의 학습성과를 측정하는 도구로 사용될 수 있다. 세계 각국의 학습성과를 측정할 수 있는 지표 개발을 위해서 본 연구에서는 수학 영역의 학습성과를 명세화하였다. 학습성과의 요소를 내용 영역, 내용 요소, 성취수준으로 구분하고 각각을 분석하였다. 내용 영역은 수와 연산, 기하, 측정, 자료의 4개의 영역으로 구분하고, 내용 요소는 초등 전기와 초등 후기로 구분하여 제시하였다. 성취수준은 기초, 보통, 능숙, 탁월의 4개의 수준으로 구분하여 각각의 수준에 해당하는 성취수준을 구체적으로 제시하였다. 이와 같은 결과를 통해서 국제 학습성과 지표 개발을 위한 몇 가지 시사점을 도출할 수 있다. 첫째, 수학 영역의 국제 학습성과 지표가 개발된다면, 각국의 학습성과를 측정할 수 있다. 초등교육 단계에서 수학 영역의 경우에, 대륙과 경제수준을 넘어서 여러 국가의 초등 수학 교육과정 속에 공통된 흐름이 있음을 알 수 있었다. 만약 문서로 된 교육과정처럼 실제 교육이 이루어진다면, 아동이 어느 나라, 어느 지역에서 교육을 받아도 일반적으로 학습할 것으로 기대하고 의도하는 수학 내용이 존재할 뿐만 아니라 어느 정도로 성취할 수 있다는 정도를 추측할 수 있다. 읽기 영역의 학습성과를 국제적으로 비교하기 위해서는 각국의 읽기 교육과정의 내용이 유사한지 혹은 상이한지를 우선 파악할 필요가 있다. 각국 읽기 교육과정에 유사성이 없다면 읽기 영역의 학습성과를 측정하더라도 그 결과를 해석하는 데 한계가 있을 수 있기 때문이다. 읽기 영역 교육과정은 국가마다 동일하지 않지만 공통점이 존재한다. 본 연구와 같이 전 세계 아동의 학습의 질 점검을 위한 기초 연구를 수행하는 맥락에서, UNESCO-UIS(2012)는 개발도상국들의 수학 및 읽기 교육과정과 교과서(초등학교 5, 6학년)를 검토한 바 있다. 이에 따르면, 바하마, 버뮤다, 보츠와나, 캄보디아, 카리브해 지역, 칠레, 콜롬비아, 코스타리카, 도미니카공화국, 엘살바도르, 과테말라, 자메이카, 레소토, 멕시코, 니카라과, 파키스탄, 파나마, 파라과이, 페루, 필리핀, 남아프리카공화국, 스리랑카, 태국 등 23개국의 읽기 교육과정과 교과서를 분석하였다(UNESCO-UIS, 2012, pp.60-64).