문맥 (context)
국제 학업성취도 평가는 각국의 교육과정과 학생들의 인지적·정의적 성취를 비교하여 자국의 교육 시스템을 체계적으로 점검할 수 있는 객관적인 데이터를 제공하는 대규모 국제비교연구라는 점에서 의미를 갖는다. 이는 전 세계가 PISA, TIMSS, ICILS 등의 국제 학업성취도 평가 결과에 주목하는 이유이기도 하다. 또한 국제 학업성취도 평가는 각국 교육전문가 집단과 참여국이 함께 미래 사회에 요구되는 역량을 평가하기 위한 평가틀과 문항을 주기적으로 개발하여 최신의 동향을 반영한 평가를 시행하고 있다. 따라서 국제 학업성취도 평가의 변화 방향을 정확히 인지하고, 그 결과를 기반으로 우리나라의 교육이 시대적 요구에 부합하는 인재를 양성하기에 적합한지를 지속적으로 점검할 필요가 있다. 지식정보화 사회에서의 역량 평가를 위해 최근 국제 학업성취도 평가에서 나타나고 있는 변화를 PISA를 중심으로 살펴보면 다음과 같다. 기본적으로 PISA는 주영역인 주기마다 각 영역에서 새롭게 강조되는 역량을 포함하여 개선된 평가틀과 평가 문항을 토대로 평가를 시행한다. 이밖에 시대적 요구를 반영하여 두드러진 변화는 평가 영역의 확대와 평가 방식의 변화를 들 수 있는데, 이는 문제해결력 평가와 컴퓨터 기반 평가의 도입으로 구체화할 수 있다.
PISA는 OECD 회원국의 교육 산출 지표를 조사하기 위해 실시되는 평가로, 대부분의 OECD 회원국에서 의무교육이 종료되는 시점에 있는 만 15세 학생들을 대상으로 하여 학교에서 학습한 지식을 실생활의 상황과 목적에 맞게 활용하는 능력(literacy, 소양)을 평가한다. 2000년에 시작한 PISA는 읽기, 수학, 과학 영역으로 구성되어 있으며 3년 주기로 읽기, 수학, 과학 소양(literacy) 수준과 변화 추이를 파악하고 각 영역 소양의 성취에 영향을 주는 배경변인과 소양의 관계를 분석하여 연구 참여국에서 교육정책을 수립하는 데 기초 자료로 활용한다. PISA 2006부터 일부 영역에 컴퓨터 기반 평가를 도입해 왔는데, PISA 2015부터는 모든 영역에 적용 될 예정이다. PISA 성과를 살펴보면, PISA 2000에서 읽기 6위, 수학 3위, 과학 1위를 기록한 이래 지속적으로 높은 성취를 나타내고 있으며 최근 PISA 2012 결과 수학 1위, 읽기 1~2위, 과학 2~4위로 발표되었다.
우리나라의 교육과정을 점검할 수 있는 또 다른 국제 학업성취도 평가 중에 하나인 TIMSS는 4학년과 8학년을 대상으로 국제 수준에서 합의된 수학 및 과학 교육과정에 근거하여 4년간의 변화추이를 파악하고 있다. 이를 통해 참여국 학생들의 수학과 과학 성취도 수준 및 성취도의 변화추이를 파악하고, 수학과 과학 성취도와 이에 영향을 주는 배경변인의 관계를 분석함으로써 연구 참여국의 교육정책 수립에 기초 자료로 활용하고 있다. 우리나라는 TIMSS 1995부터 1999, 2003, 2007, 2011을 거쳐 현재 6주기인 TIMSS 2015까지 지속적으로 참여하고 있으며 매 주기마다 우수한 성적을 보이고 있다. 우리나라 초등학교 4학년의 경우, 첫 주기인 TIMSS 1995와 TIMSS 2011 모두에서 수학, 과학 각각 2위, 1위로 매우 높은 성취를 보였다. 중학교 2학년에서는 수학의 경우 첫 주기인 TIMSS 1995에서는 3위였으며, 가장 최근에 발표된 TIMSS 2011에서는 1위를 차지하였다. 과학의 경우는 TIMSS 1995에 4위에서 약간 하락하였다가 TIMSS 2011에는 3위로 상승하였다.
우리나라에서는 창의인재를 육성하고자 하는 일원의 하나로 핵심역량 중의 하나인 컴퓨터 정보 소양을 측정하고 있는 ICILS를 시행하고 있다. ICILS는 세계적으로 디지털 환경 구축이 가속화되고 정보통신기술(Information & Communication Technology, ICT) 관련 소양 교육의 중요성이 점차 증대함에 따라 국제적인 수준에서 초등학교 4학년과 중학교 2학년 학생들의 컴퓨터·정보 소양 수준을 진단, 이해하기 위해 시행되고 있다. 이를 통해 참여국 학생들이 디지털 시대를 살아가는 데 필요한 능력을 지원하고, 컴퓨터·정보 소양 능력, 컴퓨터 및 관련 기기의 활용 정도, 그와 관련된 태도를 파악코자 한다. ICILS 2013 결과는 올해 발표되며 이 결과를 통해 우리나라 컴퓨터 및 정보 교육 개선 및 정책 선도에 많은 시사점을 줄 것으로 생각된다.
이러한 맥락에서 오늘날 실생활의 많은 문제해결 과제는 개인보다는 팀을 중심으로 수행되는 경향이 확산되고 있고, 교육적·직업적·사회적인 문제해결 상황에서 협력하여 일을 효과적으로 분담하고, 다양한 지식·관점·경험으로부터 정보를 통합하는 것이 핵심적인 요소이다. 이에 OECD에서는 협력적 문제해결력(Collaborative Problem Solving competency)을 미래 사회를 살아가는 데 있어 중요한 능력으로 간주하고 PISA 2015의 평가 영역에 포함시켰다. PISA 2015에서는 협력적 문제해결력을 ‘둘 이상의 가상 인물들(agents)이 문제를 해결하기 위해 지식, 기술, 노력을 끌어내고 서로의 이해와 노력을 공유하는 과정에서 한 개인이 효과적으로 참여하는 능력’으로 정의하고 협력 및 문제해결이 요구되는 상황을 제시하여, 각 학생이 주어진 상황 내에서 컴퓨터상의 가상 인물들과 상호작용하면서 문제를 어떻게 해결해 가는지를 평가한다.
PISA는 읽기, 수학, 과학에 대한 평가와 더불어 미래사회를 살아갈 학생들에게 중요한 ‘역량’ 중 하나인 문제해결력에 대한 평가를 시행해 오고 있다. 문제해결력 평가는 각 주기별로 특징을 달리하였는데, PISA 2003에는 범교과를 바탕으로 문제해결력을 평가했으며, PISA 2012에는 교과와 직접 관련되지 않은 개인적 문제해결력에 중점을 둔 컴퓨터 기반 문제해결력 평가를 시행했다. PISA 2015에는 실생활에 개인보다는 팀을 중심으로 문제를 해결해야 하는 경우가 많음을 반영하여 협력적 문제해결력(Collaborative Problem Solving) 평가를 도입하였다. 협력적 문제해결력 평가는 컴퓨터를 기반으로 이루어지며, 문제 상황에 대해 메신저나 이메일 등을 이용하여 컴퓨터상의 가상 인물들과 상호작용하는 대화 방식으로 진행된다. 문제 상황은 일정한 시나리오를 기반으로 하는 대화맵의 테두리 내에서 진행된다. 평가에 참여한 학생은 네 개의 대화 선택지 중 문제 상황에 가장 적합다고 여겨지는 한 개의 선택지를 선택하여 대화를 진행하거나 이메일의 내용을 작성할 수 있으며, 그 선택은 이후 진행되는 대화에 영향을 준다. 또한 대화를 통해 팀에서 결정된 바를 바탕으로 일정을 수립하거나 팀원의 담당 업무를 배정해야 한다.
국제 학업성취도 평가 연구 결과에 기반하여 우리나라에서는 교육 정책 및 교육 환경 개선을 위한 노력을 계속하고 있다. 특히, 2009 개정에 따른 수학과 교육과정을 개정할 당시에 TIMSS가 국제적으로 합의된 평가틀을 기반으로 하는 것임을 고려하여 내용 개정에 참고 자료로 활용하였다. 또한, TIMSS 결과에서 다른 나라에 비해 우리나라 학생들의 정의적 성취가 지속적으로 낮게 나타난 것을 개선하기 위해 수학 교육에서 ‘실생활 소재와 스토리텔링’ 방식을 활용하고 그에 대한 교사 연수를 실시하게 되었다. 뿐만 아니라 PISA 및 TIMSS에서 흥미도가 낮게 나타난 결과를 바탕으로 교육 여건을 진단하고 ‘창조경제를 견인할 창의인재 육성 방안’을 마련하고 STEAM 교육확대 및 웹기반의 미래형 과학교실 구축 등을 추진 전략으로 제시하였다.
지시문 (instruction)
다음 문맥을 읽고 질문에 답하시오.
질문 (question)
PISA 2015 평가에서 협력적 문제해결력을 측정할 때, 학생이 네 개의 대화 선택지 중 하나를 선택하여 대화를 진행하는 과정은 어떤 구체적인 기술적 도구를 활용하여 구현되는가?
추론 과정 (compact_reasoning)
-
1과제 해석
task_interpretation질문은 PISA 2015의 협력적 문제해결력 평가 과정에서 학생이 선택지를 고르는 행위가 어떤 구체적인 기술적 도구를 통해 이루어지는지 묻고 있다.
-
2정보 추출
information_extraction문맥에서는 PISA 2015의 협력적 문제해결력 평가가 컴퓨터를 기반으로 이루어지며, 메신저나 이메일 등을 이용하여 가상 인물과 상호작용하는 대화 방식이라는 점을 명시하고 있다.
- 협력적 문제해결력 평가는 컴퓨터를 기반으로 이루어지며, 문제 상황에 대해 메신저나 이메일 등을 이용하여 컴퓨터상의 가상 인물들과 상호작용하는 대화 방식으로 진행된다.
- 평가에 참여한 학생은 네 개의 대화 선택지 중 문제 상황에 가장 적합다고 여겨지는 한 개의 선택지를 선택하여 대화를 진행하거나 이메일의 내용을 작성할 수 있으며
-
3근거 선택
evidence_selection문맥은 평가 방식이 '컴퓨터 기반'이며 '메신저나 이메일 형태의 대화 방식'임을 설명하고 있으나, 이를 구동하는 구체적인 프로그램 명칭이나 기술적 구현 도구에 대한 정보는 제공하지 않는다.
- 협력적 문제해결력 평가는 컴퓨터를 기반으로 이루어지며
- 메신저나 이메일 등을 이용하여 컴퓨터상의 가상 인물들과 상호작용하는 대화 방식으로 진행된다.
-
4논리 통합
logical_integration제공된 정보를 종합하면 평가가 컴퓨터를 통해 메신저/이메일 형식을 빌려 진행된다는 점은 알 수 있지만, 질문이 요구하는 '구체적인 기술적 도구(예: 특정 소프트웨어 이름이나 시스템 명칭)'는 문맥 내 어디에도 나타나지 않는다.
-
5결론 도출
conclusion_formulation질문에서 요구하는 핵심 정보인 '구체적인 기술적 도구'는 문맥에 명시되어 있지 않으며, 주어진 방식(메신저, 이메일 형식)만으로는 이를 특정할 수 없다.
-
6답변 생성
answer_generation따라서 주어진 문맥만으로는 답을 확인할 수 없음을 최종 답변으로 결정한다.
최종 답변 (final_answer)
주어진 문맥만으로는 답을 확인할 수 없다.
분석 (analysis)
문맥은 PISA 2015의 협력적 문제해결력 평가가 컴퓨터 기반의 메신저나 이메일 형식을 활용한다고 설명하고 있으나, 이를 구현하는 구체적인 기술적 도구나 시스템 명칭은 언급하지 않는다. 질문에 답하기 위해서는 문맥에 없는 외부의 기술적 정보가 필요하다.