NCS 학습모듈의 효용성 평가를 위한 평가지표 개발 및 평가체계 구축에 관한 연구 doc_id PCY_201803300227074151_3

일반적으로 어떠한 사물의 효용성을 평가할 때에는 만족도와 활용도를 반영한다. 그러나 효용성을 평가하는 평가지표는 효용성의 평가대상과 평가목표에 따라 포함하는 내용이 달라질 수 있을 것이다. 이 연구에서는 NCS 학습모듈의 특징을 분석하고 이를 토대로 학습모듈의 효용성 평가방향을 도출하였다. 아울러 평가를 실제로 실행할 때의 시간, 노력과 비용 등에 있어서의 효율성을 고려하였다. 우선 이 연구에서 평가의 대상이 될 NCS 학습모듈의 특징을 간략하게 정리하면 다음과 같다. NCS 학습모듈은 NCS를 교육·훈련기관에서 더욱 쉽게 적용할 수 있도록 하기 위하여 개발되었다. 현재 직업계고 실무과목 교과서에 포함된 학습모듈 이외에는 대부분의 학습모듈이 의무적으로 활용하도록 요구되지 않으며 교수자, 학습자, 기업 관계자와 취업준비생 등 NCS에 관심을 가지고 있는 사람이라면 누구나 NCS 포털사이트에서 학습모듈을 다운받아 내용을 분석하고 활용 여부를 판단하여 자율적으로 이용할 수 있다. 효용(效用)의 사전적 의미는 “보람 있게 쓰거나 쓰임 또는 그런 보람이나 쓸모”이다. 경제 분야에서는 “인간의 욕망을 만족시킬 수 있는 재화의 효능”이라는 의미로 사용된다(국립국어원, 2017). 성(性)은 “사람이나 사물 따위의 본성이나 본바탕”을 의미하므로 효용성은 “사물이 보람 있게 쓰이는 성질(性質)”을 의미한다고 볼 수 있다. 효용은 사물을 이용하는 사람의 주관에 따라 달라질 수 있다. 따라서 효용을 객관적으로 측정할 수 있는 척도는 존재하지 않고 효용의 크기를 기수적으로 측정하거나 각각의 효용을 비교하는 것은 어렵다(김상호 외, 2015b). 효용은 일반적으로 결과의 활용도에 초점을 두어 정의된다(나 승일 외, 2008). 효용과 유사한 단어들로는 효과, 효율, 유용, 만족, 성과 등이 있다. 평가(評價)의 사전적 의미는 “사물의 가치나 수준 따위를 평함, 또는 그 가치나 수준”(국립국어원, 2017) 그리고 “사물의 가치나 품질을 판단하거나 결정하는 것”(Webster's New World Collage Dictionary) 등이 있다. 일반적으로 교육과 관련한 평가에서는 평가대상의 장점과 가치를 결정하는 과정을 의미한다. 평가를 가치판단에 초점을 맞추어 정의할 때 교육과 관련된 어떤 대상의 장점, 질(quality), 가치 등을 판단하는 과정과 결과물로 규정된다. 평가대상에 특정한 기준을 활용하여 가치판단을 함으로써 의사결정에 유용한 정보를 제공할 수 있다(진재관 외, 2008). 체계(體系)란 “일정한 원리에 따라서 낱낱의 부분이 짜임새 있게 조직되어 통일된 전체”(국립국어원, 2017)를 의미한다. 따라서 평가체계는 평가를 위한 여러 가지 부분적인 활동들이 짜임새 있게 조직된 것을 의미한다고 볼 수 있다. 그러므로 평가체계 구축을 통해 평가대상에 대한 효과적인 평가활동을 수행할 수 있을 것이다. 평가활동은 평가목적과 논리 확인, 평가영역과 평가요소 설정, 평가기준 또는 척도 개발, 평가의 실행과 결과 해석 등의 절차에 따라 진행된다. 효용성을 구성하는 요소는 효용성을 평가하는 대상의 특성에 따라 달라질 수 있다. NCS 학습모듈의 효용성을 평가하기 위한 구성요소로 NCS를 활용함으로써 기인하는 효율성, 교재로서 학습모듈의 유용성, 학습모듈을 활용한 수업 운영 결과의 효과성 등을 생각해볼 수 있다. 첫째, 학습모듈이 NCS의 분류체계와 수행준거를 준용하는 것에서 기인하는 효율성이다. NCS의 수행준거와 동일한 학습목표를 제시하는 학습모듈을 활용함으로써 산업체 현장 요구 파악, 현장성 있고 구체적인 수업내용 제시, 학생 취업지도 등에서 용이하게 운영할 수 있는 측면이 있을 것으로 예상된다. 따라서 NCS 학습모듈의 학습목표에 해당하는 NCS의 수행준거에 대한 평가를 포함하는 것이 필요할 것으로 생각된다. 둘째, 직업교육·훈련을 위한 교재 내용으로 평가할 수 있는 유용성이다. 학습안내서로서 구성요소들이 충실하게 포함되었는가, 교재를 가지고 수업을 운영하기가 용이한가, 십습을 수행할 수 있도록 적절한 안내가 제시되어 있는가, 교육과정을 체계적으로 설계할 수 있는가 등이 효용성 구성요소에 포함될 수 있을 것이다. 이 요소는 NCS 학습모듈의 효용성 평가에서 가장 중요한 부분을 차지한다. 평가자는 평가기관 또는 실제 평가수행자를 말하며 평가의 객관성과 공정성, 평가결과의 정확성과 수용성에 영향을 미친다. 평가시기는 평가대상을 가장 정확하게 평가할 수 있는 시점을 말한다. 평가체계를 구성하는 이러한 요소들은 독립적이지 않으며 상호 유기적인 관계를 유지한다(진재관 외, 2008). NCS 학습모듈의 효용성 평가체계에는 평가지표, 평가방법, 평가절차와 평가결과 관리 방안 등을 포함한다. 평가대상을 효과적으로 평가하기 위해서는 평가의 기준에 대표성, 측정 가능성, 비교 가능성, 개선 가능성, 관리 가능성, 효율성 등의 특징이 포함되어야 한다. 첫째, 평가기준은 평가대상의 특성, 기대역할 등의 차원에서 평가대상을 대표하는 활동들이 중심이 되어야 한다. 둘째, 평가기준은 평가대상이 평가내용을 달성하고 있는 정도를 측정하는 것으로서 정량적 평가 또는 정성적 평가가 가능해야 한다. 셋째, 평가기준은 평가대상들의 상대적 우열을 가리고 비교할 수 있어야 한다. 넷째, 평가기준은 평가목적을 달성하고 평가결과를 통해 현재 상태를 개선할 가능성이 있어야 한다. 다섯째, 평가기준은 평가의 과정과 결과를 통해 평가대상을 관리하고 변화될 수 있도록 해야 한다. 그동안 교재 개발 경험이 많지 않은 산업체현장 전문가들이 비교적 짧은 기간 동안 개발한 학습모듈이 ‘쓸모 있게 활용될 수 있도록 개발되었는가’를 진단하고 개선 방향을 도출하는 것이 필요한 시점이라고 볼 수 있다. NCS 학습모듈에 대한 평가는 필요에 따라 일부만 선별하여 시행할 수도 있을 것이다. 학습모듈 평가에서 우선적으로 고려할 부분은 특성화고 실무과목에 포함되는 학습모듈, 전문대학에서 전공별로 활용도가 높은 학습모듈, 자격시험에 포함되는 학습모듈 등이다. NCS 학습모듈의 활용도를 정확하게 파악하기 위해서는 NCS 포털사이트에서 NCS 학습모듈 다운로드 현황을 더욱 세밀하게 파악할 수 있도록 개선할 필요가 있다. 현재의 시스템으로는 교육훈련기관별 교수자와 학생의 NCS 학습모듈 다운로드 현황을 정확하게 파악하기가 어렵다. 이 연구에서 제안한 평가지표에는 학습모듈뿐만 아니라 해당 직무 내용에 대한 기초 특성을 파악하고 관리하는 데에 이용할 수 있는 문항을 포함하였다. 이러한 정보는 학습모듈의 관리와 개선을 위한 의사결정뿐만 아니라 NCS와 직무교육을 위한 정보를 관리하는 데에도 활용될 수 있을 것이다. 이를 토대로 가장 활용도가 높을 것으로 예상되는 NCS 학습모듈의 개발 대상과 수준을 도출할 수도 있을 것이다. 학습모듈의 평가시기와 관련하여 신규로 개발된 학습모듈에 대해서는 ① NCS 학습모듈을 개발한 직후에 바로 평가, ② 학습모듈 개발 후 적용 1년~2년 이후에 평가, ③ 1안과 2안을 모두 실시하는 세 가지 방안을 제시한다. ④ 2013년부터 2016년 사이에 매년 개발된 학습모듈은 1안과 2안을 선택할 수 없는 사례가 상당수 있기 때문에 우선순위를 결정하여 평가하는 방법도 제안할 수 있다. 평가의 우선순위는 학습모듈을 가장 많이 활용하고 있는 특성화고 실무과목과 전문대학에서 가장 많이 사용되는 세분류 중에서 선정하는 것이 바람직할 것이다. 현재도 NCS 학습모듈이 계속해서 신규로 개발되고 수정·보완이 진행되고 있기 때문에 평가시기는 학습모듈의 신규 또는 수정·보완 개발 직후가 적합할 것이라는 의견과 더불어 평가의 목적이 교수자들의 피드백에 있다면 학습모듈이 개발되고 교육·훈련기관에서 1년~2년가량 활용한 이후가 적합할 것이라는 의견도 제시되었다. 교과서와 교수학습자료 등은 실제로 활용해 본 다음에야 문제점을 정확하게 파악할 수 있기 때문에 평가의 시기를 적용 이후로 조정할 필요가 있음을 주장하는 의견도 타당성이 있다. 일반적으로 교재의 효용성은 ‘활용도’와 ‘만족도’를 통해 평가한다. 이 연구에서는 실제로 학습모듈을 평가할 때 투입되는 시간, 노력과 예산에 있어서의 효율성을 중요하게 고려하였기 때문에 다음과 같은 한계 있다. 첫째, NCS 학습모듈의 활용도에 대한 전수조사는 고려하지 않았다. NCS 학습모듈은 학교단계나 훈련기관의 특성에 관계없이 누구나 활용할 수 있도록 하고 온라인 출판물의 형태로 제공하고 있기 때문에 이용자를 전부 찾아서 전수조사를 한다는 것은 거의 불가능하다. 둘째, NCS 학습모듈로 학습한 학습자의 만족도 평가는 실시하지 않는 것으로 계획하였다. 아직까지 학습모듈만을 교재로 활용하여 수업을 진행하는 사례도 드물 뿐만 아니라 8,590권에 달하는 학습모듈별로 조사가 가능한 졸업생과 수강생 집단들을 섭외하는 것에는 상당한 노력과 비용이 소요될 것이다. 따라서 이 연구에서는 평가위원으로 선정된 교육·훈련 전문가와 산업체 전문가들이 학습모듈에 제시된 내용을 평가하는 방식을 선택하였다. 이 연구에서 제안한 평가지표는 NCS 학습모듈이 ‘쓸모 있게 활용되고 있는가’보다는 ‘쓸모 있게 활용될 수 있도록 개발되었는가’를 평가하는 것에 더욱 초점을 맞추었다. 이 연구는 NCS 학습모듈의 효용성을 평가하기 위한 평가지표, 평가방법과 평가절차 등을 개발하는 것을 범위로 한다. 직무 분야별 특성에 따라 NCS 학습모듈에 대한 효용성 평가지표가 달라질 수 있을 것으로 예상하여 이 연구에서는 NCS 분류체계상의 대분류 중에서 대표성을 가질 수 있는 다섯 가지 분야를 고려하였다. 이 보고서에서 평가지표 개발을 위해 고려한 직무 분야는 기계, 금융·회계, 정보통신, 디자인, 수산양식이다. 그러나 이러한 직무 분야와 직업교육·훈련 분야 전문가들의 의견을 토대로 평가지표를 직무 분야별, 학교단계나 훈련대상 수준별 그리고 활용 용도에 따라 구분하여 개발하지는 않았다. 개발된 평가지표는 직무 분야에 관계없이 동일한 문항을 가지고 평가할 수 있도록 하였다. 그리고 평가지표는 학습모듈 활용 현황에 대한 조사를 통해 학습모듈의 활용도가 가장 높은 특성화고와 전문대학에서의 효용성에 초점을 맞추었다. 또한 교과서 또는 주교재로 활용되는 경우에 한정하여 개발하였다. 평가방법은 집체평가와 온라인평가의 두 가지 경우를 고려하였다. 평가절차에는 평가 준비, 모의평가와 본평가 실행 등이 포함된다. 평가를 실시할 때에 평가지표의 경우 ① 37개 문항으로 구성된 상세버전과 ② 16개 문항으로 구성된 간략버전을 활용할 수 있다. 두 가지 중에서 어떠한 양식을 활용하는 것이 바람직한가에 대해서는 전문가들의 의견이 일치되지 않았다. NCS 학습모듈의 내용에 대한 자세한 평가와 이를 토대로한 개선이 필요하다고 생각하는 전문가들은 전자를 선호하고 평가의 효율성을 더욱 우선시하는 전문가들은 후자를 선택하였다. 간략버전을 활용할 경우에는 평가항목이 대표성, 중요성과 포괄성 등을 갖도록 유의해야 한다. 평가방식의 경우에는 ① 오프라인 기반의 집체 평가방식과 ② 온라인 기반 평가방식의 두 가지 방법을 고려해볼 수 있다. 오프라인 기반의 집체평가는 평가위원들이 평가에 집중하고 궁금한 사항에 대해 서로 논의할 수 있는 환경을 제공하지만 평가자들을 섭외하는 데에 어려움이 있고 시간과 비용도 상당히 소요될 것으로 예상된다. 온라인평가를 실시할 경우에는 평가자들에게 부담이 줄어들지만 정확한 평가를 위해서는 오프라인 사전 연수가 반드시 필요하고 평가자들이 온라인상에서 평가점수 입력, 평가과정에서 필요한 논의 진행, 평가일정 관리 등을 수행할 수 있도록 온라인평가 시스템을 구축하는 비용이 발생할 수 있다.