직업적 전문성 평가를 위한 문턱 역량 및 성과 지표의 설정과 교육자 성취도 향상을 위한 수행 피드백 및 보상 전략의 효과성 doc_id PCY_201902220415228061_11

직업적 전문성이라는 평가 요소를 따로 확보하여, 좀 더 전문적인 기술 영역에 대해 평가할 수 있도록 하였다. 각 직업성 전문성은 학생들이 선택한 직업에 필요한 문턱 역량 (threshold competence) 을 계발하는데 필요한 지식, 기술, 행동 양식을 발전시킬 수 있도록 하고 있다. 문턱 역량은 중요한 평가 지표로서 학생들이 취업 후 회사의 적절한 지원 아래 더욱 완고한 직업적 역량을 계발하기 위한 충분한 준비가 되어 있다는 것을 보여주는 지 표이다. 문턱 역량은 교실, 작업장, 혹은 모의 작업 환경에서 기술 자격 과정을 이수하는 학생들에게 기대할 수 있는 최대한의 직업적 역량에 가깝게 설정된다. 16-19세에 해당하지 않는 학생들도 T 레벨 과정을 이수할 수 있지만, 문턱 역량은 16세에 기술 자격 과정을 시작하는 학생들이 T 레벨 과정 동안 충분히 계발할 수 있는 수준의 역량을 기준으로 하고 있다. 구인 활동을 하는 사업체들이 학생들이 보유한 자격에 대해 정확하게 이해할 수 있도록 하기 위해, 각 직업적 전문성의 칭호는 해당 산업계에서 통용되는 기준의 칭호와 연계될 수 있도록 한다. 직업적 전문성에 포함되는 지식, 기술, 행동 양식은 학생들이 규정된 성과 지표 (performance outcomes)를 달성할 수 있도록 해야 한다. 성과 지표는 전문적 지식, 기술, 행동 양식을 학습하고 실전에 적용하는 연습을 충분히 완수한 학생들이 구체적으로 어떤 분야의 일을 수행할 수 있는지 알려 주는 지표이다. 성과 지표는 학생 자신이 선택한 직업의 문턱 역량을 계발하였으며 이에 따라 구체적으로 수행할 수 있는 일의 영역을 보여줄 수 있다. T 레벨 전문가들은 각 직업적 전문성 영역에 해당하는 성과 지표를 명시해 놓았는데, 다음은 그 예시이다. 직업적 전문성 요소에 대한 최종 성적은 해당 학생이 문턱 역량을 보유하고 있는지에 대한 여부를 쉽게 판단할 수 있도록 표시되어야 하므로, 최소 문턱 역량 보유 여부를 표시하는 ‘통과’ 등급으로 평가 될 것 이다. 문턱 역량은 학생들이 서로 긴밀히 연관이 있는 여러 개의 활동을 모두 성공적으로 달성할 수 있는 능력이 있는지에 대해 보여준다. 그러므로 예를 들어, 소프트웨어 결함을 성공적으로 해결하거나 벽돌담을 잘 구축하는 등의 별도의 특정 활동만을 잘 수행했다고 문턱 역량을 높게 평가해서는 안 된다. 평가자들은 다양한 성과 지표를 종합적으로 사용하여 학생들이 문턱 역량을 제대로 달성 했는지에 대한 여부를 평가할 수 있어야 한다. 하지만, 학생 A가 모든 성과 지표에 걸쳐 매우 우수한 성과를 내면서 문턱 역량을 뛰어넘을 수 있는 반편 학생 B는 각 성과 지표에 해당하는 성적이 들쑥날쑥하지만 문턱 역량을 뛰어 넘는 총점을 받을 수도 있다. 비록 두 학생 모두 문턱 역량을 뛰어 넘었다고 평가하지만 A 학생이 보인 전체적 역량은 B 학생의 역량보다 높다고 할 수 있다. 필수 요소는 절충적 평가 방식 (compensatory assessment methods) 을 채택하고 있다. 절충적 평가 방식은 각 평가 요소의 성적을 따로 분리하여 계산하지 않고 총점으로 평가하는 종합적 평가 방식으로서, 하나의 평가 요소에서 낮은 점수를 받는다 하더라도 다른 평가 요소에 높은 점수를 받는 방식으로 점수를 보완할 수 있다. 평가의 신뢰도 및 타당도 확보를 위해, 필수 지식 및 이해 영역과 필수 기술 영역은 분리되어 평가되어야 한다. 하지만, 필수 요소에 대한 성적은 위의 두 영역의 점수를 모두 합한 총점으로 산출된다. 비록 총점으로 학생들의 성취도를 평가하고 있지만, 교육 기관은 학생들이 전체 평가 요소를 고르게 공부하지 않은 채 일부 평가 요소만을 공부하여 필요한 총점을 채우려는 경우가 발생하지 않도록 평가 방식을 철저하게 설계할 필요가 있다. 이를 위해, 각 교육 기관은 필수 지식 및 이해 영역과 필수 기술 영역을 모두 아우르는 최소 점수 기준을 세워야 한다. 이러한 교육자 효과성 및 학생 성취도 향상이 실현되기 위해선, 지역구들이 수행 피드백 및 수행 장려금 제도를 구상 및 적용하는 방식과 더불어 그러한 전략에 대한 교육자들의 태도가 중요하다. 예를 들어, 수행 피드백 및 수행에 대한 보상의 지지자들에 따르면 수행 측정 도구는 교육자들의 강점과 약점을 구별해야 하며, 학생 성취도 향상에 있어 중요한 수행 (practices)의 차원들을 담아내야 한다. 또한 수행에 대한 보상은 교육자들에게 행동 변화에 대한 동기를 부여할 수 있도록 해야 하며, 교육자들은 장려금 지급 프로그램에 대해 이해하고 유의하여야 한다. 더 나아가 지지하지 않는 계획의 실행은 교육자들의 직업 만족도를 낮추고 결과적으로 그들의 효과성을 감소시키므로, 이러한 계획에 대한 교육자들의 지지를 얻는 것은 중요하다. 만약 수행 측정 도구 혹은 수행 장려금 지급 프로그램이 이러한 목표(goals)에 미치지 않는다면, 이를 통해 학생 성취도를 향상시킬 수 있는 여지는 줄어들 것이다. TIF와 TSL 프로그램에 의해 촉진된 두 가지 전략의 효과성에 대해 더 알아보기 위하여, IES는 두 개의 무선 할당 연구를 지원하였다. 하나는 수행 피드백에 대한 연구이고, 다른 하나는 수행에 대한 보상에 초점을 둔 연구이다. 각 연구에서 초·중등학교에 대한 전략 적용 여부는 무선적(randomly)으로 결정되었다. 또한 각 연구에서는 두 집단에 속한 학생들을 매년 봄에 비교하였다. 무선 배정(random assignment)을 적용하였기 때문에 전략 시행 후에 나타나는 두 집단 간 성취도의 차이는 전략에 의한 것이라고 볼 수 있다. 각 연구에서는 학생들이 학교에 등록한 기간과 무관하게 매 학년도 말 연구 대상 학교에서 시험을 본 학생들의 결과에 기반을 두어 그 차이를 계산하였다. 비록 두 연구 모두 TIF와 TSL 프로그램에서 촉진하는 전략들에 초점을 두었지만 두 연구는 서로 다른 학교 유형, 측정 도구, 피드백 척도를 사용하였다. 도식 2는 두 연구의 이러한 차이와 기타 주요 특성들을 요약한 것이다. 수행 피드백 연구는 수행 측정 도구를 통해 교육자들을 평가하고 이 평가 정보를 피드백 제공을 위해 사용하는 전략에 대해 살펴보았다. 교사와 교장들은 2년 동안 추가적인 피드백을 받았다. 교장들은 360도 설문 조사 도구(360-degree survey tool)를 통하여 그들의 지도성에 대한 등급과 구두 피드백을 일 년에 두 번 제공받았다. 이때 교장들은 지도성의 여러 측면에 대한 개별 등급(예: 학생들의 학습에 대한 높은 기준, 전문가적 행동(professional behavior) 및 학습 문화)뿐만 아니라 전반적인 지도성에 대한 등급도 받았다. 비록 수행 피드백 연구에서의 전략들은 TIF 또는 TSL에서 직접적으로 지원하는 것이 아니었지만, 해당 프로그램들에서 촉진하는 수행 피드백 전략들과 유사하였다. 이 연구에서는 수행의 측정이 채용 또는 승진에 대한 의사결정과 같이 실질적인 결과와 결부되지 않았다. 그 대신 측정 결과는 교육자들과 그들의 책임자에게 수행에 대한 정보를 제공하기 위해 사용되었다. 이러한 정보는 지원이 필요한 교육자를 식별하고 개선이 필요한 영역을 짚어줄 수 있다.