휴리스틱 과제분석(HTA)을 통한 대학 입학사정관의 서류평가 과정 및 전문적 지식 유형 분석 doc_id PCY_201910250359198571_2

학생부종합전형을 위한 입학사정관의 서류평가는 오랜 업무수행 과정에서 접하게 되는 다양한 사례들을 기반으로 축적된 경험과 지식을 통해 습득한 전문성을 필요로 하는 복잡하고 인지적인 과제로, 이러한 대학입학사정관의 전문성이나 과제 수행에 관한 실증적 연구는 많지 않은 편이다. 이에 본 연구에서는 대학 입학사정 업무와 관련된 다양한 수행맥락 및 조건, 단계 등을 분석하여 대학입학사정관의 구체적인 평가과정과 평가의 각 단계에서 활용하는 전문적 지식의 유형을 살펴보기 위하여 2007년부터 12년째 학생부종합전형을 운영해오고 있는 수도권 소재 4년제 A대학에 재직중인 입학사정관 2명을 대상으로 전문가의 과제 수행에 영향을 미치는 주요 변인 및 의사결정의 요인들을 분석해나가는 휴리스틱 과제분석(HTA)을 실시하였다. 전통적인 과제분석 연구들이 주로 절차적이고 구조화된 학습과제를 분석하기 위한 기법과 사례에 초점을 두고 있었던 데 비하여, 최근에는 복잡하고 비구조화된 인지적 과제를 분석하기 위한 모형과 기법을 소개하는 국내외 연구가 활발히 진행되고 있다(김선영·이혜정·양선영·김동식, 2015; 송창선·권혁진·김경태·김진하·이동식·손영우, 2014; Colby & Feldon, 2013; Zachary, Hoffman, Crandall, Miller & Nemeth, 2012). 특히 Lee & Reigeluth(2003)는 외형적으로 드러난 과제수행의 기저에 위치한 전문가의 암묵적 지식, 사고과정 및 구조에 대한 정보를 도출하기 위한 휴리스틱 과제분석(Heuristic Task Analysis, 이하 HTA) 모형을 제안하며, 과제수행에 필요한 전문가의 전문성을 크게 ‘영역에 대한 전문성(domain expertise)’과 ‘과제에 대한 전문성(task expertise)’으로 구분하였다. 최근 논란이 되고 있는 학생부종합전형 관련 쟁점의 핵심은 정성적 자료인 학생부자료를 평가하는 기준의 일관성과 공정성의 문제이며, 이는 학생부의 교과 및 비교과활동 기록과 자기소개서 내용을 ‘종합적으로’ 판단하는 입학사정관의 전문성과 밀접한 연관이 있다. 이에 본 연구는 수도권 소재 4년제 A대학의 입학사정관 2명을 대상으로 휴리스틱 과제분석(Heuristic Task Analysis)을 실시하였다. 2016년 12월부터 2017년 11월까지 총 4차에 걸친 전문가와의 개별 심층면담과 전문가 업무수행에 관한 참여관찰, 그리고 평가과정에서 전문가가 작성한 다양한 문헌 및 교육자료를 수집하여 분석한 결과, 대학입학사정관의 평가과정은 크게 1) 지원자의 경향 파악; 2) 제출서류 확인 및 학생 평가; 3) 평가 결과 재확인; 4) 위촉사정관과 평가 및 협의의 4단계로 구성되는 것으로 나타났으며, 각 단계별로 전문가들은 기술적 모형과 어림법칙, 심성모형, 결정모형 등 다양한 유형의 휴리스틱 전문지식을 활용하여 업무수행에 필요한 의사결정을 내리는 것으로 밝혀졌다. 본 연구는 HTA 모형에 기반을 두어 연구대상인 전문가 2인에 대한 심층면담과 참여관찰, 현존자료 분석을 실시하였다. 심층면담은 관찰가능한 전문가의 행동 뿐 아니라 표면적으로 관찰불가능한 지식, 사고과정 및 절차를 도출하는데 유용하게 활용될 수 있어 전문가의 과제수행 과정에서의 복잡한 인지과정과 전문적 의사결정의 기반이 되는 휴리스틱 지식유형을 도출하고자 하는 여러 선행연구들에서도 널리 활용되어 온 방법으로(Clark, 2014; 김선영 외, 2015), 본 연구에서는 2016년 12월부터 2017년 3월까지 총 4회에 걸쳐 총 5시간 분량의 면담자료를 수집하고, 선행연구들을 통해 도출한 전문가의 전문적 지식의 유형에 따라 ‘기술적 모형(descriptive models),’ ‘심성모형(mental models),’ ‘어림법칙(rules of thumb),’ ‘결정법칙(decision rules)’으로 구분하여 분석하였다. 심성모형(mental models)이란 복잡한 문제상황을 단순화하기 위하여 전문가가 여러 이론과 경험을 내재화하여 도출한 통합적 체계로, 앞서 언급된 것처럼 대학특성 및 현실보다는 국가지원사업으로서의 정책기조를 반영한 학생부종합전형의 제도적 특성과 모집규모의 급격한 확대로 인한 고교 현장의 변화 및 업무부담 증대라는 어려운 여건 속에서도 비슷비슷한 지원자의 전형자료들을 맥락적으로 해석하여 합리적이지만 융통성있는 평가기준과 근거에 따라 다양한 학생을 선발해야 하는 복잡한 문제상황을 해결하기 위해 본 연구에 참여한 전문가들이 평가과정에서 활용한 심성모형의 예를 살펴보면 다음과 같다. 먼저 전문가 B는 대학입학사정관이 복잡한 문제상황에 압도되어 전문가로서의 주도적인 관점과 기준이 흔들리는 것을 예방하기 위해서는 ‘평가’와 ‘선발’을 구분하고, ‘선발’의 관점에서 서류평가를 수행해야 한다고 설명하였다. 보통 전임 입학사정관이 대입에서 담당하는 업무를 ‘평가’라고 지칭하기 때문에 일반적인 관점에서는 지원자별로 ‘몇 점을 부여할 것인가’에 치중하여 지원자별 점수와 구체적 점수산정의 근거를 제시하는 데 치중하기 쉽다. 여러 유형의 전문적 지식 가운데 어림법칙(rule of thumb)이란 전문가가 복잡한 업무수행 과정에서 반복되는 절차를 자동화하여 보다 중요한 문제해결에 집중할 수 있도록 인지적 부담을 줄이고 업무처리의 효율성을 높이기 위해 활용하는 노하우를 뜻한다. 두 전문가는 증가한 평가인원을 효율적으로 평가하기 위하여 다양한 전략을 사용하고 있었다. 본 연구에서 전문가 B가 서류평가 과정에서 절대적으로 부족한 시간을 효율적으로 배분하기 위해 다음과 같이 학생들이 지원한 전공특성과 교과간의 연관성에 따라 학생부 상에 나타난 교과별 성적의 반영 정도에 차이를 두거나, 수백 명에 달하는 지원자들 간의 상대적 평가기준을 평가의 초기 단계부터 분명하고 효율적으로 수립하기 위해 먼저 고교 유형이 동일한 지원자 간, 또는 동일 고교 출신 지원자 간 비교 평가를 수행하는 경우가 어림법칙의 한 예에 해당한다고 볼 수 있다. 제한된 시간 내에 보다 효율적으로 전공 특성에 부합하는 학생들을 선발하기 위하여 전문가 B가 사용한 어림법칙은 전공별로 다음과 같이 평가에 반영하는 교과성적 비율을 달리하는 것이었다. 먼저 지원자의 출신 고교 정보에 특이점이 없는 경우, 개별 교과의 성적을 따로 평가하기 보다는 주요 교과의 성적평균을 기준으로 해당 전공의 전체 지원자 평균 대비 해당 학생의 상대적 순위를 파악하되, 기초학업능력(‘지성’)이 중요한 전공의 경우 비교과활동 대비 관련교과 성적 반영도를 높이고 기초학업능력보다는 전공에 대한 관심이나 적극성 등 ‘적성’이나 ‘인성’이 중요시하는 전공의 경우에는 교과성적 대비 비교과활동의 성적 반영도를 높이는 것이다. 전문가 A가 활용하는 또다른 어림법칙의 예로는 가능한 한 지원자가 제출한 모든 서류들을 꼼꼼히 읽어보되, 제출서류 별로 평가에 반영하는 목적을 구분하여 각 서류별로 주안점을 두고 살펴보는 기준을 최대한 단순화하는 것이다. 전문가 A에 따르면 학교생활기록부는 ‘남이 보는 나’ 즉 학생에 대한 교사의 평가를 확인하기 위한 근거자료인 반면, 자기소개서는 ‘내가 보는 나’ 즉 학생의 자기이해 자료로 평가에서 활용되는 용도가 구분된다. 결정법칙(decision rules)이란 전문가가 다양한 유형의 지식과 정보들을 언제, 어떻게 사용할 것인지 판단하기 위한 내적 기준으로, 본 연구에 참여한 2인의 전문가들은 각자 자신만의 결정법칙에 따라 전공특성 및 지원자의 개인적, 환경적 특성에 따른 평가기준의 기준점을 조정하기 위한 내적 기준을 적용하고 있었다. 학생이 지원한 전공에 따라, 또는 출신 고교의 교육과정이나 개인적 배경에 따라 평가기준의 기준점을 달리 한다는 것은 평가의 맥락에 따라 전임 입학사정관의 의사결정의 근거가 되는 전형자료의 유형 또는 전형자료별 요소들이 달라질 수 있음을 뜻하는데, 이러한 전문적 판단의 근거가 되는 결정법칙의 예를 살펴보면 다음과 같다. 먼저 전문가 A는 지원자의 교과성적 반영정도를 결정하기 위해 출신 고교의 유형 및 평준화 여부에 따라 해당 고교의 A대학 지원 경향과 최근 2년간 해당 고교 출신 합격자들의 대학입학 후 학업성취를 종합적으로 살펴보고 있었는데. 예를 들면 특목고나 자사고, 그리고 일반고 중에서도 과학중점고 출신 학생들은 다른 고교유형 출신 학생들에 비해 학습활동의 범위가 넓거나 깊기 때문에 고교 수준에서 가능한 전공관련 역량 및 활동의 범위와 깊이를 가늠해볼 수 있는 자료로 활용하기 위해 이들의 활동내역은 좀더 상세히 살펴볼 필요가 있다. 전문가 B 또한 자신만의 결정법칙에 따라 개별 지원자가 전공과 관련하여 나타내는 성과의 우수성에 따라 평가기준의 기준점을 조절하고 있었다. 즉, 교과 성적이 다소 낮더라도 자신의 전공과 관련하여 깊게 탐구했거나 리더십 역량이 뛰어난 학생 등 일반적인 학생들보다 우수한 성과나 역량을 보인 학생들의 경우, 대학 입학 후 전공에 대한 기여도가 높을 것이라는 판단 하에 좋은 평가점수를 주고 있었다. 다만 이러한 경우에도 전공특성에 따른 기초학업능력의 하한선을 고려하여, 컴퓨터공학 등 특정한 전문소양이 필요한 학과의 경우에는 기초학업능력보다 전공에 대한 관심 및 지식을 수학교과 점수에 비해 높게 반영하지만 자연과학계열이나 일반적인 공과계열 전공의 경우에는 수학교과 점수와 같은 기초학업능력의 반영률을 높이는 것으로 나타났다.