수강명령제도의 운영 및 프로그램 효과성 분석을 위한 과정평가 방법론과 조사 설계 doc_id PCY_201704100441047781_5

과정평가(process evaluation)는 프로그램에 대한 평가에 있어 왜 그 프로그램이 그러한 효과성을 가져 왔는지, 그렇지 못했는지에 대하여 좀 더 구체적인 설명을 하려고 노력한다는 의미에서 이론적인 작업이라고 할 수 있다. 이상적인 과정평가는 처음에 의도한 효과, 효과 없음, 반대효과, 부수효과까지 어떠한 정책을 통해 나타나는 모든 종류의 결과를 분석하는 과정이라 할 수 있다. 따라서 과정평가를 정의할 때 앞에서 언급한 여러 효과 가운데 특정효과에 초점을 맞추는 것이 아니라 어떤 효과에 대해서든 그러한 효과가 발생한 이유를 다양하게 설명하는 것이 바로 과정평가라고 할 수 있다. 과정평가를 수강명령제도 운용에 적용한다면 평가 후 결과에 대한 자료를 얻을 수 있을 뿐만 아니라, 결과물이나 집행과정, 환경 등이 어떻게 상호작용을 하며 영향을 미쳤는가에 대한 자료도 보충할 수 있다. 또한 그렇게 얻은 자료는 수강프로그램 운영과정을 수정하고 보완하는 데 매우 실질적인 역할을 할 수 있다. 본 연구에서는 이러한 과정평가방법을 활용하여 수강명령제도 운용 전반에 대해 파악하려고 한다. 제2부의 제2장에서는 수강명령프로그램의 운영에 대한 평가가 이루어진다. 2장에서는 현장실무가들이 인식하는 운영의 전문성과 체계성, 효율성, 업무환경, 개선사항 등에 대한 조사결과를 통해 수강명령프로그램 운영전반에 관한 평가결과를 제시할 것이다. 현장실무가라 함은 전국의 수강센터와 보호관찰소 및 지소에서 수강업무와 관련된 일을 하는 보호관찰직원과 외부강사를 의미한다. 즉 설문대상자에는 내부직원과 외부강사가 혼재되어 있다. 수강명령제도 운용의 전문성과 체계성, 효율성, 업무환경, 개선사항 등에서 내·외부의 시각이 어떤 차이가 있으며, 내부직원 간에도 채용경로와 근무기간, 직급, 센터근무자와 비센터 근무자간에 어떤 차이가 있는지 분석함으로써 수강명령제도를 운영하는 기관내부와 주체들이 느끼는 문제점을 파악하였다. 수강명령제도의 운영에 대한 평가는 전체 수강프로그램을 대상으로 하나 제3부에서 서술된 수강명령프로그램의 효과성 평가는 성범죄자 치료프로그램, 가정폭력 치료프로그램, 약물중독 치료프로그램, 알코올중독 치료프로그램 4개의 표준화된 프로그램을 대상으로 실시하고자 한다. 수강명령제도의 운영평가가 전체 수강프로그램을 대상으로 실시되는 반면, 프로그램의 효과성 평가가 4개의 프로그램으로 한정된 이유는 다음과 같다. 첫째, 연구비와 연구기간 등 제반 조건을 고려할 때, 보호관찰에서 실시되는 표준화되지 않은 프로그램까지 포함한 모든 프로그램의 효과성을 실시한다는 것은 사실상 불가능하며 비효율적이다. 둘째, 성구매자를 대상으로 한 교육프로그램인 존스쿨과 같이 지속적으로 빈번하게 효과성 평가가 이루어지는 프로그램도 제외되었다. 대상자들의 프로그램에 대한 인식 설문은 선행연구과 각 프로그램 매뉴얼에 나오는 프로그램의 목적을 바탕으로 연구진들이 일차 설문을 만들고, 워크숍을 통해 전문가와 실무가로부터 자문을 얻어 최종 설문을 완성하였다. 프로그램에 대한 인식 설문도 사전설문과 사후설문으로 나누어지며 이는 프로그램간에 공통된다. 사전검사는 수강 효과성에 영향을 주는 내재변인을 살펴보고자 하는 목적으로 실시되었으며 수강 프로그램 개시일에 심리척도와 함께 실시하였다. 사전검사는 수강프로그램의 효과성에 대한 기대(1문항), 수강프로그램에 임하는 마음의 자세(1문항), 변화에 대한 의지(1문항), 이번 처분에 대한 인식(2문항), 피해자 책임귀인 정도(1문항), 사건에 대한 반성 정도(1문항) 등으로 구성되어 있다. 사전·사후 검사지는 전문프로그램의 매뉴얼에 따라 별개로 작성하였는데, 각 프로그램의 효과성을 검증하기 위해 법무부 보호관찰과에서 전문프로그램별로 자체 제작한 검사지를 연구진이 수정·보완하였다. 보호관찰과에서 만든 사전·사후 검사지는 각 전문프로그램의 매뉴얼대로 대상자의 심리와 행동에 긍정적인 변화가 있었는지를 측정하기 위한 목적으로 제작되었다. 원래는 성폭력 805문항, 가정폭력 357문항, 약물 215문항, 알코올 272문항인데 문항수가 많고 내용이 어려워 보완이 필요한 상황이었다. 연구진이 수정·보완한 사전·사후 검사지는 성폭력 135문항, 가정폭력 124문항, 약물 94문항, 알코올 120문항으로 원래의 사전·사후 검사지를 바탕으로 하였으나, 몇 개의 척도만을 사용하여 문항수를 줄이고 일부 문항은 이해하기 쉽도록 수정하였다. 공통설문 사후조사는 동일한 응답자에 대해서 수강 프로그램이 종료되는 시점에 심리척도와 함께 시행하였다. 사후조사에서는 프로그램에 대한 수강자들의 인식과 태도를 중심으로 조사하였는데, 성범죄자 치료, 가정폭력치료, 알코올치료, 약물중독치료 4개의 수강 프로그램이 지향하고 있는 목적을 토대로 연구진간 회의를 거쳐 측정문항을 완성하였다. 즉 프로그램을 이수한 사람들이 평가하는 프로그램의 효과성과 프로그램에 대한 만족도 등을 살펴보고자 한 것이다. 구체적인 문항은 수강프로그램의 효과성에 대한 인식, 프로그램의 재범방지 효과성 인식, 프로그램에 몰입한 정도, 강의방식에 따른 효과, 함께 교육받은 사람들과의 관계, 강의 환경에 대한 평가, 프로그램 진행자 평가, 프로그램 내용 평가 등이 있다. 수강명령대상자에 대한 심층면접의 질문은 첫째 기본적인 인적사항, 둘째 이전 전과 및 현재 범죄사실, 셋째 수강명령처분에 대한 인식, 넷째 수업운영 및 수업내용에 대한 인식, 다섯째 수강의 효과성에 대한 인식, 이상 다섯 가지 범주의 질문으로 구성되어 있다. 기본적인 인적사항은 가족관계, 거주지, 연령, 직업, 학력 등을 질문하였다. 이전 전과와 현재의 범죄 사실은 대상자에게 직접 질문하기도 하고 면접이후에 담당 보호관찰관에게 확인하기도 하였다. 수강명령처분에 대한 인식은 수강명령처분의 수용정도, 프로그램 수강 이전의 인식 등을 질문하였다. 수업운영 및 수업내용에 대한 인식은 수업시간의 구성 및 강사, 구성원간의 관계에 대한 만족도, 특히 인상적인 프로그램과 지루했던 프로그램 등을 질문하였다. 수강의 효과성에 대한 인식은 수강프로그램을 들으면서 가장 좋았던 점, 수강종료이후 자신에게 나타난 변화, 수강효과의 지속가능성 등을 질문하였다.