인권교육의 장기적 전이 및 영향 평가를 위한 도전과제와 기여도 분석(C/A)을 통한 효과적인 접근법 doc_id PCY_201507300838075641_7

평가의 장기적 효과에 대한 평가 역시 복잡성을 한층 더한다. 예를 들어 교육 과정 또는 다른 유형의 인권교육 활동과 관련된 즉각적인 반응 및 학습(단기 성과 또는 결과)은 대부분 질문지를 나눠주고 결과를 취합함으로써 그런대로 쉽게 측정이 가능하다. 그러나 중기 성과 및 장기적 효과를 측정한 후 다음 단계로 넘어가는 것은 대부분의 교육가들에게 매우 까다로운 과제이다. 지속적인 접근법, 상이한 도구와 자원을 필요로 하는 장기 데이터의 취합 과정에서 장해물이 나타난다. 사회 변화 평가 역시 인권교육 평가에 중요한 문제를 제기한다. 예를 들어 행동 및 태도의 변화를 어떻게 효과적으로 측정할 수 있을 것인가? 개인과 집단의 변화를 어떻게 측정할 수 있는가? 그리고 인권의 발전에 있어 긍정적 변화를 확인할 수 있는 경우라 하더라도 그러한 변화가 구체적 인권교육 활동에 기인하는 것이라 할 수 있는가? 이 지침서에서는 인권교육 활동 평가의 실질적이고 종합적인 모형을 안내해주고 인권교육 활동의 결과를 입증하기 위해 필요한 데이터 수집 도구를 제시해줌으로써 이러한 과제들을 해결하고자 한다. 장기적으로 일어난 변화를 평가하고 이러한 변화를 특정 인권교육 과정과 연계시킬 수 있는지를 파악하고자 하는 노력은 비록 쉽지는 않지만 결코 불가능한 일은 아니다. 기여도 분석과 같은 새로운 접근법을 통합하고 보다 체계적으로 평가에 접근함으로써 인권교육 영향 평가에서 나타나는 지속적인 도전과제들을 해결하는데 도움이 될 것이다. 전이 및 영향 평가의 또 다른 도전과제는 인권교육 과정에 참여한 다양한 이해관계자 및 이전 학습자들과 관계를 유지하는 일이다. 처음에, 즉 다시 말해 교육 과정이 끝난 직후에는 학습자들이 다른 학습자들과 계속 연락하고 자신들의 이야기나 경험을 나누는데 여전히 열심이기 쉽다. 시간이 지나면서, 그리고 학습자들이 다시 자기 업무에 치이기 시작하면서 종종 소통이 뜸해지고 학습자들 간에 공동체 의식을 유지하기가 점점 어려워질 수 있다. 이전 학습자들과 관계를 계속 유지하기 위한 모범사례로는 이메일 그룹 목록을 설정한다거나 정기적으로 다양한 사안에 대해 질의하거나 피드백을 요청한다거나 학습자들에게도 역시 질의나 피드백 요청을 장려하고 사진을 공유하게 하고 가능한 한 자주 직접 만남을 갖게 하고 연락처 변동 여부를 계속 확인하는 것 등이 있다. 전이 및 영향 평가는 우리가 달성하고자 설정한 장기 성과를 향한 긍정적 움직임의 증거를 확립하겠다는 관점으로 접근해야 한다. 잘 설계된 평가 과정은 시간의 경과에 따라 수집한 정보 유형이 일관되며 이러한 정보를 누적적 관점으로 분석할 수 있도록 해준다. 교육 종결 후 총괄평가에서 수집한 정보가 시간의 경과에 따른 비교, 즉 예를 들어서 교육 종결 시에 학습자가 작성한 실천계획과 실제로 수행된 것을 비교하는 것이 가능하도록 전이 및 영향 평가와 연계되도록 하는 것이 이상적이다. 이런 식으로 결과를 추적하는 것이 효과적인 전이 및 영향 평가 수행의 핵심이다. 인권교육의 체계 접근법 논의에서 설명한 것처럼, 변화에 기여하는 요소들, 특히 보다 장기적인 차원에서 볼 경우에는 언제나 많은 요소들이 작용한다. 2007년 5월 캐나다 몬트리올에서 열린 국제 인권교육 평가 심포지엄에서 “인과(attribution)”의 문제가 다루어졌으며 인권교육에 있어서 전이 및 영향 평가에 대한 대안적 접근법을 모색해볼 것이 권고되었다. 데이터 분석 단계(4.11)에서 이러한 대안적 접근법의 하나, 즉 인권교육을 위한 전이 및 영향 평가 수행 역량을 강화시켜줄 수 있는 기여 분석(C/A)을 제시하고 있다. 성과 평가에 반대하는 이러한 주장은 영향 평가의 도전과제를 일부 드러내준다. 실제로 영향 데이터를 수집하기에는 언제나 “너무 이른” 것처럼 여겨지기도 한다. 수면에 퍼지는 파동과 마찬가지로 상황은 끊임없이 변화하고 영향은 심지어 주어진 사건 이후에 조차도 오랫동안 계속해서 느껴질 것이 분명하다. 상황이 끊임없이 변화한다는 사실은 인권교육가들로 하여금 영향 평가 수행을 단념시키게 한다기보다는 인권교육 과정 이후에 여러 시기에 걸쳐 학습자의 상황을 포착하는 것이 그만큼 중요하다는 점을 강조해준다. 보다 장기적인 차원의 어떤 변화가 실제로 달성되는지 현실적으로 접근하고 시간의 경과에 따라 다양한 간격을 두고 영향에 대한 데이터를 수집함으로써 인권교육가들은 기대성과 방향으로 이루어진 긍정적 움직임을 따라잡을 수 있게 될 것이다. 이를 통해 인권교육가들은 자신들이 달성하고자 설정한 기대성과, 목적, 세부 목표로 나아가는 경과를 측정할 수 있는 기회를 얻게 될 것이다. 어떤 활동이 사회변화에 기여하는지 알기 어렵다는 주장 역시 타당하다. 그러나 학습자 개인의 경험 및 집단적 경험의 분석을 통해 그럴 듯한 연계를 창출하는 것이 가능하며 인권교육과 학습자의 변화 스토리를 연계시키는 것이 가능하다. 기여도 분석(C/A)은 John Mayne(1999)이 개발한 것으로 2005년 호주 국제개발기구(the Australian Agency for International Development, AusAid)의 개발 지원 프로그램 평가에서 처음으로 적용되었다. C/A는 “어떤 프로그램이 영향을 미치고자 하는 성과에 미치는 기여도에 대한 정보를 제공하기 위해 수행되는 특정(유형의) 분석”이다. C/A는 장기적인 성과 또는 영향 달성은 시간이 걸린다는 사실을 인정하며 결과적으로 어떤 영향이 실현되기 전에 그 영향을 입증하려 하지 않는다. 인권 및 인권교육 프로젝트는 물론 개발 지원 프로젝트 역시 보통 상대적으로 단기간, 대개 3년에서 5년 기간에 걸쳐 이루어지기 때문에 보다 장기적인 변화를 측정하기가 어렵다. 주어진 시간 내에 현실적으로 측정 가능한 것은 어떤 프로그램과 성과 사이의 “우연한 연계(casual links)”가 아니라 성과를 향해 나아가는 경과이다. 어떤 활동 또는 프로젝트가 어떤 영향을 달성할 것이라는 가능성에 관한 정보 제공에 역점을 둔 C/A는 성과를 향해 나아가는 경과를 측정하는 효과적인 수단이 된다. C/A 과정의 개략적인 설명은 뒤에 나온다. 메인의 C/A에 대한 가장 최근 버전(2008) 은 어떤 프로젝트를 위한 논리 모형 또는 성과 사슬 개발, 데이터-수집 활동, 보다 장기적인 성과에 대한 대안적 설명 평가를 포함하는 6단계 과정을 제안하고 있다. 이 단계들을 밟아나감으로써 프로젝트 평가자는 성과와 프로젝트를 어느 정도까지 연계시킬 수 있는지를 설명해주는 그럴 듯한, 또는 신뢰할 수 있을 만한 “기여도 스토리”을 만들어낼 수 있게 된다. 메인(Mayne)은 이러한 분석의 목적은 어떤 성과에 대한 기여 여부를 입증하는 것이 아니라 보다 장기적인 성과에 활동 또는 프로젝트가 만들어낸, 또는 만들고 있는 기여 여부에 대한 불확실성을 줄이는 것임을 강조하고 있다. 관찰된 영향을 둘러싼 불확실성을 줄이는 데에 집중함으로써 C/A는 우리가 실제로 어떤 변화를 향해 기여했을 가능성에 대한 확실성을 수립할 수 있도록 해준다. 어떤 기여의 의미에 관한 불확실성을 줄일 수 있는 방법 중의 하나는 관찰 내용에 대한 대안적 설명을 평가해보는 것이다. 예를 들어서 학교 폭력 문제를 다루는 인권교육 과정에 참여했던 직원이 근무하는 학교에서 폭력 사건이 감소했다면 여러분의 조직이 이러한 영향을 미쳤다고 추정하기 전에 이 직원이 다른 조직에서 유사한 교육을 받은 적은 없는지를 먼저 확인해야 한다. 여러분의 기여를 설명하기 위해서는 여러분의 기여 정도가 어떻게 차별화되는지를 입증해야만 한다. 여러분의 기여도에 대한 불확실성을 줄임으로써 더욱 명확한 결과를 가져다줄 것이다. 대안적 설명을 배제하기 위해서는 일정한 고찰과 때로는 추가 조사가 필요하다. 메인의 주장에 따르면 우리의 “기여도 스토리”를 세울 때 우리의 조사결과의 신뢰성과 관련 제기될 수 있는 도전과제들을 해결하기 위한 추가적인 증거가 필요할 수 있다. 추가적인 증거를 찾는 일에는 내용 전문가 또는 수혜자에 대한 설문조사, 사례연구, 문헌 검토, 현장조사 등이 수반될 수 있다.