행정관리역량평가 실태 분석 및 개선방안 연구

앞서 살펴본 대로 행정관리역량평가제도의 운영 실태를 분석하기 위해서는 메타평가 방법론을 활용하는 것이 적절하다. 메타평가를 활용하여 다양한 평가 제도를 분석한 선행연구들에 따르면, 평가요소는 크게 평가환경, 평가투입, 평가수행, 평가결과, 결과활용의 5가지로 분류할 수 있다. 그리고 연구자에 따라, 또 대상 평가제도에 따라 각 요소별로 세부 평가항목이 매우 다양하게 구성되어 있다. 본 연구에서는 행정관리역량평가제도의 특성을 감안하여 평가기획, 평가과정, 평가결과라는 세 개의 요소로 구성하고자 한다. 행정관리역량평가는 중앙행정기관평가 중 자체평가에 속해 있다. 즉 정부업무평가의 핵심 부문인 중앙행정기관평가의 하위 평가영역에 속해 있고, 주요정책부문과 재정사업자율평가라는 자체평가의 다른 부문과 함께 수행되는 평가영역이기 때문에, 평가환경이나 투입 요소를 세분화하여 평가하기 쉽지 않으며 장점도 많지 않다. 메타평가는 ‘평가에 대한 평가’라고 할 수 있다. 그러나 메타평가에 대한 여러 학자들의 개념 정의에 따르면 크게 세 가지로 나눌 수 있다. 첫째 단일한 평가에 대한 평가로서(Cook & Gruder 1978) 평가자료, 평가과정, 평가결과에 대한 확인 점검 등 이미 수행된 평가에 대한 일종의 재평가이며 주로 사업평가 또는 정책평가를 대상으로 한다. 중앙부처의 재정자율사업평가에 대해 기획재정부가 수행하는 확인 점검은 이런 의미의 메타평가로 볼 수 있다. 둘째, 평가체계 또는 평가제도에 대한 평가로서(Larson & Berliner 1983) 평가체계나 평가제도의 문제점 진단 및 개선방안 도출에 활용된다고 볼 수 있으며, 특히 조직을 대상으로 하는 평가를 대상으로 한다. 셋째, 평가결과의 종합으로서 평가결과를 재분석하는 과정을 의미하며(Chelimsky 1985), 다양한 관점에서 이루어진 평가결과를 재분석할 경우 효용성이 극대화된다고 하겠다. 국내에 메타평가에 대한 개념 및 방법론이 소개된 이후(이찬구 1997; 김명수 2000) 메타평가를 적용한 연구들이 점차 증가하고 있다. 특히 정부업무평가제도가 중앙부처를 비롯한 공공부문에서 안정적으로 운영되면서 정부업무평가에 대한 메타평가 연구가 지속적으로 이루어지고 있다. 메타평가 방법론을 활용한 연구는 크게 개별평가에 대한 메타평가와 평가제도에 대한 메타평가로 나눌 수 있다. 전자의 경우 정보화사업에 대한 메타평가, 국립중앙극장의 운영사업에 대한 메타평가, 학교교육선진화사업에 대한 메타평가 등이 있으며, 후자의 경우 정부업무평가제도에 대한 메타평가, 지방자치단체 합동평가에 대한 메타평가, 국가연구개발사업평가체계에 대한 메타평가, 지방공기업 경영평가제도에 대한 메타평가, 기금운용평가제도에 대한 메타평가, 산업기술연구회평가에 대한 메타평가, 기초기술연구회평가에 대한 메타평가, 고용영향평가제도에 대한 메타평가 등이 있다. 개별 정책평가에 대한 메타평가이든 평가제도 또는 체계에 대한 메타평가이든 선행연구들은 메타평가를 수행하기 위한 평가요소와 세부항목들을 체계적으로 구축하고 있다. 대부분 평가환경-평가투입-평가과정-평가결과-결과활용이라는 체제론적 관점에서 평가요소를 추출하고 있으며, 학자에 따라 평가환경과 투입을 포함한 평가기획, 평가결과와 결과 활용을 하나의 단계로 묶는 방식 등 3단계에서 5단계의 평가요소를 제시하고 있다. 한편 구체적인 메타평가를 수행하기 위해서는 평가요소별로 세부적인 평가항목을 구성해야 한다. 선행연구에서 제시된 평가요소별 세부 평가항목을 보여주고 있다. 평가요소는 공통적인 3-5개로 구성되지만, 평가요소별 세부 평가항목은 상당히 다르게 나타나고 있다. 이는 개별 연구자들이 메타평가가 적용되는 사업평가나 평가제도의 특성을 반영하고자 하는 노력에 따른 것으로 볼 수 있다. 둘째, 역량평가에 대한 경험적 연구 검토 및 국내외 사례 조사이다. 역량평가에 대한 경험적 연구는 많지는 않지만, 역량평가제도가 실제 조직의 역량개선에 기여하고 있는지, 또 역량평가가 조직의 사업성과에 영향을 미치고 있는지 등에 초점을 두고 있다. 따라서 이러한 연구들에서 사용된 분석 틀은 행정관리역량평가제도의 효과성을 진단할 수 있는 분석모형이나 설문문항 등을 개발하는데 많은 도움을 줄 수 있다. 또한 미국, 영국, 캐나다, 유럽연합 등에는 중앙부처 및 공공기관을 대상으로 조직역량평가를 실시하는 제도나 모델들이 다수 있는데, 이러한 사례들은 행정관리역량평가의 효과성 분석 및 대안 모델 개발을 위한 논의에 많은 도움을 줄 것이다. 셋째, 평가제도에 대한 메타평가(meta-evaluation) 연구이다. 메타평가 연구는 행정관리역량평가와 직접적인 관련은 없지만, 평가제도의 추진체계나 운영 실태를 분석하는데 메타평가가 많이 활용되고 있다. 따라서 행정관리역량 평가 제도가 어떻게 구성되어 운영되는지에 대한 실태 분석을 하는데 유용한 분석 틀을 제공할 수 있다. 한편 조직역량에 대한 평가제도가 실시되면서 역량과 성과의 인과적 관계에 대한 실증적 연구도 등장하고 있다. 대표적인 사례로 영국의 중앙부처 역량평가(Capability Review)와 조직성과 간의 관계에 대한 논의이다. 영국 감사원(NAO)은 역량평가(Capability Review)의 전 과정을 진단하면서, 역량평가를 통해 진단된 조직역량이 성과에 미치는 영향을 규명하고 있다. 그 결과 영국의 중앙 부처들은 역량평가 도입 이후 뚜렷한 역량 및 성과개선의 결과를 보여주지 못하고 있는 것으로 드러났다. 즉 역량평가가 조직의 역량과 성과에 어떠한 영향을 미치는지에 대한 명확한 인과관계가 규명되지 않았다. 각 부처의 서비스 전달 역량 점수와 전달성과를 비교하고 있는데, 조직역량과 성과 간 상관관계가 없는 것으로 나타나고 있다. 행정관리역량과 정책성과의 영향력 관계를 검증하기 위한 계층적 회귀분석의 결과를 살펴보면 다음과 같다. 먼저 대분류 차원에서 보면, 정책 방향(리더십, 전략기획)은 조직 과정(내 외부 협력, 국민중심서비스, 성과관리)에 영향을 주고 있으며 이러한 조직과정은 자원(인적 자원 관리, 정보기술관리, 재정/지식관리)에 영향을 주고, 최종적으로 자원은 정책성과에 영향을 주는 것이 통계적으로 의미가 있음을 보여주고 있다. 아울러 정책 방향이 조직과정이라는 매개를 거쳐 자원에도 영향을 주고 있으며 아울러 조직과정과 자원이라는 중간 매개과정을 거쳐 정책성과에 긍정적 효과를 주고 있으며(총 효과 차원), 영향력 정도가 작지 않음을 보여주고 있다. 이와 같은 결과는 “조직역량 → 정책성과”라는 통합적 기관평가모델에서 제시된 영향력 관계가 한국에서도 실증적으로 확인되고 있음을 의미한다. 이처럼 “조직역량 → 정책성과”라는 영향모형이 작동하고 있다는 점은, 중앙행정기관의 정책성과 증진을 위해서 조직역량을 강화할 필요성이 있음을 보여주는 것이라 하겠다.