해외 선진 사례 분석을 통한 우리나라 정부 연구개발(R&D) 사업 평가 체계의 근본적인 개선 방향 및 전문성 강화 필요성 doc_id PCY_201501300920287951_11

범정부(국가적) 수준에서 기능적 차원이 아니라 근본적인 차원의 평가지침을 설정, 제시가 필요하다. 앞서 해외 주요국 사례 및 시사점에서 살펴본 바와 같이 일본의 경우 1998년도부터 국가적 차원에서 연구개발성과평가지침(대망적 지침)을 설정, 제시하고 주기적으로 이를 개선하고 있다. 이를 통해 사전평가, 중간평가, 최종평가, 추적평가 등 평가의 단계마다 근본적으로 체크/평가해야 하는 중점적 평가지표들을 제시하고 있다. 예컨대 사전평가의 경우에는 상위시책 및 타시책과의 관련성, 기관설치목적 등에 기초한 과제/사업의 필요성, 목표/계획/실시체계/집행관리/비용대비효과의 타당성, 연구개발과제 구성의 타당성을 평가하라고 지침을 주고 있다. 하지만 우리나라의 경우 연구개발성과평가 가이드라인을 뒤늦게 제시하고 있으나 그 내용을 보면, 높은 차원의 전략적/근본적인 지침이라고 보기 보다는 낮은 차원(사무관, 서기관 수준)의 기능적/사무적 차원의 지침 성격이 강하다. 또한 우리 정부는 연구개발평가에 대한 상위평가를 하고 있으나, 현재의 연구개발성가평가 가이드라인은 각 부처에서 시행하고 있는 다양한 연구개발사업들에 적용되는 각종 평가방식/절차/평가지표 등을 사전에 검토하고 이에 대한 타당성을 가이드하고 있지 못하다. 일본의 경우 1998년도부터 국가적 차원에서 연구개발성과평가지침(대망적 지침)을 설정, 제시하고 주기적으로 이를 개선하고 있다. 이를 통해 사전평가, 중간평가, 최종평가, 추적평가 등 평가의 단계마다 근본적으로 체크/평가해야 하는 중점적 평가지표들을 제시한다. 예를 들어 사전평가의 경우에는 상위시책 및 타 시책과의 관련성, 기관설치목적 등에 기초한 과제/사업의 필요성, 목표/계획/실시체계/집행관리/비용대비효과의 타당성, 연구개발과제 구성의 타당성을 평가하라고 지침을 주고 있다. 하지만 우리나라의 경우 연구개발성과평가 가이드라인을 뒤늦게 제시하고 있으나 그 내용 을 보면, 높은 차원의 전략적/근본적인 지침이라고 보기 보다는 낮은 차원(사무관, 서기관 수준)의 기능적/사무적 차원의 지침 성격이 강하다. 따라서 이를 개선할 필요가 있다. 또한, 우리 정부는 연구개발평가에 대한 상위평가를 하고 있으나, 현재의 연구개발성가평가 가이드라인은 각 부처에서 시행하고 있는 다양한 연구개발사업들에 적용되는 각종 평가방식/절차/평가지표 등을 사전에 검토하고 이에 대한 타당성을 가이드하고 있지 못하다. 한편 이에 비해 해외선진국 관련사례 등을 살펴볼 때 다음과 같은 시사점들이 도출되었다. 첫째, 해외 선진국의 경우 범정부(국가적) 수준에서 기능적 차원이 아니라 근본적인 차원의 평가지침을 설정하여 제시하고 있는 것으로 나타났다. 특히 일본의 경우 1998년도부터 국가적 차원에서 연구개발성과평가지침(대망적 지침)을 설정, 제시하고 주기적으로 이를 개선하고 있으며 이를 통해 사전평가, 중간평가, 최종평가, 추적평가 등 평가의 단계마다 근본적으로 체크/평가해야 하는 중점적 평가지표들을 제시하고 있는 것으로 나타났다. 둘째, 충분히 시간을 가지고 전문성이 반영되는 평가절차를 적용하고 있는 것으로 나타났다, 미국 NIH의 경우 평가위원의 과제내용 검토 및 평가는 충분한 시간을 가지고 온라인을 통한 사전평가(1단계, 3개월 소요), 오프라인에서 2단계 평가(사전 온라인 평가결과 검토+평가위원회 평가, 5개월 소요), 3단계 평가(과제 선정 및 협약, 2개월 소요)를 통해 엄밀하고 전문적인 평가를 지향하고 있는 것으로 나타났다. 앞서 살펴본 바와 같이 미국 NIH의 경우 연구의 중요성, 연구자, 혁신성, 연구방법, 연구환경 등 5가지 평가지표들에 대해서 평가위원들이 평가지표별로 점수를 매기는 것이 아니라 수준을 평가하고 있다(1등급~9등급 사이의 등급 부여). 따라서 각 평가지표들 간 부여된 등급들을 합산할 수 없으며, 평가위원들은 5가지 평가지표에 대한 등급부여와 별도로 과제별로 전체 등급을 따로 부여하게 되어 있다. 또한 이러한 5가지 평가지표들에 대한 등급부여 뿐만 아니라 평가지표 별로 정성적인 평가(서술)를 하게 되어 있다. 이러한 정성적 평가가 더욱 중요하게 작용하게 된다고 볼 수 있다. 우리나라도 평가항목 및 지표를 설계할 경우 기본적으로 그동안의 축적된 데이터를 분석하여, 그 근거에 의하여 지표를 설계할 필요가 있다.특히 평가의 전문성, 공정성, 객관성 측면에서 어떠한 지표들이 영향을 미치는지, 선정평가의 어떠한 지표가 우수한 성과를 도출하는데 영향을 미치는지 등을 분석하여 평가지표를 설계하여야 한다. 원천기술개발사업에 대한 평가도 마찬가지이지만 우리나라 정부연구개발사업 평가의 경우 일반적으로 과제평가는 평가위원들을 평가당일 1-2주 전에 급하게 위촉한 후 평가당일(1일) 혹은 1-2일에 걸쳐 단시간에 평가를 실행하고 있다. 사업/과제들에 대해 많은 연구비가 투입되고 또 연구는 중장기적으로 수행되는 것에 비해 평가는 거의 요식행위로 단기간에 이루어지고 있다. 또한 평가자료인 사업/과제의 연구계획서(프로포잘)나 연구결과보고서 등도 평가 몇 일 전에 배포할 뿐이며 또 배포된 평가자료도 평가점수/등급에 반영되는 사전평가 메커니즘이 없는 상태이기 때문에(자료검토를 평가위원에 요청하고 있으나 충분한 시간을 주지 않은 상태에서 공식적인 사전평가메커니즘이 없는 관계로) 평가위원들이 평가자료들을 사전에 깊이있게 검토하지 않고 있다. 또한 대부분의 평가는 peer-review 형태로 진행되고 있다. 연구과제의 특성상 가장 효과적인 방법이라 할 수 있으나, 환경변화가 빠르고, 대부분의 연구가 융합연구 형태를 띠고 있다는 점에서 평가위원들의 전문성을 담보하기가 쉽지 않은 것이 현실이다. 원천연구개발사업뿐만 아니라 우리나라의 경우 거의 모든 정부연구개발사업들의 평가가 평가지표들을 설정해 놓고 평가지표별로 가중치를 두어 전체적으로 100점 만점에서 각 지표별로 평가위원들이 부여한 점수들을 합하여 100점 만점에 몇 점인지를 평가하는 방식을 채택하고 있다. 우리는 어려서부터 객관식 100점 만점의 시험제도에 익숙해 있고, 이러한 방식 이외의 평가방식에는 왠지 불안해하는 경향이 있기 때문인지 이러한 평가방식을 탈피하고 있지 못하다. 이런 평가방식 하에서는 진정한 질적 평가는 어렵다. 즉, 각 평가지표별로 정성적인 평가는 거의 이루어지지 않으며 따라서 각 평가지표별로 이루어져야 하는 정성적인 평가와 이에 상응하는 정량적인 평가가 합치(coupling)되지 않고 있다. 평가지표들도 진정한 질적 평가를 반영하기보다 주로 기능적인 측면이 강하다. 일반적으로 X-비효율(X-inefficiency)이란 최선을 다하지 않음으로써 발생하는 조직 내부의 비효율로서, 관료주의나 대기업에서 많이 나타나는 현상이다. 이러한 현상은 국가의 공공자금을 사용하여 연구를 수행하는 R&D사업에서도 나타날 수 있고, 특히 평가의 과정에서도 발생할 수 있는 근원적인 문제이다. 먼저 R&D관리 및 평가기관에서 문제가 나타날 수 있다. 즉 과연 R&D관리조직이 사기업처럼 조직의 설립목표를 극대화하기 위해서 행동하겠느냐 라는 문제이다. 예를 들어 글로벌프론티어사업처럼 약 10년에 걸쳐서 진행되는 장기적인 사업을 성공시키기 위해서 조직을 일관성 있게 유지하고, R&D사업의 관리 및 평가업무가 지속적으로 이루어지겠냐는 것이다. 구체적으로 R&D관리조직의 담당자가 수시로 바뀔 수밖에 없는 것이 현실이고, 이에 따른 효율성의 낭비가 있을 수 있다.