국가연구개발 정성평가 현황과 발전방향

그동안 정부연구개발 투자가 지속적으로 확대되고 규모도 커져감에 따라 이에 부합하는 성과 창출 요구가 증대되고 있는 등 정부의 연구개발투자 효율화가 긴요한 실정이다. 이에 따라 최근 정부는 연구개발투자의 성과 창출 극대화 및 연구개발 투자 효율화를 위해 정부연구개발사업에 대한 정량적 평가보다 ‘전문가 정성평가’를 강조하면서 창의 도전적인 연구문화 확산 및 우수성과 창출 촉진을 추진하고 있다. 그러나 이와 같이 정부연구개발사업에 대한 정성평가에 대한 관심이 높아지고 있음에도 불구하고 우리나라 정부연구개발사업들의 평가시스템을 분석하여 정성평가 강화를 위한 체계적이고 실효성 있는 정책방향을 제시하고 있는 연구는 찾아보기 어렵다. 따라서 본 연구는 상기와 같은 배경 및 정책적 수요에 대응하기 위해 다음과 같은 것들을 분석하여 정책개선방향을 제시하고 있다. 우선 본 연구는 연구개발 평가관련 기존의 이론 및 문헌을 고찰하는 한편 최근 관련 정책동향 분석을 통해 정부가 지향하고 있는 ‘전문가 정성평가’의 정책방향에 대해 살펴보고 있다. 둘째, 본 연구는 현재 우리나라 정부연구개발사업에서 높은 비중을 차지하고 있는 미래부의 기초 원천연구사업과 산업부의 산업기술개발사업을 대상으로 평가 현황에 대한 심층 분석을 통해 정성평가 관점에서 문제점과 시사점을 도출하고 있다. 셋째, 본 연구는 미국, 영국, EU, 독일 등 선진국의 평가사례들을 분석하고 시사점을 도출하고 있다. 마지막으로 본 연구는 상기의 분석결과들과 시사점들을 바탕으로 다음과 같은 정책과제 및 정책개선 방향들을 제시하고 있다. 첫째, 정성평가 강화를 위한 제도적 인프라 구축 필요: 이를 위해 전문기관에 의한 질적 성과에 대한 (평가위원들에 의한 평가 이전) 사전 검토 및 보고 의무화, 현장 중심의 실시간 체계적인 질적 평가 정보의 수집과 제공이 필요하다. 또한 충분한 심사평가비 제공, 그리고 산업기술 개발의 정성평가 강화를 위한 경제성 평가 전문조직의 구축이 필요하다. 우리나라의 경우 그동안 정부연구개발성과평가는 정성적 평가가 정량적 평가보다 어렵고, 또 정량적 평가가 평가의 편의성과 객관성이 높다는 점 등 때문에 정량적 평가가 상대적으로 많이 적용되는 평가방식으로 진행되어왔다. 하지만 이와 같은 평가 방식으로는 연구개발의 1차적 성과인 output의 평가는 어느 정도 가능하나 연구개발의 궁극적 목표인 outcome과 impact에 대한 평가는 제대로 하기 어려운 한계점이 있다. 따라서 최근 정부는 국가연구개발사업 과제의 궁극적인 목표달성을 위해 outcome과 impact을 제대로 평가하기 위한 정성적 평가의 강화 확대를 모색하고 있는 추세이다. 하지만 이와 같이 최근 국가연구개발사업에 대한 정성적 평가에 대한 관심이 높아지고 있음에도 불구하고 아래와 같은 시각과 입장에서 체계적으로 우리나라 국가 연구개발사업들의 평가시스템을 분석하여 정성평가 강화를 위한 체계적이고 실효성 있는 정책방향을 제시하고 있는 연구는 찾아보기 어렵다. 이와 같은 움직임에는 그동안 정부의 연구개발 투자(투입)는 많이 되어 왔지만 성과창출(산출)은 이에 부합하지 못하고 있다는 지적과 함께, 국가경제도 과거와 달리 저성장 추세로 가고 있고, 복지수요 증대 등 정부예산 편성에 있었어도 연구개발 투자를 과거처럼 높은 추세로 할 수 없는 상황에서 연구개발투자(투입) 관리도 중요하지만 성과창출(산출) 관리를 보다 효과적으로 하자는 인식 속에서 연구개발 성과창출(산출) 관리를 잘 하기 위해서는 그동안 연구개발성과 평가가 적절하게 잘 이루어지지 못했다는 정부와 사회적 인식과 반성이 깔려있다고 볼 수 있다. 연구개발성과 평가란 정부의 사업 또는 정책의 기반이 되는 개입논리 (intervention logic)의 정당성(validity)을 검증하는 것으로써, 연구개발사업이나 과제의 지향하는 연구개발 목표 달성을 유도하는 동시에 목표달성 여부를 심사하는 것인데, 기본적으로 선정평가, 연차 단계평가, 최종평가 및 추적 평가의 단계로 이루어지며 이러한 평가들은 일반적으로 외부전문가들로 구성된 평가위원회에서 사업관리기관 등이 제시하는 평가절차, 평가방식. 평가지표 등에 의거하여 이루어지게 된다. 연구개발과제 “평가”는 진행 중이거나 완료된 연구개발 과제의 계획, 실행 및 결과에 대한 체계적 객관적 분석을 통해 성과를 측정하는 것으로, 평가의 목적은 개발목표의 적절성, 효율성, 효과성, 영향력 및 지속가능성을 측정하는 것이다. 여기서 적절성(relevance)이란 연구개발 과제의 계획, 실행 및 결과가 국가연구개발 사업의 정책적 우선순위 및 사회적 수요 등에 얼마나 적합한가를 나타내며, 효율성 (efficiency)은 투입자원 대비 연구개발 성과물이 얼마나 효율적으로 나타났는가의 정도를 표시하는 것으로 투입자원 대비 성과가 클수록 효율성이 높다고 판단한다. 또한, 효과성(effectiveness)은 평가대상이 초기에 수립한 연구개발 목표를 얼마나 달성하였는지를 측정하는 것이다. 영향력(impact) 및 지속가능성(sustainability)은 연구개발성과가 가져오는 장기의 사회 경제적 변화와 이에 대한 지속성을 말한다(Joanneum, 2006). 계량지표(양적 지표)는 상대적으로 구체적이고 계량화가 가능한 항목에 대하여 정해진 알고리즘에 따라 직접적인 연구개발성과를 수치로 나타내며, 연구개발 활동의 특정 부문을 나타낼 수 있는 수치를 제공한다(이장재 외, 2003) 계량적 지표의 예로서는 SCI급 논문건수, 총 SCI급 논문건수/총 연구사업비, 총 SCI급 논문건수/ 총 참여연구원 수 등이 있다. 준 계량지표는 평가대상의 각 성과항목 등에 대하여 평가자의 직관적 판단을 점수화되도록 설정하는 방법으로 한편에서는 계량지표로 인식되지만, 실제적으로는 주관적인 의견을 점수화한 지표라고 할 수 있다. 준 계량지표는 평가결과가 점수로 환산되어 객관적인 형태를 가지고는 있지만, 주관적 판 단을 점수화하였기 때문에 판단의 불확실성을 제거하기 위해서는 전문가에 의한 평가지표의 분석 및 타당성 검토 등의 노력이 필요하다(이정원, 2000). 비계량지표는 평가자의 주관적인 판단에 근거하여 의견의 형태로 작성되며, 평가자의 편견이 존재할 수 있다는 단점에도 불구하고 연구개발 과제의 평가에서 많이 사용되고 있다. 성과지표란 사업 수행을 통해 이루고자 하는 성과목표에 대한 달성도를 정량적 또는 정성적으로 평가하는 잣대이며 성과지표의 유형은 사업의 활동과정에 따라 투입-과정-산출-결과지표로 구분된다. 산출지표 및 결과지표 중에서 성과의 질을 측정할 수 있는 지표를 국가연구개발사업의 ‘질적 성과지표’로 활용한다. 여기서 질적 성과지표가 정량적 평가지표를 나타내는 것은 아니며, 각 성과 지표는 양적지표와 질적지표로 구분된다. 여기서 양적지표는 계량지표와 동일하지만, 질적지표는 그 지표의 특성에 따라 계량지표, 준계량지표, 비계량지표로 구분된다. 예를 들어 질적 산출지표 중 SCI 논문 건수, 등록 특허건수, 논문 피인용수, SMART값 등은 계량화가 바로 가능하거나 특정 알고리즘에 의하여 산출되는 값을 가지는 지표로서 계량지표에 해당된다. 또한, 결과지표의 기술수준 향상 정도, 핵심기술의 확보 등은 전문가의 정성적 평가결과를 등급 등으로 부여하는 방식은 준 계량지표에 해당하게 된다(미래부, 2013).