원천기술개발사업의 효율성 및 질적 성과 제고를 위한 사업 유형별 차별화된 평가 체계 구축과 평가 프로세스 및 가이드라인의 개선 방안 doc_id PCY_201501300920287951_13

평가의 기본 방향은 사업 평가 운용에 대한 일관성 및 수용성 강화, 평가의 효율성 제고 및 질적 성과 중심 평가 강화이다. 먼저 공동관리규정, 미래창조과학부 처리규정 등 관련 법령을 충실히 반영하고 평가결과 수용성 및 신뢰성 제고를 위한 사전 평가 계획 공지 명확화, 사업 운용 및 평가 프로세스의 정립을 통한 연구자 예측성 제고를 통해 사업 평가 운용에 대한 일관성 및 수용성을 강화시킨다. 또한 중간평가는 연구과제별로 그 특성에 따라 상대평가, 절대평가 또는 혼합평가의 방법을 달리 적용하고 최종평가는 주관연구기관의 공개적인 발표를 통한 절대평가를 원칙으로 하되, 평가 대상 과제 특성 등을 고려하여 상대평가의 방법을 병행 가능하게 한다. 이와 더불어 성공가능성 제고를 위해 원칙적으로 개선 위주의 컨설팅 방식 연차 점검 실시 및 성과 중심의 평가 강화 및 경쟁원리 도입 제고를 위한 엄격한 단계평가를 통해 평가의 효율성 제고 및 질적 성과 중심 평가를 강화한다. 평가매뉴얼의 중점 추진 방안은 사업 유형별 특성을 고려한 차별적 평가지표 적용, 사업 전략목표의 구체화와 전략목표-성과목표-성과지표 연계성 강화, 성과활용 확산 촉진을 위한 전문적 컨설팅 추진, 평가이력 관리 및 평가위원 질 제고이다. 첫째, 사업유형별 특성을 고려한 차별적 평가지표 적용방법으로는 사업의 규모 등을 고려하여 ①창의원천형, ②미래성장전략형, ③공공기술형, ④인프라형으로 분류하여 각 유형별 특성에 맞는 성과유형 및 평가지표를 차별적으로 적용하며 특히, 미래성장전략형은 원천특허 확보 가능성, 특허 성과의 질적 평가 및 원천특허창출 계획/활용가능성 등을 집중 관리한다. 둘째, 사업 전략목표 구체화, 성과목표 및 성과지표와의 연계성 강화를 위해서는 선정평가 단계부터 연구책임자가 핵심기술별로 연구 성과 창출 전략 및 계획을 제시하도록 의무화하고 전략목표에 적합한 구체적인 성과목표 및 성과지표 설정과 가중치 적용을 하며 평가 단계(기획단계 선정평가 중간평가 최종평가)별 성과 창출 및 활용 관련 평가항목을 추가하여 적용한다. 원천기술개발사업 평가에 있어(다른 정부연구개발사업들에 대한 평가에 있었어도 마찬가지로) 이는 과도하게 많은 페이지의 연구계획서나 연차별/단계별 연구결과보고서, 최종결과보고서 작성을 금지함으로써 평가자료 작성 로드를 경감시키고 평가제출 자료들간 질적 경쟁을 유도하는 효과를 거두기 위해서 연구계획서(proposal)나 연구결과보고서의 목차 및 목차별 작성 페이지 한도도 제시할 필요가 있다. 또한 사업화를 위한 과제의 경우에는 기본적인 연구계획서에 사업화 계획을 별도로 상세히 작성하도록 규정하고 있고 연구결과보고서에서는 사업화 성과를 별도로 작성해서 제출토록 할 필요가 있다. 그리고 상기에서 지적하고 있는 여러 가지 사항들/꼭지들에 대해서도 가인드 라인이 가이드를 하고 강제토록 함으로써 평가절차나 평가방식, 평가지표들이 제대로 일관성 있게 진행되고 평가될 수 있도록 해야 한다. 먼저, 성과분석은 특허전문기관에 위해서 이루어지는데, 1단계에서는 논문, 특허 등의 연구 성과에 대해서 정성적 분석을 실시하고, 세계 기술 및 시장동향을 분석하여 다음 단계 연구방향의 설정을 지원한다. 구체적으로 논문의 경우 피인용지수 등 영향력지수를 분석하고, 특허의 경우 특허관련 영향력지수, 기술성숙도 등을 계산하며, 주요국의 기술개발 산업 정책, 국내 기술수준 등을 종합적으로 분석한다. 성과분석의 결과는 성과분석보고서로 작성되며, 2단계 연구계획 수립 및 전담평가단 평가의 기초자료로 활용한다. 연구단 자체평가의 경우 연구단은 자체평가단을 구성하여 제1단계실적과 제2단계 계획이 포함된 자체평가보고서와 다음 단계 기획보고서를 제출한다. 이때 세부과제별 1단계 목표 달성도와 2단계 연구계획의 적절성을 검토하며, 성과분석결과 및 자체평가단 의견을 반영하여 2단계 사업기획 보고서 작성한다. 전문평가단계에서는 전문평가기관의 전단평가단이 제출된 연구단 자체평가보고서 및 다음단계 기획보고서 등을 기반으로 연구단의 1단계 추진실적을 분석, 평가하고 그 결과를 토대로 2단계 사업계획의 심의, 조정 방향을 제안한다. 따라서 이러한 현상을 방지하기 위해서 연구계획서, 연차별/단계별 연구결과보고서, 최종연구결과보고서 작성에 분명한 가이드라인을 주어야 한다. 즉 사업/과제의 궁극적인 성과목표가 무엇인지, 이러한 성과목표가 어느 정도 달성되었는지를 평가하기 위해서는 어떤 성과지표들에 대해서 연차별/단계별, 그리고 최종적으로 무엇은 어느 정도 달성할 것인지를 분명히 제시하게 하고, 이러한 것들에 대해서 평가위원들이 명시적으로 평가할 수 있도록 선정평가, 연차평가/단계평가, 최종평가 평가서 양식에 이러한 지표들을 반영하여 평가가 이루어질 수 있도록 해야 한다. 그리고 과제의 성격 상 구체적인 성과물이 과제 종료 후에 나타나는 경우도 있다. 이런 경우에는 추적평가가 매우 중요하다. 따라서 추적평가 시에는 무엇을 평가해야 하는지에 대한 것도 연구자로 하여금 평가지표로 명시적으로 제시하도록 해야 하고 이러한 평가지표가 연구계획서, 연차별/단계별 연구결과보고서, 최종연구결과보고서에서 제시한 궁극적 성과목표 달성 여부를 평가할 수 있는 평가지표들과 맥락을 같이 하도록 가이드라인을 통해 강제해야 한다. 현재 정부는 모든 정부연구개발사업 및 정부출연연구소 등 정부연구기관들의 연구성과(사업 및 기관) 평가결과에 대한 상위평가를 실시하고 있다. 하지만 상위평가가 주로 평가결과에 대한 메타평가에 집중하고 있지 각 부처별 정부연구개발사업들을 어떤 절차와 방법, 평가지표/평가양식을 적용해서 하고 있는지에 대한 메타평가 시각/기능은 미흡해 보인다. 즉 상위평가가 일어나는 초기단계와 과정단계보다 결과단계에 초점을 맞춤으로써 초기단계와 과정단계의 미흡한 점들을 교정하는 능력이 미흡해 보인다. 원천기술개발사업에 대한 상위평가도 마찬가지로 보인다. 따라서 정부의 상위평가 시에는 각 사업/하부사업에 대한 유형이 적절히 분류되어서 각 유형별 특성에 맞는 평가지표들이 도출되어 적용되고 있는지, 평가절차는 합리적이고 정당한지 등을 상위평가해야 하고, 미흡한 점들을 교정해 나갈 수 있도록 해야 한다. 즉 연구개발성과평가 가이드라인과 상위평가는 서로 교합적으로 작용해서 원천기술개발사업 뿐만 아니라 우리나라 모든 정부연구개발사업의 성과평가가 본 연구에서 제시하고 있는 바와 같이 개선 되어야 할 것이다. 본 연구를 통해서 밝혀진 국내원천기술개발사업의 개선해야할 점들은 다음과 같다. 첫째, 전반적 수준에서 현행 국가연구개발사업의 유형분류의 경우 기초연구, 단기산업기술개발, 중장기산업기술개발, 국제협력 등 10가지의 유형분류들이 있으나 원천기술개발은 포함되어 있지 않아 원천연구 혹은 원천기술개발사업의 정체성이 국가 R&D 사업체계상 불분명하고 불안전하다. 따라서 원천기술개발을 국가연구개발사업의 유형분류에 추가 포함시킬 필요가 있다. 둘째, 원천연구의 개념이 아직도 확실하게 정립되어 있지 못할 뿐만 아니라 원천기술개발사업 내 다양한 성격의 단위사업들이 포함되어 시행되고 있어 원천기술개발사업 내 단위사업들을 세부적으로 유형화하여 평가방식 및 시스템을 유형별로 차별화할 필요성이 그동안 지속적으로 제기되어 왔으며 이를 반영하고자하는 노력시도들도 있어 왔다. 하지만 기존에 시도된 유형화의 경우 여전히 만족스럽지 못하거나 시행(operation)하기 어렵고 또한 유형별로 세부적인 평가시스템(절차, 방법, 평가지표 등)이 마련되어 있지 못하다. 따라서 원천기술개발사업의 단위사업들에 대하여 보다 개선된 유형들을 제시할 필요가 있다.