국가연구개발사업의 선정 및 단계별 평가 방식, 평가위원회 구성, 평가 방법의 특성 및 개선 과제에 관한 고찰 doc_id PCY_201610201031372971_6

패널평가에 앞서 사전검토를 실시하게 되는데, 연구재단은 평가전 각 과제별로 2인 내외의 전담평가위원을 지정하여 전담과제에 대해 사전에 검토할 수 있도록 각종 평가자료 등 제공하고, 전담평가위원은 제공된 자료 및 연구계획서에 대하여 사전검토를 실시하며 토론평가는 연구계획서 검토 후 과제별 토론을 실시하고, 평가 위원은 패널 내의 모든 평가대상과제에 대해 점수를 부여한다. 과제별 전담평가위원이 상호 협의하여 패널의 의견을 종합적으로 반영한 과제별 1건의 평가의견서를 작성하며 평가점수는 평가위원 전원의 평가점수를 산술평균한 점수로 하되, 평가점수 중 최고값 및 최저값을 제외한 평균점수로 하며, 평균점수는 소수 셋째자리에서 반올림한다. 토론평가 이후 추가적인 평가를 시행하는 경우 토론평가(1차)의 결과는 발표평가(2차) 대상과제를 선정하는 용도로만 활용하며, 최종결과에는 반영하지 않는다. 선정평가단계에서는 신청 과제에 대한 평가를 신규 평가 계획에 따라 “서면 평가”, “발표평가”, “현장방문평가”, “토론평가”, “혼합평가” 등의 형태로 운영하고 있으며 최근에는 평가위원회를 1박 2일 합숙평가를 실시하는 경우가 많다. 평가위원회는 사전 서면검토 결과 추가확인이 필요한 사항에 대하여 보완 요청을 할 수 있고 신청기관의 장은 사전 서면검토 결과에 대한 보완자료 및 의견을 제출할 수 있다. 위원장은 과제를 검토하고, 종합토론을 실시한 후 과제별로 전문성에 맞는 책임평가 위원을 지정할 수 있다. 과제의 평가점수는 위원별 점수 중 최고점수와 최저점수를 제외한 점수의 산술평균 하여 계산한 후, 가점 및 감점을 반영한다. 단, 평가결과 가점 및 감점 요인이 조정된 경우는 조정된 사항을 반영한다. PD는 특별한 사정이 없는 한 평가위원회에 평가 전에 과제기획 의도를 설명하고 위원장은 평가위원의 의견을 반영하여 종합평가표를 작성한다(산업부, 2014a). 평가위원회 구성은 평가 대상과제의 기술 중분류와 50% 이상 일치하도록 7명 내외로 구성함을 원칙으로 하되 과제별 또는 사업별 특성에 따라 평가위원을 추가로 구성 가능하고, 필요시 경제 시장전문가 1명 이상, 연차 단계 최종평가의 경우 해당과제의 과거 평가위원(신규, 연차 및 단계) 중 2명 이상으로 구성된 책임평가위원 그리고 평가위원회는 산업체 관련 전문가(기업, 업종별단체 및 민간협회 등 포함)가 1/3 이상 참여한다. 특이한 점은 산업부는 과제별 책임평가위원(3명)을 선정하여 평가에 계속 참여하도록 함으로써 평가 위원의 과제 이해도 및 평가 일관성을 제고하고 있다. 3명의 책임평가위원 중 기술전문가(2명)는 기술개발 방향에 대해 컨설팅하고, 사업성 전문가(1명)는 사업화 코디네이터 역할을 수행하고 있다(산업부, 2014a). 선정평가는 우편평가, 패널평가, 혼합평가(우편 및 패널평가) 방식이 있으며, 최근에는 혼합평가 또는 패널평가를 주로 사용하고 있다. PD는 해당분야의 특성을 고려하여 우편평가(Mail Review)로 진행할것인지 또는 패널평가(Panel Review)로 진행할 것인지를 우선 결정한다. 우편평가의 경우는 신청서당 6명 정도를 평가자로 위촉해야하는데 누구를 평가자로 선정할 것인지는 전적으로 PD의 책임과 권한이며 평가자 선정에 문제가 있다면 PD는 전적으로 그사실에 대해 스스로 책임을 지도록 하고 있다(한국과학재단, 2009). 이 때 모든 신청자와 심사자는 이해관계에 대해 사전에 알리도록 규정하고 있으며, 특히 심사자는 온라인연구관리시스템(Fast Lane System)을 통해 심사대상 과제와의 이해관계를 확인할 수 있도록 되어있다. 연구개발 사업 또는 과제에 대한 평가는 연구개발 독창성 및 복잡성 등이 높은 기초연구에 가까울수록 정성적 평가방법이 적절하며, 상품개발의 단계에 가까울수록 정량적 평가방법이 적절하다. 하지만, 국가연구개발과제는 상용화 이전단계인 TRL 7~8단계까지 지원하고 있으므로 정성적 평가에 가까운 평가방법을 가지게 된다. 이에 따라 국가연구개발과제의 평가는 주로 정성적 평가방법인 전문가 평가에 의하여 이루어지고 있으며, 평가자의 기술적 검토 의견 또는 시장상황에 대한 검토의견 등이 연구수행자에게 피드백되어 필요에 따라 연구개발 내용 및 목표의 수정 보완이 가능하다는 장점을 가진다. 하지만, 특정 기술 분야에서의 중견 학자들의 기득권층 형성으로 인하여 신규 학문분야에 대한 연구비 지원의 어려움이 발생할 수 있는 문제가 존재하며, 평가시간이 짧거나 평가위원이 해당분야 전공과 일치하지 않을 경우 정확한 평가가 힘들다. 또한, 후광효과로 인한 특정 연구개발 수행자, 수행기관으로의 연구개발 자금의 집중될 수 있다는 단점을 가지고 있다. 기초연구사업과 원천기술개발사업은 선정, 중간, 최종평가 등 모든 단계의 평가에 있어서 동료평가(Peer Review)를 원칙으로 하고 있으며 동료 연구자의 연구 활동에 대해 해당 분야의 전문적인 지식을 가진 동료 전문가가 미리 설정된 평가기준(지표)에 의거하여 평가 대상과제의 연구(계획)의 질적 우수성 등을 체계적으로 측정하는 평가 방법을 주로 활용하고 있다. 동료평가는 개별 평가자의 주관적인 심리 행위론적 편향된 성향, 평가자 그룹의 집단 이기주의, 평가자 구성의 불균형, 정부 및 지원기관의 불필요한 간섭, 평가지침 및 규정의 미비에서 오는 혼선 등에 따라 평가 결과가 상당부분 영향을 받는다. 따라서 다른 객관적인 방법(정량적 지표 등)과 병행하여 동료평가 방법을 활용할 경우, 그 효과가 배가될 수 있을 것이다. 하지만, 기초연구사업의 경우 개인역량평가를 위해 연구책임자가 제시한 대표연구실적에 대해서만 논문의 IF, JCR 분야별 등급, 사사수 등을 참고자료로 제시하고 있다. 국가과학기술자문회의는 2015.10.22일, 박근혜 대통령에게 “미래창조사회 구현을 위한 기초연구 발전방안” 등을 보고하였으며, 구체적인 방안으로 첫째, 창의적 기초연구를 위한 연구자 맞춤형 연구지원체계 확립, 둘째, 기초연구의 미래를 위한 신진 인력 양성, 셋째, 선도형 기초연구를 위한 평가체계 혁신을 제시하였다(국가 과학기술자문회의, 2015). 또한 선도형 연구를 이끌어갈 기초연구 평가 혁신과 관련하여 선도성 및 연구역량에 기반한 기초연구 평가가 부족하다고 진단하고, 과제평가 시 과거 과제 성과 및 연구자의 life-time 실적 데이터 부족, 모든 연구 분야의 과제평가에서 평가항목 비중 등 평가지표의 일률적 적용, 연구의 질적 수준 제고를 위한 맞춤형 평가방법 및 평가자 한계 등을 문제점으로 지적하였다(국가과학기술자문회의, 2015).