연구개발(R&D) 사업의 성과를 극대화하기 위한 다양한 프로그램 운영 사례와 질적 성과 중심의 정성적 평가 체계 구축 및 개선 방안 doc_id PCY_201610201031372971_10

영국의 Alvey 프로그램은 1983년에 시작된 첨단정보기술프로그램(A Programme for Advanced Information Technology)으로서 무역산업부(DTI: Department of Trade and Industry), 국방부(MOD: Ministry of Defence), 과학공학연구심의회(SERC: Science and Engineering Research Council)가 후원한 산 학 연 공동연구 개발프로그램이다(황용수 외, 2000). 따라서 본 프로그램은 DTI가 주관부처이지만 3개 정부기관이 공동으로 참여한 다부처 프로그램으로서, 정부의 분명한 목표를 바탕으로 한 5년 중기의 전략적인 프로그램으로 추진되고 있다. 이 프로그램은 경쟁전 단계 연구(pre-competitive research)에 대한 공동연구를 원칙으로 하여 특히 기업 과 학계 및 연구기관, 그리고 정부기관과 연구기관, 산업계간, 또한 정부기관간에 있어서 공동 참여를 유도하고 있다. EFRI 프로그램은 확장적 참여계획(The Broadening Participation Plan)을 실시하여 소외집단(underrepresented group: 여성, 장애자, 히스패닉, 미국원주민, 아프리카계 미국인, 알라스카 원주민 등의 소수민족과 인종이 포함)의 참여를 확대시키는 것을 골자로 하고 있다(조현대 외, 2014). 이는 단순히 인력의 다양성 확보 차원이 아니라 중요한 연구 질문을 정의하고 해결하는 것에 있어서 사고와 아이디어, 접근 방법의 다양성을 확대하고자 하는 노력이다. 미국 국립과학재단은 다양한 인력을 참여시킴으로써 EFRI가 추구하고자 하는 창의적 연구를 통한 공학 분야에서의 새로운 기초 원천적 기술개발에 한걸음 더 나가고자 하며 이는 미국 국립과학재단의 Merit Review의 평가기준 중 하나인 Broader Impacts의 한 부분이기도 하다. 기술개발 성과 평가에서는 관련기술에 대한 지적재산권 확보 및 임치 여부에 대해 특허번호 0000호, 제목 “00000”로 00년 특허 출원 등으로 정량적으로 제시하도록 하고 있다. 최종평가는 기술개발 과정 적정성, 기술개발 결과물의 성능/시험평가 적정성 및 객관성, 기술개발 결과물의 최종목표 달성도 그리고 기술개발 결과물의 사업화 가능성 등을 평가하고 있다. 이들 평가항 목은 각 항목별로 세부 평가 지표를 만들어 탁월, 우수, 보통, 미흡, 불량 5단계로 평가하고 있으며 각 항목별로 의견을 작성하고 최종적으로 평가결과 성공, 실패, 보류로 판정하게 되어 있다. 그리고 기술가치를 평가하기 위해 연구결과물 가치평가위원회 평가서를 작성한다. 가치평가는 연구결과의 파급효과와 후속연구 기여도로 구분하여 실시되고 있는데 전자에는 연구대상 및 방법의 독창성 (혁신적이거나 새로운 방법을 통해 연구가 수행되었는지 여부), 연구과정에서 파생된 결과물의 기술성 및 연구과정에서 파생된 결과물의 사업성 등을 분석하고 있다. 후자에는 연구 과정에서 기존의 장애요인 해소 등을 하였는지 여부와 연구과정에서 도출된 결과물에 대한 후속적인기술개발 계획의 적정성 등을 검토하고 있다. 차상위 사업 연계지원 평가는 후속연구를 수행한 과제 중에서 우수한 과제를 선정하여 차상위 사업에서 지원하여 사업간 연계성 강화하기 위한 것으로 당해 연도 종료과제 중 연구목표 달성도(정량/정성), 대표성과 등에 대한 평가를 통해 우수과제를 선정한다. 평가대상은 연구목표 100% 달성 과제 또는 연구기간 내에 달성 가능 과제로 한정하며, 평가대상과제에 대해 산출된 대표연구업적 성과 중심으로 우수성 평가를 실시한다. 차상위사업 연계지원 평가지표는 우수과제 후속지원 선정평가 항목 및 지표와 동일하며 연구자가 당초 수립한 연구목표와 동 연구를 통해 이룩한 연구실적 간의 연관성, 연구결과의 활용성, 분야에의 기여도 등 각종 성과의 질적 우수성(정성적 평가)을 평가한다. 또한 연구성과의 질적 수준에 대한 엄정한 평가를 위하여 논문 IF 합계, JCR 분야별 등급, 사사수 등 참고자료를 제공한다(미래부, 2015b). 원천기술개발사업 평가매뉴얼은 원천연구의 평가개선을 통해 연구개발 성과의 양적 성장과 질적 수준의 차이를 극복하고, 창조경제 구현에 기여토록 연구개발 생산성을 제고하며, 원천기술개발사업의 특성과 목적에 부합하는 성과목표 지표를 적용하여 타사업과 차별화된 질적 성과 향상과 성과활용 촉진하기 위해 추진되었다. 이 중 평가관련 개선안으로는 차별적 평가지표 적용, 성과목표 및 성과지표와의 연계성 강화, 평가이력 관리 및 평가위원 질 제고 방안 등이 있다. 첫째, 사업유형별 특성을 고려한 차별적 평가지표 적용방법으로는 사업의 규모 등을 고려하여 분류하여 각 유형별 특성에 맞는 성과유형 및 평가지표를 차별적으로 적용하며, 특히 미래성장전략형은 원천특허 확보 가능성, 특허 성과의 질적 평가 및 원천특허창출계획/활용가능성 등을 집중 관리한다. 이는 사업의 규모별로 전문가의 정성적 평가시 고려되는 지표를 달리 적용하려는 것이다. 즉, 이단계에 서는 경제성 평가를 위해 복수의 외부 기관과 협약을 맺고 필요시 평가를 의뢰해서 시행하는 방안이다. 이러한 평가방식은 경제성 뿐 아니라 특허나 기술성 같은 경우에도 종종 활용되고 있다. 다음 단계는 기존의 예비타당성 조사 등을 시행하는 조직에서 그 기능을 강화하는 방법이다. 현재 KDI나 KISTEP 등에서도 경제성 평가를 하고 있다. 이들 조직의 기능이나 인력을 보강하여 시행하는 방법이나 아니면 전담 조직을 구성케 하는 방법이다. 그러나 산업기술개발사업 등 국가연구개발사업에서 경제성 평가가 중요해지면서 전담 조직이나 기관을 구축하는 것이 오히려 경제적인 경우가 발생할 수 있다. 특히 대부분의 부처에서 시행하는 사업이 경제성을 무시하 지 못한다는 점에서 다부처에서 공통적으로 활용할 수 있는 전담조직이나 기관을 구축하는 겻은 단순히 평가 자료를 생성하는 것 뿐 아니라 미국의 경우처럼 DB를 구축하거나 다양한 사업 유형에 맞는 적합한 평가 모형을 개발하는 업무 등으로 확대할 수 있다. 정성적인 평가가 제대로 이뤄지기 위해서는 평가를 위한 전문관리기관의 질적 평가자료 등 세부적인 사전적 자료 제공이 있어야 한다. 즉 자신의 다른 주된 직업이 있는 평가위원들이 제한된 평가기간 내에 많은 과제들의 성과를 정성적으로 제대로 평가하기 위해서는 사전에 전문적인 질적 평가자료의 지원이 있어야 한다. 논문이나 특허에 대해서도 질적인 측면에서 사전에 검토해서 평가위원들에게 제시되어야 하고, 산업기술개발의 경우에도 개발된 기술의 시장성이나 기술성(기술적 가치 등)을 전문관리기관에서 시장 기술 전문기관에 사전에 의뢰하거나 자체적으로 정성적인 측면을 분석하는 기능과 역량을 가지도록 해서 질적 측면을 검토한 사 전 자료를 평가자들에게 제공해야 한다. 실제로 일부 사업에서는 기술신용보증기금 등 전문 시장 기술평가기관의 평가의견서를 첨부하는 경우가 있으며 그것이 평가위원에 전달되어 기술성이나 시장성 평가 시 반영되게 하고 있다. 특허의 경우도 평가 시 특허 심사관을 평가위원으로 활용하고 있다. 하지만 모든 사업들이 그렇게 하고 있는 것은 아니면 제한적으로 하고 있어 한계가 있으며, 또 특허심사관의 경우에도 자신이 평가하는 과제들의 여러 세부기술들을 다 알 수 없기 때문에 한계가 있다. 둘째, 정성평가 전문가 관리자 양성 및 활용 강화 필요: 이를 위해서는 평가자 선정방식 개선과 교육을 통한 자질 능력 높은 정성평가자 선별 및 육성, 평가주관오피서(office)와 프로그램 디렉터(program director) 등 책임관리자의 역할·권한·책임의 확대, 기술사업화의 정성평가 강화를 위한 기술사업화 자문관 육성 도입 등이 필요하다. 셋째, 양에서 질로의 평가방식 관행 개선 필요: 이를 위해 정성평가가 가능하도록 충분한 평가기간 및 시간 제공이 우선적으로 필요하며 현행 100점 만점의 평가표 등 평가표 양식을 전면적으로 검토하여 질적 평가가 가능하도록 수정해야 하며, 동료 연구자에 의한 연구내용 결과의 질적 모니터링 강화도 필요하다. 본 연구는 이러한 정책과제 및 개선방향 외에도 다양한 정책과제 및 개선방향들을 제시하고 있다. 본 연구는 비교적 단기간인 3개월간 수행되었으며, 당초 후속연구를 위한 선행 연구의 성격을 갖도록 기획되었다. 따라서 본 연구에서 제시하고 있는 정책방향들을 구체화하는 후속연구가 진행된다면 정부연구개발사업에 대한 정성평가 강화의 구체적인 정책화에 많은 도움을 줄 수 있을 것이다. 본 연구를 마무리함에 있어 몇 가지 점들을 강조하고자 한다. 우선 상기 개선방향을 종합적으로 담을 수 있되 정성평가의 일관성 제고와 평가부담(평가 코스트) 완화도 반영되는 체계적인 정성평가체계를 구축해야 한다. 정성평가는 주관적 성격이 강하게 나타날 수 있기 때문에 평가의 일관성을 유지하는 것이 중요하다. 평가를 받는 연구자들 입장에서 평가위원의 평가내용이나 결과가 일관성이 없다고 인식하거나 평가의 책임성을 강조하는 것도 이러한 맥락이라고 할 수 있다. 또한 정성평가는 정량적 평가에 비해 평가부담(평가코스트)가 훨씬 더 크다. 따라서 정성평가가 잘 정착하기 위해서는 정성적 평가의 평가 일관성이 유지되고 평가부담(평가코스트)을 경감시켜주는 평가방식 마련이 매우 중요하다. 이를 위해서는 질적 평가를 일관성 있게 할 수 있는 평가전문가들이 있어야 하며 동시에 평가전문가들의 평가부담을 경감시킬 수 있도록 지원시스템과 지원자원들 이 마련되어 있어야 할 것이다.