국가연구개발사업의 양적 성과 중심 평가 체계의 한계를 극복하기 위한 질적 성과 중심의 평가 지표 개발 및 평가 방법 개선의 필요성 doc_id PCY_201708240243569881_2

우리나라 국가연구개발사업은 지난 10년간 R&D 투자규모는 연평균 약 12% 증가하여 2016년도 정부 연구개발비는 19.1조원으로 GDP 대비 세계 1위 수준으로 증가하였다. 이에 전체 SCI 논문 수는 2014년 현재 54,691편으로 세계 12위, PCT특허출원 건수는 13,151 건으로 세계 5위권으로 정부와 기업의 적극적인 투자를 바탕으로 양적인 측면에서 큰 성과를 거두어 왔다. 하지만 국가연구개발사업의 이러한 양적 성과 증가에 비해 질적 수준과 활용실적은 매우 미흡하다는 의견이 제시되어 왔다. 즉 논문, 특허의 질적 수준은 SCI논문 피인용도 세계 31위로 국제기준 대비 열위하며 공공부문의 R&D 성과의 경제사회적 활용도도 출연(연)의 경우 5년간 미활용 특허가 6천여개에 이르는 등 국민이 체감하는 가시적 성과창출에는 미흡한 것이 현실이다. 특히 양적 성과가 지나치게 강조되는 연구개발평가 풍토 속에서 연구개발주체들이 도전적 목표를 가지고 R&D를 수행하기보다는 각자 주어진 양적 성과목표만을 달성하는데 치중하는 경향이 있다는 비판이 일고 있다. 양적평가의 근본적인 문제는 합리적 도구주의에 있으며 이는 투입과 산출의 일차원성을 전제하는 도구적 합리성 모델은 지식적·경험적 타당성에 기반해야 한다는 논리이다. 문제는 이 같은 논리에 근거한 양적 평가의 결과가 인위적 맥락에 근거할 가능성을 있음을 배제할 수 없다는 것이다(이성우 외, 2015). 연구자들의 현실적인 시각과 경험을 적절하게 반영하지 못할 수도 있다는 것이다. 즉 사업 간의 복잡한 상호작용이 몇 가지 데이터로 환원되어 사업의 외적인 맥락변수들을 충분히 고려하지 못할 수도 있다. 무엇보다도 양적 평가는 평가결과의 통계적 유의성에만 집착하여 해석력에 제한적일 수 있다. 구체적으로 비 맥락적 평가의 한계, 인간 상호관계 인식의 부재, 인과관계 요인들간의 변화요인 인식부재 등이 한계로 지적되고 있다. 질적 평가에 있어 “질적” 의미는 세 가지 키워드로 정리할수 있다. 첫 번째 키워드는 ‘하나’로 즉 여러 개를 가지고 평가받던 것을 대표적인 하나의 성과를 가지고 평가받는 다는 것을 의미한다. 두 번째 키워드는 “내용(contents)”으로 획일적인 잣대인 형식적인 것으로 평가받는 것이 아니라 논문이든 특허든 그 내용을 가지고 평가받는다는 것이다. 세 번째는 ‘사람’으로, 즉 동료연구자에 의해 평가받는다는 것을 의미한다. 질적 정량평가에서의 “질”은 시대에 따라 변한다. 현재 문제점으로 지적되고 있는 SCI 논문수가 평가지표에 도입된 시기는 SRC/ERC가 처음 시작 되었던 90년대 초반으로 그 당시에는 SCI논문을 쓰는 연구자들이 거의 없었기 때문에 SCI 논문을 1편이라도 썼다는 것은 질적 수준을 의미했다. 하지만 지금은 4년제 대학 이공계 전임교원 41천명 중 57%가 연간 1편 이상의 SCI급 논문을 쓰고 있다는 점에서 SCI 논문 수에 대한 문제점 제기는 우리나라의 과학기술수준이 발전했다는 하나의 시그널이다. 연구개발의 질적 평가란 조현대(2015)에 의하면 질적으로 우수한 성과가 많이 창출되도록 도와주고 유도하면서(질적으로 우수한 성과가 많이 창출되도록 유도하는 평가) 성과의 양적측면 평가를 지양하고 질적수준 평가를 도모하는 평가 개념으로 정의하고 있다. 즉 질적 성과란 과학적, 기술적, 산업경제적, 사회적으로 impact가 높은 성과로 그 중 과학적 성과의 경우 새로운 과학적 현상·사실을 발견하거나 원리를 규명, 과학적으로 큰 진보와 과학계에 큰 파급효과를 일으키는 성과, 시간을 가지고 기술적·산업적으로 파급효과가 확산되는 과학적 성과로 볼 수 있으며 기술적성과의 경우 원천기술개발· 확보 등 새롭거나 breakthrough하는 기술적 성취를 통해 경쟁력 및 성장잠 재력 제고, 국민의 삶의 질 향상을 이루는 성과라고 하였다. 산업경제적 성과의 경우 특정기업·특정산업에 있어 비용절감, 수율제고, 정밀도 제고 및 특정산업 전반에 있어 기술혁신을 유도하는 보다 큰 성과 창출, 신산업 융합산업 등 새로운 산업의 발전으로 확산되는 성과이며 사회적성과의 경우 투입비용 대비 우리 사회가 안고 있는 사회적·공공적 문제의 획기적인 개선·해결 성과라고 하였다. 성과지표는 성과목표의 달성 여부를 객관적으로 측정할 수 있는 지표(성과평가법 제2조 제5항)로 ‘사업 수행을 통해 이루고자 하는 성과목표 달성도를 정량적・정성적으로 측정하는 잣대’ 라고 정의하였으며 지표 유형은 사업 활동과정에 따라 투입-과정산출-결과지표로 구분하며, 그 개념과 유형의 예는 다음과 같다. 또한 미래부(2014)는 표준성과지표에서 질적 성과지표의 개념을 다음과 같이 설명하고 있다. 질적 지표에 대한 명확한 정의는 없지만, ｢질적 지표｣는 연구의 질을 계량적으로 측정하는 지표를 의미하며 논문의 피인용도, Impact Factor, 특허의 계량화된 질적 가치 등 연구의 질을 측정하는 계량서지학(bibliometrics)적 관점의 지표라고 제시하였다(미래부, 2014). 과학적 연구 성과물에 대한 평가방법을 향상시켜야 한다는 필요성이 대두되면서 2012년 미국 샌프란시스코에서 DORA 선언을 제안하였다. DORA 선언에서는 저널 기반의 계량서지 지표의 사용 지양, 저널 보다는 논문 자체 가치에 대한 평가 필요성, 중요성과 영향력에 대한 새로운 지표 개발 등을 제시하였으며 DORA 선언은 실제 연구개발에 대한 연구자와 연구계획서 등을 평가하는 방법에 대한 권고안은 2013년 IEEE에서 구체화하였다. IEEE 권고안에서는 질적 지표에 대한 적절한 사용과 동료평가의 중요성을 제안하였는데 첫째, 상호 보완적인 다수의 질적 지표의 사용은 논문에 대한 질적 수준 평가에 있어서 균형잡힌 관점을 제공하기 때문에 매우 중요하며 둘째, 논문에 대하여 현재 사용되고 있는 모든 질적 지표는 개별 논문에 대한 질적 수준을 나타내는 것이 아니라 해당 저널의 평균적인 질적 수준을 평가하는 것 이며 셋째, 논문의 질적 지표는 정성평가에 있어서 추가 정보로 이용될 수는 있지만, 연구개발과제 또는 연구 개발자 평가에서는 전문가들에 의한 정성평가가 반드시 수행되어야 한다는 내용을 포함하고 있다. 그간의 성과평가 지표를 보면 사업에 따라 다소의 차이를 지니고 있으나, 사업별로 체계성과의 차이는 크지 않았다(농림수산식품과학기술위원회, 2011). R&D사업의 궁극적 달성목표와 사업체계 개편 논리를 고려한 성과평가지표의 개발이 필요한 시점이라 할 수 있다. 선진국의 경우, 2000년대 초부터 R&D과정단계와 각 활동요소에 따라 발생하는 산출물과 파급효과를 연관시켜 성과평가지표를 개발, 적용하는 추세이다(농림수산식품과학기술위원회, 2011). 논리모형(Logic Model)을 구상하는데 있어서 구체적 성과평가지표의 제시보다는 최상의 관행(best practice)으로서 가이드라인을 제시하는 탑다운(Top-down) 방식이 대부분이다. 또한 사업성과의 궁극적 목적은 계량적 산출지표(직접적인 1차성과)를 포함하여, 사업추진을 통한 전략적 목표 달성에 있어서 이를 측정하기 위한 평가지표(outcome)의 개발이 필요하다(농림수산식품과학기술위원회, 2011).