연구개발성과의 질적 평가체계 구축방안

평가위원 선정과정에서 전문가인력 풀의 부족은 항상 대두되는 문제이다. 우리나라의 전문가인력 풀은 일본의 1/2, 미국의 1/8에 불과하고, 유럽과 같이 다수의 국가 간 전문가 교류가 이루어지는 상황에 비하여 국가연구개발과제의 기술개발 내용에 대한 보안을 이유로 해외인력의 평가위원 참석이 제한되는 상황이다. 전문가인력 풀 부족의 문제는 평가위원의 전문성 문제로 직접적으로 이어지기 때문에 질적 평가의 장애로 작용한다. 또한, 현재 모든 산업기술개발과제들에 대하여 개발내용 보안을 이유로 평가위원은 사업계획서, 연차보고서, 최종보고서 등에 대하여 평가일 전 검토가 불가능하고 평가당일에 한하여 검토가 허용됨에 따라서 실제 과제 1개당 평가위원의 계획서 검토시간은 발표평가시간을 포함하더라도 최대 2시간이 안 되는 실정으로, 미국의 국립보건원 (NIH)나 에너지연구과제사무국(ARPA-E) 사업의 평가위원들이 사전검토에만 약 6주 정도의 시간을 가지는 것에 비해 턱없이 모자라는 수준이다. 우리나라 연구관리전문기관의 경우 일본과 같이 정부부처 산하의 위탁집행형 준공공기관의 형태로서 기획, 평가, 성과 활용 등의 업무를 수행한다. 해외의 주요 연구관리전문기관은 부처와 무관하게 독립적으로 운영되고 있으며, 해외 주요 연구관리전문기관들은 대체로 대정부관계, 대의회 관계에 있어 독립적이기 때문에 평가위원에게 충분한 권한과 책임이 주어져 평가 시 질적 평가가 자유롭게 이루어지는 반면, 우리나라의 경우 정부의 통제구조 속에 있으므로 평가과정에서 발생되는 다양한 의견을 바탕으로 평가가 수행되기 보다는 정량적 수치에 의존한 성과를 근거로 평가가 이루어지는 경향이 있다. 또한, 해외 주요 연구관리전문기관들의 기획평가관리비의 비율이 약 3.50%~4.47%인 반면, 국내의 주요 연구관리전문기관인 한국산업기술평가관리원, 한국연구재단은 각각 2.4, 2.9%를 부처협의에 의해 지원받아 안정적인 인건비 및 경비 조달에 어려움이 존재하며 이는 질적 평가 강화를 위한 충분한 평가위원 및 평가관리자의 확보와 평가위원회 운영 개선 업무에 어려움으로 작용한다. 정성적 평가의 경우 상대적으로 평가자의 주관적 전문성이 많이 반영되기 때문에 공정성, 전문성, 객관성을 높여서 피평가자들의 질적 평가결과의 수용성을 높여야 한다 (조현대, 2015). 이를 위해서는 평가위원 수를 늘리고, 충분한 평가시간을 부여하고, 앞서 설명한 바와 같이 의사결정에 참고가 될 만한 질적 평가자료를 사전에 평가자들에게 제공하면 이러한 문제들이 상당 부분 해결될 수 있다(조현대, 2015). 이를 위해서는 충분한 심사평가비가 투입되어야 가능하다. 정부도 이러한 필요성을 인식하고, ‘국가연구개발 과제평가 표준지침(국과학기술심의회, 2015.3.24.)’ 에서 중점추진과제 중 하나로 ‘연구개발과제 기획평가관리비의 적정 확보’를 제시하였다(조현 대, 2015). 미국 NSF 등의 기획 및 관리평가비가 5~6%인데 비하여, 우리나라의 경우 2014년도 기준으로 9개 주요 관리기관의 기획평가 비율이 3.2% 정도인 것으로 나타났으며, 한국연구재단의 경우 1.8%에 불과하다(국과심, 2015). 평가방식은 과제 유형과 특성에 따라 적합한 평가방식(서면, 온라인, 대면(발표), 현장 평가 등)을 선택하고, 평가의 전문성과 객관성그리고 효율성 등을 적절히 혼합하여 활용한다. 또한 기술 분야(예 : 신생기술 등) 혹은 기획 참여 정도를 고려하여 기획 연구자의 과제 참여를 원칙적으로 허용한다(미래부, 2015). 기획 연구자가 과제에 참여하는 경우, 기획 참여연구자 및 비참여 연구자들 간 정보의 비대칭성 해소를 위해 과제 기획 결과물(과제제안요구서 또는 기획연구보고서 등)에 대한 사전 공시 등으로 정보를 공개한다. 과제 공고 전, 해당 부처와 전문기관의 홈페이지 그리고 국가과학기술지식정보서비스(NTIS)에 공개한다. 평가시간의 경우 평가위원이 관련 자료를 검토할 수 있는 충분한 시간을 제공한다. 대면평가 시 중소형 과제는 과제당 1시간 이상을 제공하며, 사업단 및 연구단 등 심층 평가가 필요한 대형 과제는 2일 이상의 장기 평가가 가능하고 과제당 2시간 이상의 발표와 질의응답 시간을 제공하되, 평가 과제 수 등을 고려하여 탄력적으로 적용한다 (조현대, 2015). 정부와 평가전문관리기관들은 대부분 국내 우수 연구자로 평가자 풀을 구성하고, 주요 연구사업 과제 평가 시에 활용하고 있는데 연구역량이 검증된 대형연구사업 수행 경험자, 학문분야별 상위 10% 이내 업적 우수자 등으로 풀을 구성하고 과제평가 시 평가자 풀을 중심으로 평가자를 추천하여 활용하고 있다(조현대, 2015). 특히 한국연구재단의 경우 핵심평가자 풀에 대해서 평가참여 기회를 확대하고 명단을 공개하여 책임성을 강화하고 있으므로 예컨대 은퇴한 과학자 및 은퇴를 앞둔 연구자를 활용하는 것이 시행착오를 줄일수 있는 효율적 방법이 될수 있다. 2014년 말 현재 4년제 대학 전체 전임교원 75,404명 중 60대 이상은 전체의 14.2%인 총 10,703명으로 나타나고 있다(박춘경, 2015a). 퇴직 예정인 전임 교원 수는 2019년 2,144명을 시작으로 2천명을 넘어서고 2023년에는 3,113명으로 3천명 대에 도달할 것으로 예측되고 있으므로 이러한 퇴직인력을 연구개발사업의 기획 및 평가에 활용한다면 정성평가 전문가 확보와 더불어 평가의 전문성과 공정성을 제고할수 있을 것이다. Patton(1997)은 연구개발의 질적 평가 관련 기존 책무성중심의 평가체계와는 차별적으로 발전적 평가에 의한 질적 평가론도 제시하였다. 발전적 평가에서는 목표설정· 달성 여부, 성과의 우수성과 유용성에 대한 판단보다 환경적 복잡성에 대응한 지속적인 개선과 발전 등을 강조하였으며 책무성 관점에서는 형성평가(formative), 총괄평가(summative) 등 2가지 종류로 평가를 구분하였다. 총괄평가가 목표의 달성정도, 측정 결과물에 대한 의도적인 개입에 의한 조작 여부, 결과의 일반화 조건 등에 대한 판단이라면, 형성평가는 프로그램 절차에 대한 개선과 목표달성에 영향을 미칠 것으로 보이는 강점과 약점에 대해 피드백을 제공함으로써 프로그램이 총괄평가를 받을 수 있도록 하는 예비평가 성격으로 규정하였다(고용수, 2015). 발전적 평가에서 평가자의 역할은 성공과 실패에 대한 판단자의 역할보다 변화를 추구하는 사람들과 협력하여 평가과정을 설계하는 역할을 주로 수행한다(고용수, 2015). 발전적 평가에서 평가자는 독립적으로 외부 심판자로 기능하는 것이 아니라 의도된 이용자가 평가를 통해 의사결정을 할 수 있도록 돕는 역할을 수행하며 활용중심 평가에서 평가자는 자신의 판단을 강조하기보다 의도된 이용자에 의해 유용성과 우수성에 대한 판단을 내릴 수 있도록 돕는 것이다(고용수, 2015). 평가자는 사실상 팀의 일원으로 프로그램에 대한 의사결정에 참여하고 어떻게 평가할 것인지 토론을 촉진한다. 평가자는 의도된 이용자와 가까운 관계를 유지하면서 일을 수행하기 때문에 외적인면에서 신뢰성에 대해 문제가 제기 될 수 있지만, 이것은 절충(trade-off)의 문제이다. 평가 자의 독립성과 평가의 목적·활용에 대한 절충은 평가를 실시하기 전 협의과정에서 명시적으로 다뤄질 필요가 있다(고용수, 2015). 발전적 평가에서 가장 중요한 것은 유능한 평가자로서, 사전에 정해진 절차에 따라 진행하는 평가를 지양하고 열정을 갖고 평가를 진행하도록 해야한다(Patton, 2011: 75-79). 기존의 책무성 관점 평가에서 평가자는 주어진 절차에 따라 점수를 산출하는 역할만 했다면, 발전적 평가에서의 평가자는 혁신가의 열정을 가지고 평가에 임해야 한다(고용수, 2015)