문맥 (context)
한편, 프로젝트 관리자(Project Manager: PM)나 전문평가자들의 측면에서도 X-비효율의 문제가 나타날 수 있다. 즉 글로벌프론티어사업처럼 연구재원규모도 매우 크고 국가적으로 중요한 사업을 평가할 때, 자신의 일처럼 최선을 다해서 평가할 수 있냐는 문제이다. 그렇지 못한 것이 현실이다. 이에 따라서 최근 우수평가자들을 선정하여 이들에 대해서 인증서 및 감사패 증정 등 인센티브제도를 실시하려는 시도가 있다. 또한 특히 평가자들에 대해서도 특별히 관리하려는 움직임도 있다. 하지만 중요한 것은 전문평가자들에 대한 상당수준의 경제적 인센티브의 제공이라고 할 수 있다. 또한 특이 평가자들에 대해서 무조건 부정적으로만 볼 것이 아니라, 이들의 의견을 고려할 필요도 있다. 이런 점에서 평가점수 산정 시에 최고점과 최저점을 제외시키는 점수산정방법도 재검토해 볼 필요가 있다고 본다. 연구평가의 X-비효율과 관련하여서는 미국 NIH의 사례에서 언급한 것처럼 행정적인 연구평가자가 아닌 연구적 평가책임자(Scientific Review Office: SRO)의 제도는 매우 시사적이다. 즉 평가와 관련된 책임과 권리를 부여하는 제도가 필요하다.
현재 원천기술개발사업뿐만 아니라 대부분의 평가들이 일반적으로 평가관리기관에서 평가위원들을 평가시점에 임박하여 위촉하여 평가당일 평가위원장을 선출하여 평가를 진행하고 있다. 하지만 이렇게 하면 평가책무성이 매우 떨어진다. 따라서 미국 NIH처럼 평가를 주관/책임지는 평가주관 오피서(평가관리기관 내부의 시니어 박사급 이상으로 하던지 이러한 인력들이 내부에서 부족하다면 외부전문가들로 pool을 만들어서 그 중에서 상당한 시간을 두고 사전에 선정해서)를 선정하여 평가주관 오피서의 주관 하에 평가를 진행하는 것이 바람직하다. 또한 평가주관 오피스는 단순히 평가당일 평가를 진행하는 역할뿐만 아니라 사전에 연구제안서나 연차/단계 연구결과보고서 최종연구결과보고서 등을 면밀하게 검토 분석하여 해당 자료들이 가이드라인이나 양식 등에 결격사유 없는지 등을 판단할 뿐만 아니라 최종적으로 모든 평가과정과 결과들이 보고되는 평가결과보고서를 주관하여 완성토록 해야 한다.
정부는 창조경제를 선도하는 연구개발 성과평가 체계의 구축을 위해 질적성과 중심의 평가체계를 정립 및 연구개발 특성을 고려한 맞춤형 평가를 통해 연구개발성과를 제고한다는 계획이며 또한 연구환경 조성에 기여하는 평가, 성과확산과 결과 환류 지원강화를 통한 과학기술분야의 혁신력량을 강화한다는 계획이다. 이를 위해 정부는 총 8개의 과제를 추진한다. 성과지향적인 사업기획을 유도하는 기술성평가 강화를 위해서는 지재권확보, 기술이전 및 사업화를 고려한 사업추진체계 및 전략수립의 검토를 통해 성과활용 확산 계획의 점검을 강화하고 기존 예타절차 지연으로 유망사업의 적기추진에 애로가 있는 점을 해결하기 위해 기재부와 협의하여 유망사업의 적기추진을 위한 Fast-Track제도 도입을 검토한다. 또한 정량적으로 미래 파급효과를 파악하기 어려운 사업에 대해서는 창의 도전성, 창의적 인력양성, 네트워크 등 창의적 자산 효과를 분석하여 창의적 자산에 대한 평가를 하며, 일자리 창출 효과 및 시장활성화 효과에 대한 정량적 정성적 예측을 바탕으로 창조경제의 실현효과를 평가한다. 상과활용 확산체계 및 전략평가를 위해서는 사업초기부터 특허, 지재권 등의 성과 창출과 효율적 활용성과확산을 지향하는 사업기획을 수립하였는지를 검토한다.
앞에서 살펴본 세 사업의 경우 모두 원천기술개발사업으로 분류되기 때문에 특허가 중요한 성과평가지표로 활용되고 있다. 특히 연차평가 및 단계평가, 그리고 최종평가에서 특허에 대한 평가가 강화되고 있고, 특허포트폴리오 구성 등 체계적인 평가 노력도 엿볼 수 있다. 문제는 특허성과를 어떻게 평가하느냐 하는 것이다. 다시 말해서 단순히 특허출원 수만 평가해서는 안 된다는 것이다. 등록된 특허는 일단 특허청의 심사를 거친 것이므로 등록된 특허에 대해서는 단순히 출원된 특허보다 높은 가중치를 두는 것이 바람직하다. 하지만 등록된 특허라 하더라도 특허의 질에 대한 평가가 이루어져야 한다. 왜냐하면 우리나라의 경우 등록된 특허의 70% 정도가 사용되지 않는 휴면특허(sleeping patents)이기 때문이다. 특허의 질적 평가를 위해서는 원천성, 기술성, 권리성, 시장성 등 다양한 측면에서 특허가 평가되어야 한다(성태경, 2013). 따라서 각 기준에 대한 평가지표를 마련하여 객관적으로 평가하여야 한다.
연구개발 사업 특성을 고려한 질적 성과평가를 위해서는 논문, 특허 건수 등 양적지표를 최소화 하고 질적 지표를 적극 활용한 평가를 하며, 표준성과지표 내실화를 통해 질적지표를 개발 및 보급한다. 또한 사업유형 특성, 추진기간 및 사업 단계를 고려하여 질적 성과지표를 설정하고 이에 따른 맞춤형 성과평가를 실시한다. 주요사업에 대한 심층분석 강화를 위해서는 현재 연 1회 개별사업과 사업군 위주의 심층분석을 수행하고 있는 부분을 심층분석 방식을 다양화 시키고 예산반영, 사업개편으로 환류(feedback) 체계를 강화하는 방향으로 개선한다. 장기 대규모 예산사업의 경우 심층분석을 통한 예산연계를 강화하고 타당성 미흡 사업은 과감히 중단을 가능하게 하며 중복 조정 연계필요사업은 사업군 평가를 통해 R&D 성과 및 정책효과의 연계분석을 강화한다. 다부처 공동사업의 경우 공동 평가지표 마련 및 자체평가 통합실시를 추진한다. 종료 이후 성과확산 체계 강화를 위해서는 종료사업의 결과 평가를 성과확산체계 점검 위주로 전환하며 우수사업의 후속사업을 연계 지원한다. 또한 사업종료 이후의 성과확산 계획을 추적평가시 활용하며 성과확산 예선의 별도 확보를 유도한다.
이해관계자의 사업에 대한 이해를 돕고, 성과목표 및 성과지표 설정에 활용하기 위해 사업 분석을 실시한다. 자원의 투입, 사업의 과정, 산출물, 시간간격 별(단기 중기 장기) 기대되는 결과 등을 분석 및 도식화하며 사업작동원리에 대한 도식화는 관리자, 평가자 등 이해관계자 상호간 사업의 이해를 제고시킨다. 사업 분석의 다음으로는 R&D 사업의 유형을 결정하게 된다. 사업 유형 구분은 사업 특성을 반영한 합리적 성과평가 정착을 위해 성과목표와 성과지표 설정뿐만 아니라 평가 방법 등의 결정 근거로 활용하기 위한 목적으로 그 기준과 절차는 사업 분석을 통해 명확해진 사업목적, 특성 등을 고려하여 사업 유형 분류표를 참조하여 결정하게 되며 성과목표 지표 점검 과정에서 미래창조과학부와 부처 상호 협의과정을 통해 결정된다.
평가를 하는 것은 다양한 목적이 있을 수 있지만 사업/과제들의 성적 순위를 매 기는 것보다 추구하는 궁극적 목표를 달성하도록 하는 것이 평가의 근본적인 목적 일 것이다. 연구가 제대로 수행되고 있는지 점검하는 것뿐만 아니라 연구의 방향이 제대로 설정되도록 자문하는 역할도 수행하여야 한다. 따라서 평가에서 제기된 사 항들을 제대로 연구자들에게 전달하여야 하며, 평가자들의 의견이 잘못될 수 있으 므로 평가의견에 대한 연구자들의 의견을 받는 피드백 절차가 반드시 이루어져야 한다. 그렇다면 선정평가의 경우에는 적합한 궁극적인 목표를 제시하고 이를 잘 달성할 수 있는 과제를 선정하는 것이 중요하고, 연차평가/단계평가의 경우에는 평가점수가 얼마냐 보다는 평가를 통해서 잘 못된 것은 지적하여 바로 잡고, 이를 피드백 시켜서 최종적으로 궁극적인 목표를 달성토록 도와주는 것이 보다 중요할 것이다. 즉 연차평가/단계평가의 경우에는 연차별/단계별 목표달성 여부를 평가하는 것도 중요하지만 사업/과제가 잘 진행되어 최종적으로 궁극적인 목표를 달성토록 하는 컨설팅 기능도 매우 중요하다.
지시문 (instruction)
다음 문맥을 읽고 질문에 답하시오.
질문 (question)
미국 NIH의 사례를 참고하여 연구평가의 X-비효율 문제를 해결하기 위해 제안된 '평가주관 오피서'의 역할은 무엇인가?
추론 과정 (compact_reasoning)
-
1과제 해석
task_interpretation미국 NIH 사례를 바탕으로 제안된 평가주관 오피서의 구체적인 직무와 역할을 파악해야 한다.
-
2정보 추출
information_extraction문맥에서 평가주관 오피서에 대한 정의와 수행 업무를 기술한 부분을 추출한다.
- 평가주관 오피서(평가관리기관 내부의 시니어 박사급 이상으로 하던지 이러한 인력들이 내부에서 부족하다면 외부전문가들로 pool을 만들어서 그 중에서 상당한 시간을 두고 사전에 선정해서)를 선정하여 평가주관 오피서의 주관 하에 평가를 진행하는 것이 바람직하다.
- 평가주관 오피스는 단순히 평가당일 평가를 진행하는 역할뿐만 아니라 사전에 연구제안서나 연차/단계 연구결과보고서 최종연구결과보고서 등을 면밀하게 검토 분석하여 해당 자료들이 가이드라인이나 양식 등에 결격사유 없는지 등을 판단할 뿐만 아니라 최종적으로 모든 평가과정과 결과들이 보고되는 평가결과보고서를 주관하여 완성토록 해야 한다.
-
3근거 선택
evidence_selection평가주관 오피서의 역할과 관련된 핵심 문구인 사전 검토 업무와 결과보고서 작성 업무를 선택한다.
- 사전에 연구제안서나 연차/단계 연구결과보고서 최종연구결과보고서 등을 면밀하게 검토 분석하여 해당 자료들이 가이드라인이나 양식 등에 결격사유 없는지 등을 판단
- 최종적으로 모든 평가과정과 결과들이 보고되는 평가결과보고서를 주관하여 완성
-
4논리 통합
logical_integration추출된 정보를 종합하여 평가주관 오피서가 단순한 당일 평가 진행을 넘어 사전 검토와 사후 보고서 완성까지 책임지는 역할임을 연결한다.
-
5결론 도출
conclusion_formulation평가주관 오피서는 연구제안서 및 각종 보고서의 결격사유를 사전에 검토·분석하고, 최종적인 평가결과보고서를 주관하여 완성하는 역할을 수행한다.
-
6답변 생성
answer_generation질문에 대한 최종 답변을 정리한다.
최종 답변 (final_answer)
평가주관 오피서는 단순히 평가 당일에 평가를 진행하는 역할에 그치지 않고, 사전에 연구제안서나 연차/단계 연구결과보고서, 최종연구결과보고서 등을 면밀히 검토 및 분석하여 가이드라인이나 양식에 결격사유가 없는지 판단하며, 최종적으로 모든 평가 과정과 결과가 보고되는 평가결과보고서를 주관하여 완성하는 역할을 수행한다.
핵심 해석 (core_interpretation)
미국 NIH의 사례를 참고한 평가주관 오피서는 사전에 연구제안서와 각종 연구결과보고서를 면밀히 검토하고 결격사유를 판단하며, 최종적으로 평가결과보고서를 주관하여 완성하는 역할을 수행한다.