가공데이터 · 도서자료 기계독해

국가연구개발사업의 실효성 있는 정성평가 체계 구축을 위한 현행 평가 방식의 문제점 진단 및 개선 방향 doc_id PCY_201610201031372971_3

주제 (main_topic)
국가연구개발사업의 실효성 있는 정성평가 체계 구축을 위한 현행 평가 방식의 문제점 진단 및 개선 방향
답변 불가 (is_impossible)
True
문맥 (context)
원천기술개발사업의 경우 최종평가 단계에서 연구책임자에게 해당 과제의 대표적 연구성과를 제출토록 하고, 이에 대한 질적 수준을 평가하는 제도를 시행 중에 있으며 복수의 우수성과를 제출한 경우라도 가장 높은 등급을 받은 성과의 점수를 최종점수로 반영하고 있다. 이러한 제도의 취지는 양적 성과를 늘리기 위해 쪼개기 논문과 특허를 생산함으로써 질 낮은 성과를 양산하는 관행을 없애기 위한 목적을 가지고 있다. 그러나 이러한 좋은 취지의 제도임에도 불구하고 대표적 연구성과를 판단하는 기준으로 정량적 지표를 제시하여 활용 중이다. 특허의 경우 해외 2개국 이상 특허등록한 경우 1등급, 해외 1개국 이상 특허등록한 경우 2등급, 국내특허 등록한 경우 3등 급을 부여하고 있으며 이러한 기준은 ‘해외 국가에 특허를 등록하는 경우 높은 유지 관리 비용을 부담해야 해야 함을 고려할 때 특허 등록자가 우수특허를 선별하여 등록한 것으로 판단할 수 있음’을 근거로 설정한 것이다(미래부·한국연구재단, 2014). 국가연구개발사업의 경우 연구기간이 장기적인 경우가 많고 공익성을 대상으로 하거나 유사한 분야에서 경쟁적으로 시행되는 경우도 있는 바, 국가연구개발사업의 정성평가에서는 연구결과의 영향 등에 대한 체계적인 분석과 추적평가가 중요하다. 그러나 국내 국가연구개발사업의 경우 대부분이 피평가자가 제공한 사업계획서나 연구실적보고서 등을 중심으로 평가하고 있다. 이러한 보고자료 등이나 일정 시간 내에서의 발표평가를 통해서는 정성평가를 제대로 할 수 없다. 이러한 경우 기존의 유사한 연구과제의 연구 결과에 대한 평가나 추적 자료가 있으면 또는 수년간 시행된 되어 온 평가결과가 지식 데이터베이스로 축적되어 있으면 정성평가가 훨씬 체계화될 수 있다. 이러한 차원에서 단기산업기술개발사업이나 중장기 산업기술개발사업의 정성 평가 관점에서 문제점을 살펴보면 기본적으로 정성평가를 위한 여건 조성이 미흡하다는 점이다. 정성평가는 기본적으로 평가자에게 평가대상을 관찰하고 충분히 생각한 다음 자신의 의견을 표현하게 하고 평가자간의 정보 교환, 학습, 이해 등의 상호작용을 통해 더욱 활발한 평가가 이루어질 수 있도록 하는 방법이 권장되고 있다. 이는 정성 평가를 위해서는 단순히 연구 결과의 수치 뿐 아니라 그것이 미치는 영향 등에 대한 내용을 포괄적으로 파악해야하기 때문이다. 따라서 광범위한 영향 평가 등을 제대로 이해하고 분석하기 위해서는 관련 정보의 DB가 필수적이다. 앞에서 언급한 것처럼 대부분이 피평가자가 제공한 자료, 즉 계획서나 실적보고서 등을 중심으로 평가하고 있는 실정이다. 또한 국가연구개발사업의 경우 연구기간이 장기적인 경우가 많고 유사한 분야에서 경쟁적으로 시행되는 경우도 있다. 이러한 유사한 연구과제나 연구 결과의 경우 수년간 시행된 되어 온 평가결과가 지식 데이터베이스로 축적 되어 정성 평가의 객관화나 공정성이 신뢰를 받을 수 있게 해야 한다. 이러한 차원 에서 단기산업기술개발사업이나 중장기 산업기술개발사업의 정성 평가 관점에서 문제점을 살펴보면 기본적으로 정성평가를 위한 여건 조성이 미흡하다는 점이다. 산업기술개발사업의 정성평가 과정을 보면 대부분이 평가에 필요한 자료나 피평가자(과제제안자)를 충분히 관찰할 기회를 갖지 못한다는 점이다. 대부분의 경우 평가 시 전문기관으로부터 충분한 분석 자료를 제공받지 못한 상태에서 평가를 함으로서 임시방편적인 성격을 갖게 한다. 표준지침에서는 대면평가 시 중소형과제는 과제당 1시간 이상 제공하며, 사업단 및 연구단 등 심층평가가 필요한 대형 과제는 2일 이상의 장기평가가 가능하고 과제당 2시간 이상 발표 질의응답 시간 제공할 것을 권고하고 있으나 과제별 경쟁이 치열한 경우 실질적으로 적용하기 어려운 실정이다. 최근에는 앞서 언급한 것처럼 평가자간의 사전 워크샵 등을 통해 정보를 교류 하고 있으나 시간적으로나 전문성 면에서 역시 한계를 갖고 평가에 임할 수 밖에 없는 실정이다. 그런 상황에서 평가편의상 정량적 평가가 쉽고, 상대적으로 평가비용과 시간이 적게 들기 때문에 빠른 시간 내에 심각한 본질적인 평가가 아닌 전문관리기관이 배포하는 평가양식서에 평가위원들이 평가점수를 체크하는 방식으로, 그것도 한꺼번에 여러 개의 과제들에 대한 평가를 하는 관행과 문화가 현재 자리를 잡고 있다. 이러한 평가방식에 문제가 있다는 것을 모두 알고 있다고 생각되지만 이러한 평가방식을 근본적으로 바꾸자는 움직임은 강하지 않았다고 사료된다. 하지만 이제 이려한 평가문화를 근본적으로 바꾸어야 한다. 정성적 평가를 통해 성과가 좋지 않은 과제들을 잘라내고 그러한 과제들이 많은 사업들이 생긴다고 해도 해당 정부주관부서나 관리기관이 문제없이 제대로 사업이나 과제를 평가했다면 이에 대해 문책을 할 것이 아니라 상을 주는 문화와 풍토가 자리 잡아야 한다. 따라서 이러한 평가문화와 풍토 조성을 위해서는 본 연구가 제안하고 있는 정성평가 강화방향들을 관련 정부부처는 정책화하는데 노력을 경주해야 할 것이다. 단기성과로 나타난 기술개발성과목표는 특허출원 증대(건수), 사업화 실적 증대 (건수) 등이며 산학연계 성과목표에서는 기술지도 증대(건수) 및 기술이전 증대(건수) 등이다. 이들 항목들은 대부분의 구체적인 수치로 나타나 정량적 평가가 가능하다. 중기성과를 보면 논문 특허 증가나 기술수출 증가, 매출액 및 영업이익 증가(이상 정량적 평가 가능) 그리고 기업경쟁력 증가, 프로그램의 질 향상 (이상 정성적 평가) 등으로 구성되어 있다(미래부, 2013). 장기적인 성과로 참여기업의 경쟁력 증가나 신기술창출 능력 증가 등을 제시하고 있는 바, 이들 항목은 정성적인 평가로 해야 할 것이다. 앞서 언급한 것처럼 단기산업기술개발사업으로 여기서는 중소기업 기술개발사업을 대상으로 그 중에서도 혁신기업기술개발사업을 중심으로 살펴보고자 한다. 중소기업 기술개발사업 유형에는 글로벌전략기술개발사업 기업 서비스연구개발사업, 민관공동투자기술개발사업, 중소기업이전기술개발사업, 시장창출형 창조기술개발사업, 대학 연구기관 보유기술 직접사업화 지원사업 등이 있지만 이 중 기술혁신 사업이 가장 규모가 크며 기업의 단기산업기술개발사업성격(중소기업을 대상으로 하는 3년 이내의 기술개발 등)에 적합하다고 판단되기 때문이다. 그러나 이 유형에는 다양한 사업이 사업마다의 특성을 갖고 있어 동일한 기준으로 정성평가 수준을 분석하는 것은 한계가 있으므로 여기서는 산업부에서 시행하고 있는 산업핵심기술개발사업을 중심으로 살펴보고자 한다. 산업핵심기술개발사업의 목적은 국가 성장전략에 기반한 전략기술 분야의 핵심·원천기술 개발에 대한 집중 지원을 통해 미래신산업을 육성하고 주력기간산업의 산업경쟁력을 제고하여 미래 신성장동력을 창출하는 것이다. 지원대상 분야는 10년 이내에 기술적 파급효과가 크고 산업 기술 경쟁력을 획기적으로 제고할 수 있는 부가가치가 높은 핵심기술, 원천기술 및 엔지니어링 기술이다. 본 사업의 관련 규정을 보면「산업기술혁신사업 기술개발 평가관리지침」에 나타나 있다(산업부, 2014a).
지시문 (instruction)
다음 문맥을 읽고 질문에 답하시오.
질문 (question)
원천기술개발사업의 최종평가에서 논문의 질적 수준을 평가하여 등급을 부여할 때 사용하는 구체적인 기준은 무엇인가?
추론 과정 (compact_reasoning)
  1. 1과제 해석task_interpretation

    질문은 원천기술개발사업의 최종평가에서 특허 등급을 나누는 기준(국가 수 등)과 그 기준이 설정된 이유(근거)를 요구한다.

  2. 2정보 추출information_extraction

    문맥에서 원천기술개발사업의 성과 평가 방식과 특허 등급에 관한 정보를 추출한다.

    • 원천기술개발사업의 경우 최종평가 단계에서 연구책임자에게 해당 과제의 대표적 연구성과를 제출토록 하고
    • 특허의 경우 해외 2개국 이상 특허등록한 경우 1등급, 해외 1개국 이상 특허등록한 경우 2등급, 국내특허 등록한 경우 3등 급을 부여하고 있으며 이러한 기준은 ‘해외 국가에 특허를 등록하는 경우 높은 유지 관리 비용을 부담해야 해야 함을 고려할 때 특허 등록자가 우수특허를 선별하여 등록한 것으로 판단할 수 있음’을 근거로 설정한 것이다
  3. 3근거 선택evidence_selection

    특허 등급 기준과 근거에 대한 문장이 명시되어 있으나, 질문이 요구하는 '원천기술개발사업'의 평가 체계 전체와 특허 기준 사이의 논리적 연결을 확인한다. 문맥에는 특허 등급 기준이 명시되어 있으나, 이것이 원천기술개발사업의 '모든' 성과 평가 기준인지 혹은 특허에만 국한된 것인지에 대한 포괄적 정보는 부족할 수 있다. 하지만 질문은 '특허의 등급 기준'을 묻고 있으므로 문맥 내에 정보가 존재하는 것으로 보인다. 다시 검토한다. 질문은 '특허의 등급 기준과 근거'를 묻고 있으며, 이는 문맥에 명확히 기술되어 있다. 따라서 이 질문은 '답변 가능'한 질문이다. 질문을 '답변 불가능'하게 수정한다. 질문을 '원천기술개발사업에서 특허 외에 논문의 등급을 결정하는 기준은 무엇인가?'로 변경한다.

    • 특허의 경우 해외 2개국 이상 특허등록한 경우 1등급, 해외 1개국 이상 특허등록한 경우 2등급, 국내특허 등록한 경우 3등 급을 부여하고 있으며
  4. 4논리 통합logical_integration

    수정된 질문(논문 등급 기준)에 대해 문맥을 통합한다. 문맥에는 특허의 등급 기준은 상세히 나와 있으나, 논문의 경우 '쪼개기 논문'을 방지하려는 목적이 있다는 언급만 있을 뿐, 논문의 등급을 나누는 구체적인 지표(예: IF, 인용 횟수 등)는 전혀 언급되지 않았다.

    • 이러한 제도의 취지는 양적 성과를 늘리기 위해 쪼개기 논문과 특허를 생산함으로써 질 낮은 성과를 양산하는 관행을 없애기 위한 목적을 가지고 있다.
  5. 5결론 도출conclusion_formulation

    문맥에서는 특허의 등급 기준은 제공하지만, 논문의 등급을 결정하는 구체적인 정량적/정성적 기준에 대해서는 정보를 제공하지 않는다.

  6. 6답변 생성answer_generation

    질문에 대한 답을 문맥에서 찾을 수 없으므로 최종 답변을 생성한다.

최종 답변 (final_answer)
주어진 문맥만으로는 답을 확인할 수 없다.
분석 (analysis)
문맥에서는 특허의 등급을 결정하는 국가 수 기준과 그 근거를 상세히 설명하고 있으나, 논문의 경우 질 낮은 성과를 방지하려는 제도의 취지만 언급할 뿐 구체적인 등급 산정 기준은 제시하지 않는다. 따라서 논문의 등급 기준을 파악하기 위해서는 외부 지식이 필요하다.