최종산출물 · 도서자료 기계독해

연구성과 평가법제 분석 및 개선방안

uuid
6781566c-0033-5e62-a323-932746bbf7c9
content_id
PCY_201501300917067591
doc_id
PCY_201501300917067591_9
발행기관
과학기술정책연구원
발행연도
KDC
350
답변 불가 (is_impossible)
True
문맥 (context)
「미국경기부양법」에 근거하여 추진되는 STAR Metrics는 R&D투자와 성과 간의 연계를 명확히 보여주지 못했던 舊 PART 시스템을 개선할 수 있도록 인프라를 구축하고, R&D투자와 성과 간의 명확한 인과관계를 규명하고자 하였다는 점에서 의의가 있다고 본다. 또한 미국은 GPRAMA상 과학기술 영역에 대한 연방투자가 고용, 지식창출, 보건 등에 미치는 효과를 폭넓게 모니터링 하여 성과를 평가하는 방식으로 전환하고, 재정사업에 대한 평가와 평가결과의 예산과의 연계 보다는 부처별 3-8개의 중점성과목표(High Priority Performance Goals; HPPGs)를 선정하여 집중 관리하는 방식으로 전환되고 있다. 우리나라는 2013년 국가연구개발사업 성과평가 개선 종합대책에 PART의 폐지와 STAR Metrics에서 사용하는 지표들을 반영하였다. 하지만 연구기관평가의 경우, 다양한 지표를 개발하여 공급하였지만 너무 복잡한 지표체계로 인하여 연구 일선에서는 지속적으로 지표의 단순화를 요구하고 있다. 따라서 우리나라도 연구기관별 중점성과 목표를 선정하여 집중 관리하는 방식으로 전환할 필요가 있다고 본다. 프랑스는 LOLF상 성과관리 주체로서 의회 및 감사원이 주된 역할을 수행한다. 다만, 2006년 이전에는 2001년 LOLF 시행으로 해산된 성과관리범부처원회가 예산당국의 역할을 수행하였다. 즉, 성과관리범부처원회는 각 부처가 작성할 성과계획서, 성과관리보고서를 평가하여 그 결과를 통보하고, 각 부처가 활용할 성과관리 기법을 연구하여 부처에 전달하고, 각 부처의 성과관리에 대한 방법론적 평가기능을 수행하고 사업프로그램 집행과 관련하여 계획의 실현가능성을 평가하였다. LOLF 시행 이후에는 프랑스 의회가 재정성과 관리제도의 주된 주체가 되었다. 즉, 의회는 정부가 제출한 예산성과관리보고서를 토대로 사업프로그램 목표 및 계획수립의 적절성, 사업수행결과 등을 평가하고, 만일 성과계획서, 성과관리보고서의 내용이 성과관리 가이드라인에 저촉되어 사업목표 설정의 불명확성, 일관성의 결여 등이 지적되었을 경우, 성과관리계획서를 정부에 회송시킬 수 있는 강력한 권한을 가지고 있다. 프랑스는 연구조직인 국가과학연구위원회(Commite National de la Recherche Scientifique; CNRS), 개별연구소, 대학 등 국가 전체의 과학연구 활동에 대한 개혁작업을 진행하였다. 프랑스는 개혁 작업의 일환으로 2007년 연구평가시스템의 분산되어 있는 요소들을 결합시키고 고등교육기관 및 공공연구기관에서 수행된 연구활동에 대한 평가를 담당할 연구 및 고등교육평가원(Evaluation Agency for Research and Higher Education; AERES)을 설립하였다. AERES는 2013년 7월 22일「고등교육법」에 따라 HCERES로 대체되었으나 HCERES는 AERES의 권리․의무를 승계하였다. 하지만 이에 대한 관련 체제가 명확히 정비되지 않아 본 연구에서는 AERES를 중심으로 분석하기로 한다. HCERES는 AERES와 유사한 체제로 구성될 것으로 예상되지만 근본적으로 위원회 체제라는 점에서 평가원이 가지고 있던 체제와는 차별성을 가진다고 본다. 특히 독립성을 강화한다는 측면에서는 기존 AERES와는 조직운영 측면에서 변화가 있을 것으로 판단된다. 프랑스의 연구 및 혁신정책은 고등교육연구부(Ministère de l''enseignement supérieur et de la recherche) 주도로 이루어지고 있다. 프랑스의 연구 및 혁신시스템상 고등교육연구부와 과학기술고문회의(Le Haut conseil de la science et de la technologie; HCST)는 연구 공공정책의 전반적인 예산과 목표, 연구정책을 정의함으로써 방향성을 제시하는 정책을 담당하고, 국립연구청(Agence National de la Recherche; ANR), OSEO는 국가계획안 실행준비 즉, 분야별 주제․당면과제 공식화 및 자원배분 역할을 수행한다. 연구수행활동은「연구프로그램지원법」상 연구주체인 고등교육기관 및 연구기관 등에서 담당하고, 연구성과에 대한 평가는 연구 및 고등교육평가고등위원회(High Council for the Evaluation of Research and Higher Education; HCERES)에서 담당하고 있다. AERES는 ⅰ) 대학, 연구기관 등의 독립적인 연구활동에 대한 공공연구기관 평가, ⅱ) 개별 연구자 및 연구부서가 산출한 연구성과물에 대한 평가, ⅲ) 대학 등 고등교육기관이 운영하고 있는 교육프로그램에 대한 평가를 담당한다. 다만, 서두에서 언급한바와 같이 연구예산 배분 및 연구수행의 기능은 별도의 전문기관들에서 담당한다. 또한 연구주제의 선정작업은 연구수행기관을 중심으로 한 Bottom-Up방식이 주를 이루고 있고, EU차원의 Horizon 2020 프로그램이 운영된다는 점은 우리나라의 단일 국가연구개발사업구조와는 다른 특징이 있다. AERES의 연구성과 평가조직은 ⅰ) 연구기관, ⅱ) 연구사업, ⅲ) 고등교육 프로그램과 학위과정 등 3개의 본부로 구성되어 있으며, 연구기관의 추천으로 임명하는 25명의 위원회와 170명의 인력 및 프랑스 국내외에 약 4,500 여명의 전문가 풀을 보유하고 있으며, 기관에서 제출하는 자체평가 보고서를 검토하는 것과 더불어 현장실사도 병행하며, 복합적인 방법에 따라 “통합평가”를 수행하고 평가에는 약 9개월이 소요된다. AERES는 기관평가에 관한 일정한 평가양식을 제공하고 이를 기반으로 자체평가보고서를 작성하고 각 분야의 전문가로 이루어진 평가위원회는 평가결과보고서를 작성하고 이를 정부에 보고하면 동 사이트에 관련 자료가 공개된다. 또한 정부는 각 연구기관과 진행하는 연구기관의 재원 배분 등에 관한 합의 단계에서 평가원의 평가보고서를 활용하게 되며, 개별 연구기관은 평가보고서의 세부 평가결과를 연구기관 내 각 연구사업에 대한 예산 등에 반영하여 활용한다. AERES는 피평가기관의 이익을 위하여 ⅰ) 고등교육 및 연구기관에게 교육과 연구분야에 대해 개선된 전략에 관한 정보를 제공하고, ⅱ) 교육 및 연구부서의 제공된 서비스의 품질을 개선하기 위한 의견에 대하여 비교요소를 제공하고, ⅲ) 담당부처의 의사결정(자금 및 재원의 배분, 프로그램 또는 연구사업의 승인)에 필요한 정보를 제공하고, ⅳ) 시민사회에 고등교육 및 연구기관의 업무활동에 대하여 명백하고 신뢰할 수 있는 정보를 제공하는 역할을 수행한다. 프랑스의 정부산하기관에 대한 관리감독은 주무부처와 산하기관 간의 관계 재정립에 의해 이루어지고 있으며, 각 기관마다 위원회를 두어 폭넓은 권한을 부여한 후 관리하고 있었다. 하지만 연구성과 평가와 관련하여 앞서 살펴본 바와 같이 2006년 4월 18일 제정된「연구프로그램지원법(de programme pour la recherche)」을 통해 프랑스의 모든 연구기관 및 관련 조직뿐만 아니라 박사교육과정 및 연구인력을 평가하고 장기적으로 국가의 모든 연구활동을 총괄하여 평가하는 AERES를 신설하였고, 2013년 개정「교육법(Code de la recherche)」에서는 AERES가 HCERES로 변경됨을 규정하고 있으며, HCERES가 연구개발 평가 관련 독립적인 행정기관임을 명시하고 있다.
지시문 (instruction)
다음 문맥을 읽고 질문에 답하시오.
질문 (question)
프랑스의 AERES가 수행하는 세 가지 주요 평가 업무 중, 대학의 교육프로그램에 대한 평가는 구체적으로 어떤 방식으로 이루어지는가?
추론 과정 (compact_reasoning)
  1. 1과제 해석task_interpretation

    질문은 AERES가 담당하는 세 가지 평가 업무 중 '대학의 교육프로그램 평가'에 대한 구체적인 방법론(how)을 묻고 있다.

  2. 2정보 추출information_extraction

    문맥에서 AERES의 주요 평가 업무 세 가지를 추출한다.

    • ⅰ) 대학, 연구기관 등의 독립적인 연구활동에 대한 공공연구기관 평가
    • ⅱ) 개별 연구자 및 연구부서가 산출한 연구성과물에 대한 평가
    • ⅲ) 대학 등 고등교육기관이 운영하고 있는 교육프로그램에 대한 평가
  3. 3근거 선택evidence_selection

    질문과 관련된 AERES의 업무 범위는 명시되어 있으나, 교육프로그램 평가를 수행하는 구체적인 절차나 방식에 대한 정보는 누락되어 있다.

    • ⅲ) 대학 등 고등교육기관이 운영하고 있는 교육프로그램에 대한 평가를 담당한다.
  4. 4논리 통합logical_integration

    문맥에는 AERES가 '통합평가'를 수행하며 현장실사를 병행한다는 일반적인 평가 방식은 언급되어 있으나, 이것이 '교육프로그램 평가'에 특화된 구체적인 방법론인지, 혹은 교육프로그램 평가만을 위한 별도의 방식이 존재하는지는 알 수 없다.

    • 복합적인 방법에 따라 “통합평가”를 수행하고 평가에는 약 9개월이 소요된다.
  5. 5결론 도출conclusion_formulation

    AERES가 교육프로그램 평가를 담당한다는 사실은 확인되지만, 질문이 요구하는 '구체적인 방식'에 대한 직접적인 설명은 문맥에 존재하지 않는다.

  6. 6답변 생성answer_generation

    주어진 문맥만으로는 답을 확인할 수 없음을 최종 답변으로 결정한다.

근거 (evidence)
  • ⅰ) 대학, 연구기관 등의 독립적인 연구활동에 대한 공공연구기관 평가
  • ⅱ) 개별 연구자 및 연구부서가 산출한 연구성과물에 대한 평가
  • ⅲ) 대학 등 고등교육기관이 운영하고 있는 교육프로그램에 대한 평가
  • ⅲ) 대학 등 고등교육기관이 운영하고 있는 교육프로그램에 대한 평가를 담당한다.
  • 복합적인 방법에 따라 “통합평가”를 수행하고 평가에는 약 9개월이 소요된다.
최종 답변 (final_answer)
주어진 문맥만으로는 답을 확인할 수 없다.
분석 (analysis)
문맥은 AERES가 대학의 교육프로그램 평가를 담당한다는 사실과 일반적인 통합평가 방식을 언급하고 있으나, 교육프로그램 평가에 특화된 구체적인 수행 방법은 명시하지 않는다. 따라서 질문에 답하기 위해서는 외부 지식이나 추가적인 정보가 필요하다.