문맥 (context)
주요국의 개별평가 절차 및 주기를 비교분석한 결과는 다음 같다. 주요국의 재난관리역량 부분에 대한 평가는 위험에 대한 정의로부터 시작한다. 따라서 대내외 환경을 분석해 위험을 도출하고 이에 대한 대응역량을 개발해 그 성과를 도출하는 과정이며, 대부분 재난에 대비한 준비정도 또는 대응역량을 측정한다. 미국의 경우, 주정부는 스스로 재난대비 평가보고서를 스스로 매년 작성해 보고하며, 작성의 내용은 ‘위험 및 위해요소 식별과 위험평가(Threat and Hazard Identification and Risk Assessment, THIRA)’를 중심으로 한다. 위험의 평가를 위한 평가지표는 구체적인 활동상황을 측정할 수 있을 만큼 구체적이며, 얼마만큼의 예산지급이 필요한지 판단할 수 있을 정도로 체계적이다. 또한 설문조사를 통해 핵심능력 부족의 원인이 어디에 있는지(주 정부에 있는지 또는 연방정부에 있는지, 그 이유는 무엇인지) 등을 물어 향후의 개선방향 방향 소통에 따른 평가를 진행한다는 측면에서 국내와 큰 차이가 있다.
여섯째, 평가의 절대량이 많다는 것과 더불어, 점검・분석의 명목으로 실시되는 사실상의 평가도 많다는 것이 밝혀졌다. 특히 평가지표의 양적 증가로 산출지향형 평가지표가 증가해, 정책 활용 가능성이 낮은 현상이 나타난다는 점을 도출하였다. 이와 같은 분석결과를 토대로 본 연구는 우리나라 정부의 효율적인 통합평가 제도 구축방안을 제시하였다. 첫째, 통합평가제도 관련 용어의 법 제도화 방안을 제시하였다. 둘째, 통합・개별평가 실시의 구체적 기준 및 방법을 법제화하는 방안을 제시하였다. 셋째, 통합평가 품질의 적절성 판단 기준을 개발하고 이를 적용해 보았다. 넷째, 개별평가 운영 적절성 판단 기준을 개발하고 이를 적용하였다. 마지막으로 효율적 통합평가제도 운영을 위한 시스템 재설계 방안을 제시하였다.
영국도 미국의 예와 비슷한 구조를 지니며, 특히 위험평가의 과정에서 평가자와 피 평가자 등이 수시 커뮤니케이션과 컨설팅을 진행한다는 점과 이를 위한 모니터링 및 검토 과정이 진행된다는 점이 특징이다. 이를 통해 연 1회 평가를 실시하는 다른 국가에 비해 빠른 피드백이 가능하다. 또한 분석결과를 토대로 재난유형별 발생가능성과 피해 정도에 대한 특징을 도표화 함으로써 평가보고서를 보는 의사결정자와 국민들이 쉽게 이해할 수 있도록 하였다. 또한 호주의 경우 주정부 재난서비스부(Ministry of Emergency Service) 산하 독립기구인 주정부재난관리위원회(SEMC)에 의해 평가를 실시한다. 해당 기구는 위험평가, 활용가능역량 평가, 영향에 대한 측정 간의 순환에 대한 평가를 실시하며, 이를 통해 호주 주정부의 재난관리역량이 지속적으로 개선된다고 보았다. 이와 같은 주요국의 평가방식은 국내의 개별평가와 비교했을 때, 첫째, 단일 기관이 단일 평가를 통해 지방정부 전반의 평가역량을 측정한다는 면에서 효율성의 차이를 지닌다. 둘째, 자체평가 기반의 평가제도로서 각 기관이 제출한 서면자료에 기반 중앙행정기관이 평가를 실시하는 국내의 평가 방식과 차이가 있다.
이와 같은 분석결과 및 제안은 첫째, 개별평가 전반에 대한 최초의 체계적인 현황집계 및 실태분석 실시라는 점에서 의미가 있다. 둘째, 자율성-통합성 개념을 활용하여 효율적 통합평가제도 개념을 정립함으로써 학술적 기초를 제시했다는데 의미가 있다. 셋째, 해외의 통합・개별평가 체계 및 특징에 대한 비교 분석 실시를 통해 국내 제도개선방안을 제시했다는 데에 의미가 있다. 넷째, 구체적인 효율적 통합평가제도 운영방안을 제시함으로써 정책적으로 활용 가능한 도구를 제시했다는데 의미가 있다. 그러나 본 연구는 중장기적으로 개별평가에 대한 총괄적 전수조사와 분석을 통해 추가적 연구가 진행될 필요가 있다. 특히 전체 평가지표 간 세부 비교분석을 통해 평가지표 간 중복현상을 보다 면밀하게 분석할 필요가 있다. 마지막으로 국내의 현실에 맞는 관리시스템의 적용을 위한 체계적인 준비와 제도설계과정에서 커뮤니케이션의 충분성이 보장될 필요가 있다. 각국의 제도와 맥락에 맞는 효율적 통합평가제도는 해당국내에서의 사회적 논의와 정밀한 분석을 통해 이루어질 수 있기 때문이다. 이를 위해 관련 전문가 및 실무자에 대한 심층 인터뷰를 강화하고, 각 통합・개별평가의 운영 타당성・적절성 등에 대한 판단을 위해 개개의 평가제도에 대한 심층적 연구를 진행하는 후속 연구가 필요하다.
평가의 취지에 따른 평가 배점의 배분이 잘 이루어지지 않은 경우도 있다. 예를 들어 “개방형 직위의 운영 실태에 대한 조사・평가”는 개방형 직위의 모집, 선발, 임용의 과정에 대부분의 평가지표를 부여하고 있으며, 임용 이후의 인사관리는 8점에 불과하다. 따라서 임용 시점에서의 공정성 등을 평가하고 있어 개방형 직위의 운영실태 전반을 평가하는 데 한계를 지닌다. 또한 “공공기관 및 준정부기관 경영실적 평가”에서 최근 공공기관 경영에 있어 부채감축 노력의 필요성이 상당히 강조되고 있음에도 부채감축 달성도에 대한 평가 배점이 상당히 낮다(계량 1점)는 것도 한계이다. 마지막으로 주요사업이 약 50~30점의 배점을 부여받고 있음에도 개별기관이 지니는 특수성을 반영해야 하기 때문에 구체적인 주요사업의 선정, 목표수립, 목표대비 성과측정 등에 대한 엄정한 평가대상 범위 선정 및 평가 기준의 마련이 이루어지지 못한다는 점도 개선이 필요한 부분이라 할 수 있다.
2단계의 적용은 제4장의 개별평가에 대한 통합평가와의 유사도 검증결과를 토대로 분석 가능하다. 등급은 7개 항목 모두 통합평가도와의 유사도가 높을 경우 탁월, 5-6개 항목에서 유사도가 높을 경우 우수, 4개 항목에서 유사도가 높을 경우 보통, 3개 항목 이하에서 유사도가 높을 경우 미흡으로 분류하였다. 따라서 ‘낮음’으로 표시된 항목이 적을수록 우수하다. 등급에 따라 우수/탁월 분류 시 1차적으로 통합평가로의 전환 또는 개별평가로의 유지가 가능하다. 이 중 4단계에서 부적절하다는 평가를 받지 않았거나(표시가 없는 경우), 5단계에서 개별평가로서의 운영 필요성이 없는 경우(표시가 없는 경우) 통합평가로서 운영되는 것을 권고한다. 이에 비해 4단계에서 부적절하다고 평가되거나, 5단계에서 개별평가로서의 운영 필요성이 있다고 판단되는 경우 현재와 같이 개별평가제도로 운영되는 것이 바람직하다. 각종 영향평가의 경우 개별평가로서의 운영 필요성을 인정하였으며, 그밖에 ‘시도교육청 평가’ 등과 같이 부처의 산하기관 평가에 국한되는 경우 등도 개별평가로서의 운영 필요성이 있다고 보았다.
이와 같은 개선 필요 사안들은 공공기관 경영적 평가가 기관장에 대한 평가, 차년도 예산의 배분 등 종합적인 피드백을 제공하는 기준으로 적용될 뿐만 아니라, 결과의 공표를 통해 기관에 대한 대중적 이미지를 형성하는 데도 중요한 역할을 하고 있다는 점을 고려했을 때 개선의 필요성이 상당히 높다고 할 수 있다. “정부 출연 연구기관에 대한 평가”의 경우에도 평가의 범위가 연구사업 부문과 경영 부문의 2개 영역으로 구분되어 있다는 점은 연구기관의 고유한 특성을 고려했을 때 타당하다. 그러나 과학기술분야 정부출연연구기관의 경우 경영 부문과 연구사업 부문이 동일한 평가 배점을 받는다는 점에 대해서는 경제・인문 사회분야의 평가와 비교했을 때에도 적절한지에 대한 의문이 있다. 또한 각 피 평가기관의 출연금 사업과 수탁사업의 비중에 따라 연구회(평가기관)와 연구기관(피 평가기관)이 상호 협의를 거쳐 각 평가지표별 배점에 차등을 둘 수 있도록 하였다. 그러나 예를 들어 연구사업 부문 배점 중 70%를 차지하는 연구사업결과 부분에서 이와 같은 배점의 차이를 두는 것의 실익이 존재하는지에 대해서도 충분한 설명과 논의가 필요할 것으로 보인다.
지시문 (instruction)
다음 문맥을 읽고 질문에 답하시오.
질문 (question)
미국 주정부의 재난대비 평가보고서 작성 시 활용되는 '위험 및 위해요소 식별과 위험평가'의 구체적인 평가 항목에는 무엇이 포함되는지 설명하시오.
추론 과정 (compact_reasoning)
-
1과제 해석
task_interpretation질문은 미국의 THIRA(위험 및 위해요소 식별과 위험평가) 과정에서 다루어지는 구체적인 평가 항목(세부 내용)을 요구한다.
-
2정보 추출
information_extraction문맥에서 미국의 재난대비 평가보고서 작성 방식과 THIRA의 명칭, 그리고 평가지표의 특성에 관한 정보를 추출한다.
- 미국의 경우, 주정부는 스스로 재난대비 평가보고서를 스스로 매년 작성해 보고하며, 작성의 내용은 ‘위험 및 위해요소 식별과 위험평가(Threat and Hazard Identification and Risk Assessment, THIRA)’를 중심으로 한다.
- 위험의 평가를 위한 평가지표는 구체적인 활동상황을 측정할 수 있을 만큼 구체적이며, 얼마만큼의 예산지급이 필요한지 판단할 수 있을 정도로 체계적이다.
-
3근거 선택
evidence_selectionTHIRA가 보고서 작성의 중심이며 평가지표가 구체적이고 체계적이라는 사실은 언급되어 있으나, 정작 어떤 항목들을 평가하는지에 대한 구체적인 리스트나 내용은 누락되어 있다.
- 작성의 내용은 ‘위험 및 위해요소 식별과 위험평가(Threat and Hazard Identification and Risk Assessment, THIRA)’를 중심으로 한다.
- 위험의 평가를 위한 평가지표는 구체적인 활동상황을 측정할 수 있을 만큼 구체적이며
-
4논리 통합
logical_integration문맥을 종합하면 THIRA가 핵심 중심 내용이고 지표가 구체적이라는 점은 알 수 있지만, '구체적인 활동상황'이 무엇인지 혹은 어떤 '위험 및 위해요소'가 포함되는지에 대한 개별 항목 정보는 결합하여 도출할 수 없다.
-
5결론 도출
conclusion_formulation질문이 요구하는 '구체적인 평가 항목'에 대한 명시적인 정보가 문맥 내에 존재하지 않으므로 답변이 불가능하다.
-
6답변 생성
answer_generation주어진 문맥만으로는 답을 확인할 수 없다는 최종 답변을 생성한다.
최종 답변 (final_answer)
주어진 문맥만으로는 답을 확인할 수 없다.
분석 (analysis)
문맥은 미국의 THIRA가 보고서 작성의 중심이며 평가지표가 구체적이고 체계적이라는 사실을 기술하고 있다. 그러나 질문이 요구하는 THIRA의 구체적인 평가 항목이나 세부 내용은 명시되어 있지 않으므로, 이를 확인하기 위해서는 외부 지식이나 추가적인 정보가 필요하다.