문맥 (context)
두 번째로, 측정척도, 설문항목, 그리고 측정변수가 일관성이 있어야 한다는 것이다. 측정척도의 경우도 향후 7점 척도로 안정적으로 운영할 필요가 있다. 설문항목의 경우도 자주 변화를 주기보다는 보수적으로 일관성 있게 운영해야 한다. 아울러 측정변수도 일관성 있게 측정되어야 한다. 예를 들어, 모든 측정변수가 일관성 있게 측정되어야 하지만 그렇지 못하다. 연령의 경우 2015년 및 2008년에 연속형이 아닌 범주형으로 측정되었다. 소득의 경우 2014년은 아예 측정하고 있지 않으며, 측정하더라도 2008년도 경우처럼 범주형으로 측정하는 연도도 있다. 기본적으로 나이, 소득, 학력, 소득 등의 변수들은 연속형으로 측정되어야 분석에서 용이하다. 범주형으로 측정할 경우 더미변수로 전환해야 하고 그럴 경우 분석과정에서 해석의 어려움과 자료의 자유도 손실이 발생하는 불편함 등이 따른다.
국민이 알 수 있는 정책이나 행정서비스에 대한 조사는 현행 국민만족도 조사모델을 근본적으로 바꾸는 방안에 해당되기 때문에 중장기적으로 추진될 수밖에 없을 것이다. 부처별 대표 정책이나 행정서비스에 대한 조사로 추진된다면 기관평가 성격을 갖는 정부업무평가의 국민만족도 조사로써 적합한 반면, 정책분야별 조사로 간다면 국민에 대한 정부의 책무성 정보를 제공하는 성격을 지니게 될 것이다. 이러한 방향 설정 역시 정부업무평가 제도의 고도화 방안과 관련된다고 하겠다. 국정과제는 일반국민을 대상으로 조사하고 부처의 주요정책은 정책수혜자를 조사하는 이원화 방안 역시 현행 정책기조 하에서 수용하기 어렵고, 조사 설계가 복잡하다는 점 때문에 중장기적으로 추진해야 한다. 또한 국민이 알 수 있는 정책이나 행정서비스에 대한 조사 방안과 연계해서 추진할 필요성도 있다.
셋째, 조사목적에 따라 결과가 공개되거나 공개되지 않으며, 공개될 경우 언론 및 학계에서 조사결과를 많이 활용하고 있다는 점이다. ACSI 연방정부 보고서는 연방기관의 대표적인 행정서비스를 대상으로 조사되어 해당 기관의 만족도 점수로 공표된다는 점에서 다소 논란의 여지가 있을 수 있으나, 오히려 학계에서는 심층 분석을 통해 다양한 정책적 시사점들을 도출하고 있다. 넷째, 조사모델과 방법을 점진적으로 개선하는 한편, 일관된 자료 축적 및 심층 분석을 통해 유용하고도 신뢰성 있는 정보를 제공하고 있다는 점이다. ACSI와 CF는 전체 만족도 점수의 시계열 분석뿐만 아니라 민간과 공공부문의 비교, 연방정부와 지방정부의 비교, 국가 간 비교 등 다양한 분석 자료를 제공하고 있다. 또 ACSI를 관리하는 CFI 및 CMT를 관리하는 ICCS는 개별 부처의 고객만족도조사를 수행하면서 벤치마크기법을 활용하고 있으며, 캐나다 교통청 등 정부기관들은 매년 수행되고 있는 고객만족도조사에 대하여 주기적인 심층 분석을 별도로 수행하고 있다.
전문가 집담회는 실태 분석을 위한 전문가 심층 면접에 참여했던 3명의 성과관리 전문가들이 참여하여 진행되었으며, 여기서 검토된 내용은 다음과 같다. 우선 현 시점에서 소통전략보다는 생산전략의 중요성이 강조되었다. 조사의 신뢰성 및 타당성 제고에 초점을 맞추는 것으로 볼 수 있는데, 구체적으로는 일반국민의 인지도 제고, 정책수혜자 비중 확대 등이 현실적으로 중요하다는데 의견이 모아졌다. 하지만 패널 조사의 가능성을 타진하는 시범조사, 타 연구기관에서 수행하고 있는 패널조사에 만족도조사 항목을 추가하는 협업 방안 등이 필요하다는 의견이 제시되었다. 그리고 측정과제가 많으므로 만족도 조사가 필요한 과제만을 대상으로 조사하는 방안 또는 국정과제 평가로드맵에 따른 조사 방안 등이 제시되었다. 또 국민만족도 조사결과의 대외적 공개가 강조되었고, 정부업무평가에서 생산된 정보를 국정운영을 위한 정보를 활용하는 접근이 필요하다는 의견 등이 제시되었다.
예컨대 일반국민을 대상으로는 국정과제나 분야별 정책을 대상으로 체감도 수준의 조사를 수행하는 것이다. 국정과제의 경우 현행과 같이 140개를 모두 조사하는 것이 아니라 조사 필요성이 있고 적합한 과제를 선택하거나 핵심개혁 과제 등으로 제한하여 조사해야 할 것이다. 정책수혜자 및 고객을 대상으로 하는 만족도조사는 부처의 주요 정책이나 대표적인 행정서비스를 대상으로 실시하는 것이다. 이럴 경우 일반 국민을 대상으로 한 만족도조사는 국정운영 차원에서 환류 하도록 하며, 정책수혜자 대상의 정책/행정서비스 만족도 조사는 중앙 부처의 성과관리 차원에서 활용될 수 있을 것이다. 국민만족도 조사DB 구축 및 심층 분석 역시 중장기적으로 이루어져야 할 개선방안이다. 약 20여 년 동안 이루어진 국민만족도 조사 자료를 분석하고 DB로 구축하는 데에는 적지 않은 시간이 걸릴 것으로 생각된다. 물론 기초연구 및 예비조사는 당장 시작할 수 있지만 실제 DB 구축 및 관리를 위한 인력 확보 및 센터 운영 등은 단기간에 이루어질 수 없다.
연구 분석 모형에 따른 자료 수집 및 분석은 네 가지로 진행된다. 첫째, 국민만족도 조사결과의 활용 실태에 대한 분석이다. 국민만족도는 정부업무평가의 특정평가 영역에 속해 있으며, 국정과제평가, 정상화과제평가 등에 일정 점수로 반영되고 있다. 이처럼 중앙행정기관의 특정평가 영역에서 국민만족도조사가 활용되는 현황을 분석하는데, 평가 점수에 반영되는 경성적 활용뿐만 아니라 결과에 대한 심층 분석 및 소통이 이루어지는 연성적 활용 실태로 나누어 분석한다. 이러한 분석은 정부업무평가 시행계획, 정부업무평가보고서 등 관련 문헌 자료에 대한 분석을 통해 이루어진다. 둘째, 공무원 및 전문가 심층 면담조사이다. 정부업무평가 주관기관인 국무조정실 정부업무평가실 공무원을 비롯하여 중앙행정기관의 정부업무평가 담당 공무원과 국정과제 및 정상화과제 평가 담당 공무원, 그리고 정부업무평가위원회 및 자체평가위원회에 직간접적으로 참여한 경력이 있는 성과관리 전문가를 대상으로 면담조사를 실시하여 그 결과를 분석한다.
무엇보다도 만족도 조사 DB 구축 및 자료 분석을 담당하고 있는 전문기관이 존재한다는 점이 해외사례가 주는 시사점이다. ACSI의 경우 CFI 그룹이 관리하고 있으며, ACSI 모델을 적용하여 개별 부처의 고객만족도조사까지 수행하고 있다. CF와 CMT의 경우 시민중심서비스연구소(ICCS)가 주관하고 있다. 이 기관들은 매년 또는 주기적으로 대규모 조사를 수행하고 있으며, 원자료를 DB로 구축하여 시계열분석 및 비교 분석 등 다양한 심층 분석을 실시하고 그 결과를 보여주고 있다. 정부업무평가 국민만족도의 경우 한국행정연구원이 위탁받아 담당하고 있지만, 원자료의 DB 구축 및 이를 활용한 분석 등은 이루어지지 못하고 있는 상황이다. 해외사례가 보여주는 것처럼 DB 구축 및 자료 분석을 위한 전문기관으로서의 위상과 역할 제고가 요구되고 있다.
지시문 (instruction)
다음 문맥을 읽고 질문에 답하시오.
질문 (question)
변수를 범주형으로 측정할 경우 분석 과정에서 발생하는 문제점은 무엇인가?
추론 과정 (compact_reasoning)
-
1과제 해석
task_interpretation변수를 범주형으로 측정했을 때 발생하는 부정적인 영향과 문제점을 파악해야 한다.
-
2정보 추출
information_extraction변수 측정 방식에 따른 차이와 범주형 측정 시의 조치 사항을 추출한다.
- 범주형으로 측정할 경우 더미변수로 전환해야 하고
-
3근거 선택
evidence_selection범주형 측정 시 발생하는 구체적인 불편함에 대한 문구를 선택한다.
- 분석과정에서 해석의 어려움과 자료의 자유도 손실이 발생하는 불편함 등이 따른다.
-
4논리 통합
logical_integration범주형 변수는 더미변수로 전환해야 하며, 이 과정에서 해석의 어려움과 자료의 자유도 손실이 발생한다는 인과관계를 연결한다.
- 범주형으로 측정할 경우 더미변수로 전환해야 하고 그럴 경우 분석과정에서 해석의 어려움과 자료의 자유도 손실이 발생하는 불편함 등이 따른다.
-
5결론 도출
conclusion_formulation범주형 측정 시 더미변수 전환이 필요하며, 이로 인해 해석의 어려움과 자료의 자유도 손실이 발생한다는 결론을 도출한다.
-
6답변 생성
answer_generation질문에 대해 명확하고 간결한 서술형으로 답변을 작성한다.
최종 답변 (final_answer)
변수를 범주형으로 측정할 경우 더미변수로 전환해야 하며, 이로 인해 분석 과정에서 해석의 어려움과 자료의 자유도 손실이 발생하는 불편함이 따른다.
핵심 해석 (core_interpretation)
변수를 범주형으로 측정할 경우 더미변수로 전환해야 하므로 분석과정에서 해석의 어려움과 자료의 자유도 손실이 발생한다.