통계조사 자료의 품질 향상과 비용 절감을 위한 합계 불일치 오류의 자동 에디팅(automatic editing) 기법 연구 및 적용 doc_id CNTS-00118886720_1

자료수집 및 처리 단계에서 오류를 찾아내고 수정하는 에디팅(editing) 절차는 전통적인 통계조사에서의 전체 예산의 많은 부분을 차지하는 것으로 보고되고 있다(Granquist, 1997). 따라서 통계작성기관에서는 통계자료를 에디팅 함에 있어 작은 비용으로도 에디팅을 효율적으로 수행할 수 있는 새로운 에디팅 기법이 필요하다. 통계 선진국에서는 이미 응답자 재접촉, 내검 인력 및 예산상의 어려움을 극복하고자 에디팅과 관련하여 많은 연구가 수행되고 있으며 새로운 에디팅 기법들이 실무에서 적용되고 있다. 그 중 하나가 에디팅 업무의 자동화이다. 외국과의 조사환경이 현재 우리와 꼭 같지는 않더라도 향후 조사환경의 변화에 대비하여 자동 에디팅(automatic editing)에 대한 연구가 지속적으로 필요하다. 특히 사업체 대상 조사의 자동 에디팅은 매출액, 급여액, 종사자수, 영업비용 등 수량 자료의 수리적 연관성 규칙을 이용하여 자동으로 수정되어야 할 항목을 선택하고 수정․대체하는 기법으로 통계 선진국에서는 오래전부터 예산 및 조사의 어려움을 극복하기 위해 활용되고 있으며 이를 통해 수작업으로 인한 과도한 에디팅의 단점을 보완하고 있다. 지방청에서는 조사 담당자간 1~2일의 교차내검과 조사표 전산입력후 전산내검을 실시하고 있으며, 본청에서는 종합내검(3개월), 지방청 질의조회, 수준분석(2개월)을 실시하여 자료내검 및 오류정정을 하고 있다. 조사표에서 얻어진 자료는 현지 입력⋅내검시 오류사항을 전산으로 검토하고 있으며 이때 점검코드는 필수적으로 만족해야만 입력이 가능한 필수코드와 점검이 필요한 선택코드로 나뉜다. 현재 어떤 레코드가 어떻게 해서 합계가 불일치한지를 전산으로 탐색하고 있으나, 이후의 처리는 주로 수작업에 의해 이루어진다. 특히 경제조사에서 합계일치 및 선형 등 식 일치를 필요로 하는 항목(종사자수, 급여액, 사업실적, 영업비용, 유형․무형자산, 연말잔액, 재고액 등)은 항목간 선형 등식 관계를 필요로 하고 있으며 합계 항목이 다른 항목과 일치되어야 하는 경우도 존재한다. 입력․내검 프로그램 운용으로 오류레코드를 전산으로 검토하고 있으나, 내검에 통과하지 못한 레코드의 수정은 주로 조사원에 의한 수작업으로 이루어진다. 그런데 향후 촉박한 일정, 과다한 내검량, 응답 비협조 증가로 조사원에 의한 수정은 많은 비용과 시간이 소요되며 내검원 간 편차가 발생할 수 있다. 특히 결측치는 0이 아닌 결측치로 반드시 구분되어 표기되어야 한다. 오류위치포착에서 결측 변수는 자동적으로 신뢰가중치를 0을 가지게 되어 어떤 값도 대체될 수 있게 된다. 그러나 결측치가 0의 값으로 표기되면 실질적인 0으로 인식하게 되고 신뢰가중치는 0이 아닌 값을 가지게 되어 실질적인 0의 값이냐 아니냐에 따라 그 결과는 달라지기 때문이다. 현실의 통계조사에서는 부정확한 응답 및 입력오류 등으로 종종 오류를 갖게 되나 통계자료 사용자는 통계자료가 완전하고 논리적으로 문제가 없기를 기대한다. 한편, 오류를 수정하기 위해 모든 응답자를 재접촉 할 수 있으나 재접촉은 비용과 시간의 제약으로 항상 가능할 수는 없으며, 게다가 응답자는 조사에 협조하지 않을 수 있다. 오류 레코드에 대해 재접촉/재조사가 힘들거나 이를 통해서도 해결되지 않을 때에는 최종적으로 내검규칙을 만족시키지 못한 항목 값은 수정되어야 할 경우가 존재한다 통계자료 에디팅(statistical data editing)은 자료 수집 및 처리 단계에서 오류를 찾아내고 이를 수정하는 과정을 말한다. 에디팅은 작업 방법에 따라 수작업 에디팅(manual editing)과 자동 에디팅(automatic editing)으로 구분한다. 그리고 에디팅의 대상에 따라 마이크로 에디팅(micro editing)과 매크로 에디팅(macro editing)으로 구분한다. 마이크로 에디팅은 개별적인 레코드 수준에서의 자료 점검인 반면 매크로 에디팅은 모든 레코드 수준에서의 자료 검토이다. 일반적으로 내검을 위해 설정하는 내검규칙에는 필수규칙(fatal edit, hard edit)과 선택규칙(query edit, soft edit)이 있다. 필수규칙은 반드시 해결되어야 할 점검사항이고 선택규칙은 다소 의심스러운 값의 범위에 있을 때 점검을 권고하는 규칙이다. 한편 과도한 선택 규칙은 업무 부담으로 새로운 오류를 유발할 수 있어 피해야 한다. 본 연구의 목적은 서비스업조사 자료에서 합계 불일치 오류의 자동수정을 시도하고 그 유용성을 검토하고자 함이다. 일반적으로 경제조사에서 가장 중요한 자료 검토 중 하나는 종사자수의 합계, 사업실적의 합계, 자산 및 재고액의 합계 등 합계불일치 오류에 대한 검토이다. 따라서 각종 경제조사에서 합계일치 조건을 갖는 항목의 자동 에디팅 연구를 통해 에디팅 인력 및 시간을 절감하고 자료의 품질을 효율적으로 관리함을 궁극적인 목표로 한다. 특히 최종 점검에도 불구하고 특이 사항 없이 합계가 불일치한 자료에 대한 대응 절차가 제시된다. 본 연구는 에디팅의 자동화에 따른 위험을 최소화하고 적용가능성이 높은 합계일치 조건하에서의 간단한 오타의 자동수정에 무게를 둔다. 단순 오타로 인한 합계불일치 오류가 아닌 나머지 오류는 수학적 최적화 방법에 의하여 자동수정한다. 적용자료는 2008년 기준 서비스업조사 자료(2009년 조사자료)로 총 43,463건으로 집계되었으며 2009년 수시과제 연구에서 서비스업조사 자료의 오류(합계불일치오류를 포함)에 대해 보고한 바 있다. 여기서는 합계 불일치 오류 수정의 자동화에 초점을 두고 자료를 분석한다. 2008년 영업기간(1.1~12.31) 중에 근무한 월평균 종사자 수를 종사상 지위별 및 성별로 구분하여 기입한다. 종사자수 조사항목과 관련된 합계불일치 점검규칙은 다음과 같이 9개의 내검규칙이 주어진다. 자영업주 합계 불일치, 무급가족종사자 합계 불일치, 상용종사자 합계 불일치, 임시일용종사자 합계 불일치, 무급종사자 합계 불일치, 남자 합계 불일치, 여자 합계 불일치, 남여 합계 불일치, 계 합계 불일치(이는 중복되는 내검규칙임)이다. 그리고 데이터의 오류는 체계적 오류(systematic error)와 랜덤 오류(random error)로 구분한다. 체계적 오류는 특정 항목에 대해 일관되게 나타나는 오류, 예를 들면 잘못된 단위로 응답하는 경우이다. 랜덤 오류는 구조적 원인이 아닌 우연적으로 나타나는 오류, 예를 들면 입력원에 의해 잘못 입력되는 경우를 말한다. 전형적인 자동 에디팅 절차는 먼저 측정단위 오류와 같은 체계적 오류를 연역적 알고리즘을 이용하여 자동 탐색 및 수정함으로 해결하고 이후 우연적 원인에 의한 랜덤 오류는 수학적 최적화 문제를 풀어 제거한다. 한편 랜덤 오류를 해결하기 위한 일반적인 방법은 펠레기-홀트(Fellegi-Holt) 방법으로 이는 모든 내검규칙을 동시에 만족하도록 수정되어야할 변수(항목)의 최소 집합을 찾는 것이다. F-H 기법은 수학적 최적화에 기초한 대표적 에디팅 방법이다. F-H 방법은 조사 자료에 오류가 있는지를 판단하기 위해 조사 담당자에 의해 설정되는 내검규칙(edits)을 필요로 한다. 만약 설정된 내검규칙을 위반하면 어떤 변수를 대체해야 할지를 결정하는 자동화 전략이 필요한데, 주어진 정보를 최대한 보존하면서 모든 내검규칙을 만족하게 하는 최소의 수정할 변수를 찾아내자는 것이 F-H 전략이다.