최종산출물 · 도서자료 기계독해

2015 인구주택총조사 인터넷조사표 설계 - 3차 시험조사표 시선추적실험 및 전문가리뷰 결과 -

uuid
1fd3d2d6-8a58-50ad-a3f8-29f810410492
content_id
CNTS-00118884037
doc_id
CNTS-00118884037_1
발행기관
통계청 통계개발원
발행연도
KDC
330
답변 불가 (is_impossible)
True
문맥 (context)
인터넷의 발전은 조사과정에도 큰 변화를 불러일으켰다. 인터넷조사, 온라인조사, 웹조사, 이메일조사 등 다양한 형태의 조사 용어가 등장하였으며 이러한 방법이 향후에도 지속적으로 중요한 역할을 차지할 것은 자명하다. 컴퓨터가 자료수집과정에 도입된 것은 1970년대 소형컴퓨터가 발전하면서부터인데, 이를 통해 좀 더 편리하고, 저렴한 방법으로 자료수집이 가능하게 되었으며, 자료품질 또한 향상되었다는 평가를 받고 있다. CATI(Computer-assisted telephone interviewing) 및 CAPI(Computer-assisted personal interviewing)와 같은 용어가 이즈음 출현하였다. 1980년대 초 인터넷이 등장하고, 가정과 회사에서 인터넷에 접속하는 경우가 증가하면서 네트워크를 통해 자료를 수집하기 시작하였다. 최초의 인터넷조사는 이메일 방식이었고, World Wide Web이 도입되면서 웹조사가 활발해졌다. 웹 조사는 구체적으로 HTML, 클라이언트 스크립트(client-side scripting), 서버 스크립트 (server-side scripting), 자료저장을 위한 데이터베이스 지원 등과 같은 웹기술을 사용한 조사를 뜻한다. 인구주택총조사는 변곡점의 위치에 놓여 있다. 전수조사(short form)의 등록센서스로의 전환뿐만 아니라, 2005년 이래 도입된 인터넷조사 응답률의 증가는 조사 전반에 큰 파급력을 갖는다. 특히 자료수집방법의 변화는 필연적으로 조사표 재설계를 요구한다. 이에 통계 개발원에서는 2012년부터 단계적으로 조사표 설계 연구를 진행 중인데, 조사항목과 종이조사표 디자인에 이어 본 연구에서는 인터넷조사 환경에 적합한 조사표 디자인을 연구하였다. 사실, 인터넷조사표는 종이조사표에 비해 좀 더 복잡하다는 것에 주의를 기울여야 한다. 물론 종이조사표 설계와 관련된 기본 지식이 인터넷조사표 작성 시에도 적용될 수 있으나, 인터넷조사가 갖고 있는 고유의 특성에 대한 이해가 선행되어야 한다. 인터넷조사는 기술적 인구학적 특성 및 응답률 측면에서 종이를 매개로 한 조사와 매우 차별적인 특성을 갖고 있기 때문이다. 2015 인구주택총조사 3차 시험조사에서는 종이조사표와 함께 인터넷조사표 테스트가 동시에 진행되었다. 본 연구에서는 3차 시험조사 인터넷조사표에 대해서 평가해 보고 이후 시행될 시범예행조사표를 설계, 2015년 본조사 안을 마련하는데 그 최종 목적이 있다. 인구주택총조사 인터넷조사표는 과연 인터넷조사가 갖고 있는 고유한 특성을 잘 반영하여 설계되었는지, 응답자가 사용하기 편리하게 구성되어 있는지를 경험적인 자료에 근거하여 판단해보고자 한다. 이를 위해 다음과 같은 이론과 실제가 융합된 연구가 설계되었다. 첫째, 문헌연구 및 사례연구를 통해서 분석적 토대를 마련하였다. 인터넷조사의 개념 및 특징, 주요 설계 원칙 등을 살펴보고, 캐나다 영국 뉴질랜드 등 주요 국가의 인터넷 조사표 디자인 사례에 대해서 검토해 보았다. 둘째, 실증연구로써 시선추적실험 및 전문가리뷰를 실시, 3차 시험조사 인터넷조사표 응답 과정에서 발생할 수 있는 문제점을 진단해 보고 시범예행조사를 위한 개선 아이디어를 도출하였다. 우리나라의 인구주택총조사 인터넷조사표에 대한 평가를 위해 시선추적실험과 전문가 리뷰 두 가지 방법이 적용되었다. 시선추적실험은 실제 조사과정과 동일하게 응답을 하도록 한 후 응답자의 시선 및 행동을 관찰하여 응답에 어려움을 겪는 지점이 어디 인지를 파악하는 방법이며, 전문가리뷰는 조사표가 원칙에 맞게 잘 설계되었는지를 전문가로부터 평가받는 방법이다. 전자의 경우, 일반인을 대상으로 문제점을 진단할 수 있으며, 후자는 문제점 진단과 함께 개선 아이디어를 도출할 수 있다는 측면에서 상호보완적으로 활용될 수 있다. 두 방법 모두 2015년 인구주택총조사 제3차 시험조사 기간에 맞추어 4월17일부터 5월 2일까지 실시되었으며, 해당 기간 내에 인터넷센서스 사이트에 접속하여 인터넷조사표에 응답하도록 한 후 실행 및 평가를 진행하였다. 먼저, 인구주택 조사 제3차 시험조사 인터넷조사표의 구조에 대해 살펴보고, 다음으로 시선추적실험과 전문가리뷰 분석 결과를 보도록 하겠다. 시선추적실험은 18세 이상의 성인 중 컴퓨터 마우스와 키보드를 활용할 수 있고, 교정시력이 0.8 이상인 경우로 자격요건을 제한하였다. 통계청 및 통계개발원 홈페이지와 지인 소개를 통해 총 35명이 지원하였으나, 실험과정에서 1명이 중도탈락하여 최종 분석대상은 34명이 되었다. 참가자 특성을 보면 남성 14명 vs. 여성 20명, 30대이하 24명 vs. 40대 이상 10명, 미혼 23명 vs. 기혼 11명이었으며 대부분이 대학 이상의 교육수준(26명)을 보유하고 있었다. 가구규모별로는 1인가구가 3명, 2인가구가 10명, 3인가구가 5명, 4인가구가 12명, 5인 가구가 4명이었다. 컴퓨터 사용시간은 1시간~2시간 미만인 경우가 11명으로 가장 많고 다음으로 2시간 이상이 9명이었다. 한편, 컴퓨터 사용능력을 자가평가(self-rating) 한 결과 5점 만점에 3.3점 정도인 것으로 나타났다. 가구원 수와 가구원 명단은 가구원 항목의 조사표 구축을 위한 필수항목이다. 가구원 수에 따라서 가구원 명단 셀의 수가 달라지며, 가구원 조사표에 해당 가구원 수 만큼의 질문칼럼이 생성된다. 그런데, 가구원 명단 작성 과정 에서 다음과 같은 문제가 진단되었다. 첫째, 가구원 수 만큼 가구원 이름 및 관계를 작성할 수 있는 칸이 생성되므로 반드시 가구원 수를 먼저 작성해야 함에도 불구하고, 가구주 명단을 작성하려고 먼저 시도하였으며, 이 과정에서 본인 이외 다른 가구원을 작성하는 칸이 없어서 당황하는 경우가 발생하였다. 이는 농림어가를 구분하는 항목 아래에 위치한 가구원 수 항목을 미처 확인하지 못하고 농림어가 구분 응답 후 바로 가구원 명단 항목으로 이동한 데서 비롯된다. 둘째, 가구원 명단의 제일 첫 칸에 가구주를 명기하게 되어 있으나, 가구주와의 관계에 ‘가구주(본인)’라고 작성되어 있어서 응답자가 가구주를 적어야 하는지, 본인을 적어야 하는지 혼돈스러워했음이 사후면접 결과 드러났다. 실제 가구주로 추정되는 다른 가구원이 있음에도 불구하고 본인이 가구주라고 응답한 경우가 13명(38.2%)이었다. 사용편리성: 휠마우스가 생기면서 드롭다운박스의 활용에 주의를 기해야 한다는 의견이 있다. 예를 들어, 응답자가 드롭다운박스에서 보기를 선택한 후, 그 위에 마우스가 놓여진 상태에서 휠마우스의 휠을 돌리게 되면 응답결과가 바뀌게 되므로 이에 대한 설명 혹은 보완이 필요하다는 것이다. 체크박스나 라디오버튼의 사용은 전반적으로 편리하다고 응답하였으나, 라디오버튼의 경우 버튼 크기가 작아서 클릭하기 어려우므로 그 간격을 조절했으면 좋겠다는 의견이 있었다. 한편, 직업 항목에 대한 주관식 응답의 경우 특정 직업에 있어서는 근무부서, 직책 등을 표기할 필요가 없다는 팝업창이 제시됨에도 불구하고 텍스트를 입력할 수 없도록 하는 반전 처리가 되지 않아, 입력을 위해 의미없이 마우스클릭을 하는 행동을 하게 된다고 지적하였다. 조사표 안의 모든 질문들을 한 화면에 배치하여 스크롤링(scrolling)을 해 가면서 응답하는 것이 효과적인지 혹은 한 화면에 한 항목을 배치하여 버튼을 눌러 다음 화면으로 넘어가면서 응답하는 페이징(paging) 구성이 효과적인지에 대해서는 논쟁적일 수 있다. 스크롤링은 내비게이션 링크와 버튼 등을 필요로 하지 않아서 선호되기도 하나, 질문이 많을 경우 스크롤링을 이용해서 아래로 내려가며 응답하는 것이 부담으로 작용할 수 있다. 이러한 단점을 보완할 수 있는 방법이 페이징 방법이나, 이 경우 페이지가 너무 많아지거나 내비게이션이 복잡해지는 것에 주의해야 한다. 따라서, 스크롤링 혹은 페이징 방법의 선택은 조사표의 내용과 규모에 따라서 정해야 한다. 예컨대 제한된 주제의 짧은 조사표는 스크롤링이 적합할 수 있는 반면 내용이 긴 조사표는 페이징 구성이 더 적합할 수도 있다. 색상의 영향력은 대부분의 사람들이 생각하는 것보다 크므로 현명하게 사용해야 한다. 색상은 조사표의 외적 디자인, 내비게이션, 그리고 응답자가 조사표를 작성 하도록 유도하는 데에도 영향을 주므로, 일관성 있고 읽기 쉽게 사용되어야 한다. 조사표는 전반적으로 일정한 색상 체계를 갖고 의미와 정보를 제공해야 한다. 배경색으로는 패턴이 없는 중립적인 색을 선택해야 한다. 인접한 위치에 색상을 배열할 때는 대조가 되는 색을 사용해야 응답자가 쉽게 구분할 수 있다. 밝은 배경에 어두운 색이, 어두운 배경에 밝은 색의 글자가 잘 읽힌다. 그러나 후자의 경우 눈을 피로하게 할 수 있으므로 제한적으로 사용하도록 한다. 색을 구별하지 못하는 사용자를 위해 시각적 흔들림과 잔상 등이 생길 수 있는 색상 조합은 피해야 한다. 예컨대 빨간색과 녹색, 노란색과 파란색, 파란색과 빨간색, 파란색과 초록색이 그렇다. 고령자의 경우 파란색, 노란색, 초록색의 색상 구분이 어려울 수 있으므로 이러한 혼합은 피하도록 한다. 이들은 흑백을 가장 쉽게 구별 한다는 것을 염두에 둘 필요가 있다. 한편, 색에는 보편적으로 공유되는 느낌과 의미가 있으나, 문화적으로 다른 의미를 부여하는 경우도 있다. 예를 들어 죽음을 상징하는 색이 아시아에서는 흰색, 필리핀 에서는 노란색, 미국에서는 검정색이다. 디자인을 단순화하기 위해서는 링크를 적게 사용해야 한다. 일반적으로, 화면 당 링크가 20개가 넘지 않는 것이 좋다. 링크를 설명하는 글의 위치가 명확히 정해져 있어야 하며, 이를 통해 응답자가 링크들을 서로 구분할 수 있도록 해야 한다. 일반적인 인터넷 사용 원칙과 마찬 가지로, 방문한 링크와 방문하지 않은 링크를 구분해야 하며 후자는 파란색, 굵게, 밑줄로 나타내도록 한다. 이미지보다는 텍스트로 구성된 링크를 사용하는 것이 내비게이션에 도움이 된다. 이미지나 아이콘을 사용할 경우, 반복적으로 느껴지더라도 이미지 옆에 텍스트를 제공하여 그 링크의 성격을 명확히 표시해주어야 한다. 링크가 같은 화면 안에서 이루어지는지, 같은 웹사이트 내의 다른 화면으로 넘어 가는지 혹은 다른 웹사이트로 넘어가는지를 구분해주어야 한다. 이것은 응답자가 해당 링크를 클릭할지 여부를 결정하는데 영향을 미치기 때문이다. 중요한 자료로의 링크나 웹사이트의 기본 내비게이션은 화면의 윗부분에 배치한다. 스크롤링이 적용된 화면의 경우, 동일한 링크들을 해당 화면의 아랫부분에도 반복해서 배치하는 것이 좋다.
지시문 (instruction)
다음 문맥을 읽고 질문에 답하시오.
질문 (question)
2015 인구주택총조사 3차 시험조사에 참여한 시선추적실험 대상자들의 평균 연령은 얼마인가?
추론 과정 (compact_reasoning)
  1. 1과제 해석task_interpretation

    질문은 2015 인구주택총조사 3차 시험조사의 시선추적실험 참여자들의 '평균 연령'이라는 구체적인 수치를 요구한다.

  2. 2정보 추출information_extraction

    문맥에서 시선추적실험 대상자의 특성에 관한 정보를 추출한다. 대상자의 성별, 연령대 분포, 혼인 여부, 교육 수준, 가구 규모, 컴퓨터 사용 시간, 컴퓨터 사용 능력 등에 대한 정보가 포함되어 있다.

    • 남성 14명 vs. 여성 20명
    • 30대이하 24명 vs. 40대 이상 10명
    • 미혼 23명 vs. 기혼 11명
    • 대부분이 대학 이상의 교육수준(26명)을 보유하고 있었다
    • 가구규모별로는 1인가구가 3명, 2인가구가 10명, 3인가구가 5명, 4인가구가 12명, 5인 가구가 4명이었다
  3. 3근거 선택evidence_selection

    연령대 분포(30대 이하 24명, 40대 이상 10명)에 대한 정보는 있으나, 개별 참가자의 정확한 나이나 전체 평균 연령을 계산할 수 있는 구체적인 수치는 누락되어 있다.

    • 30대이하 24명 vs. 40대 이상 10명
  4. 4논리 통합logical_integration

    제공된 연령대 구간 정보(30대 이하, 40대 이상)만으로는 각 그룹에 속한 인원들의 실제 나이를 알 수 없으므로, 산술적인 평균 연령을 도출하는 것은 불가능하다.

  5. 5결론 도출conclusion_formulation

    질문이 요구하는 '평균 연령'을 구하기 위한 핵심 데이터인 개별 연령 또는 정확한 연령 수치가 문맥에 존재하지 않는다.

  6. 6답변 생성answer_generation

    주어진 문맥만으로는 답을 확인할 수 없음을 최종 답변으로 결정한다.

근거 (evidence)
  • 남성 14명 vs. 여성 20명
  • 30대이하 24명 vs. 40대 이상 10명
  • 미혼 23명 vs. 기혼 11명
  • 대부분이 대학 이상의 교육수준(26명)을 보유하고 있었다
  • 가구규모별로는 1인가구가 3명, 2인가구가 10명, 3인가구가 5명, 4인가구가 12명, 5인 가구가 4명이었다
최종 답변 (final_answer)
주어진 문맥만으로는 답을 확인할 수 없다.
분석 (analysis)
문맥에는 시선추적실험 참여자의 연령대 분포(30대 이하 및 40대 이상)에 대한 정보는 명시되어 있으나, 평균 연령을 계산할 수 있는 개별 연령이나 구체적인 수치는 포함되어 있지 않다. 따라서 질문에 답하기 위해서는 문맥 외부의 정보나 추측이 필요하다.