사회조사에서 자원자표본 인터넷조사 추정

첫째, 우선 다양한 층이 있는 경우에는 응답자를 몇 개의 층으로 나누어 성향 조정변수를 찾고, 각 층별로 성향조정 가중치를 적용하는 것이다. 사회조사는 의식조사인 만큼 가장 대별되는 층이 학생층과 성인층이라 할 수 있다. 이렇게 층을 구분하여 성향조정을 적용할 경우 전체를 하나의 층으로 간주하고 조정하는 경우에 비해 훨씬 조정효과가 있을 것으로 본다. 둘째, 사회조사는 매년 5개 분야에 대해 국민들의 의식관련 질문을 실시한다. 통계청 (2009) 연구결과에서도 제안하였지만, 100여 개 문항을 동시에 조정하는 것보다 분야별로 성향 조정변수를 다르게 적용하는 방법을 적용할 수 있겠다. 실제로 본 연구에서 보여준 안전분야 평가 결과에 의하면 일부 항목 (42-1번 : 법을 지키지 않는 이유, 43번: 공공질서수준 6개 문항)에 대해서는 전혀 조정효과가 없었다. 이런 점을 극복하기 위해서 항목 특성을 명확히 파악하고 조정변수를 찾는 것이 중요할 것으로 보인다. 그렇지만 이렇게 할 경우 조사 분야 내 항목으로 성향 조정변수가 제한된다는 점과 한 조사 내에서 여러 개의 가중치를 적용해야 하는 부차적인 문제들이 발생될 수 있다. 이 질문지 항목 중에서 ‘학교급식 만족도’와 ‘학교주변식품 만족도’에 관한 두 질문 내용의 연관성이 매우 높다 (p=0.001). 그래서 두 변수 중 학교급식 안전도 관한 “학교급식 만족도” 변수는 변수의 개수를 가급적 최소화한다는 차원에서 제외키로 하였다. “인터넷조사 참여의향” 변수는 두 조사방법 간에 유의한 차이가 있었으나 성향조정 가중치의 극단값에 영향을 줄 것으로 판단되어 최종 성향변수에서 제외하였다. 뿐만 아니라 거처종류 변수는 통계적으로 유의한 차이가 있지만 이는 조사 참여자들의 성향보다는 일반적인 모집단 차이에 의한 원인이 크다고 판단되어 조정변수에서 제외하였고, 성별은 통계적으로 유의한 차이는 없지만, 이는 표본추출 시 모집단 분포가 사전에 고려된 주요 인구학적 특성 변수라는 점에서 성향 조정변수에 포함하기로 하였다. 따라서 최종적으로 선정된 변수는 17개에 해당된다. 추가로 시도 구분 변수를 성향변수로 포함해서 분석을 시도하였다. 시도에 따라 웹 조사 참여 정도가 다르기 때문이다. 그런데 많은 평가변수의 성향조정결과가 시도변수가 포함되기 전에 비해 웹 조사 추정치가 준거조사에서 더 차이가 생기는 것을 확인할 수 있었다. 따라서 이 변수는 성향 조정변수에 사용하지 않았다. 웹 조사 성향조정을 위해 인터넷 참여의향 변수를 성향 변수로 포함시켰을 때와 그렇지 않았을 때에 대한 로지스틱 회귀분석을 실시한 결과를 각각 그림으로 나타낸 것이다. 그림에서 세로축은 표본이 웹 조사 대비 준거조사에 참여할 확률(p/(1-p))을 로그변환한 값이고 가로축은 표본을 나타낸다. 그림에서 보면 알 수 있듯이 인터넷 참여의향 변수는 준거조사와 웹 조사를 명확히 구분하고 있다. 전제자료 중에서 부그룹이 존재하는 것처럼 보인다. 이러한 웹 조사 참여의향 변수는 확률분포의 이중분포 형태를 하고 있으며 이는 실제로 성향가중치에서 극단값을 유도하는 결과를 초래하였다. 이렇게 가중치의 극단값이 존재할 경우, 변수에 따라서는 이 값에 의해 가중치 조정이 상당히 불안정할 수 있다. 이런 점을 고려하여 본 연구에서 웹 조사 참여의향 변수는 웹 조사와 준거조사를 뚜렷하게 구분하는 변수이긴 하지만 상 대적으로 다른 변수들 조정에 불안정한 역할을 하기 때문에 성향 조정변수로 선택하지 않았다. 이 결과로부터 성향변수 선택이 얼마나 어렵고 신중해야 하는가를 다시 한 번 강조할 수 있을 것이다. 따라서 성향변수 선택과 관련한 연구가 별도로 진행될 필요가 있을 것으로 본다. 또한 성향조정에 있어서 가장 중요한 관건은 성향 조정변수의 사용이다. 실제로 웹 참여자의 성향을 조정할 수 있는 근본적인 항목을 조사에 포함시킴으로써 조정효과를 높일 수 있는 방법을 찾아야 한다. 그런데 본 연구에서 향후 웹 조사 참여의향과 같이 준거조사와 웹 조사를 확실하게 구분하는 변수는 의외로 역효과를 내는 경우도 있다. 이 변수는 웹 조사 참여자의 성향을 반영한다고 보기 어려운데, 현재 웹에 참여하고 있는 사람들은 당연히 다음 번에도 웹에 참여할 것이라고 기대할 수 있기 때문이다. 따라서 형식적으로 면접조사와 웹 조사 참여자의 성향을 드러내는 변수처럼 보이지만 이런 변수는 오히려 성향가중치의 극단값을 생성하게 되어 다른 평가변수들의 분산을 증가시키는 요인이 된다. 따라서 성향변수 선택과 관련해서 가중치 작성의 이론적 측면에 관한 연구가 필요해 보인다. 또한 사회조사는 2년에 걸쳐 10개 부문의 의식관련 조사가 실시되기 때문에 매년 조사로부터 찾은 유의한 성향변수를 시기를 교차하여 적용해 봄으로써 더 좋은 성향변수를 찾는 노력이 있어야 할 것이다. 이 분야 연구 문헌들은 꾸준히 증가하고 있으며 이들은 성향점수 조정은 편향을 줄이는데 효과적이라는 것을 보였다 (Lee, 2006; Harris Interactive, 2008; Schillewaert 와 Meulemeester, 2005; Schonlau 등, 2009; Taylor 등, 2001). 그러나 편향 축소가 모든 변수에 대해서 보편적인 현상은 아니다. 어떤 경우에는 편향이 조정 후에 더 커지는 경우도 있다. 이것은 성향점수 조정이 단지 임기응변적 처방이라는 점에서 보면 그리 놀라운 것은 아니다. 즉, 이 처방책은 그런 편향에 오염되지 않도록 이론적으로 보장된 확률표본과 달리, 선택편향을 줄이는데 도움이 되도록 의도된 것이다. 비록 자주 논의되는 것은 아니지만, 이 성향점수 조정의 큰 단점은 추정치의 변동이 증가하기 때문에 통계적 효율이 떨어진다는 것이다 (Lee 와 Valliant, 2009). 그런 의미에서, 성향점수 조정은 편향 축소 대신 분산 증가에 대한 희생이 따르게 된다. 편향과 분산을 모두 포함하는 조사의 총 오차 관점에서 보면 성향점수 조정에 의한 이점은 편향 측면만 고려할 때에 비하면 그렇게 크지는 않다. 17개 성향변수 중 몇 개 변수에 대해서 준거조사와 웹 조사 결과에 대한 분포를 살펴보았다. “인터넷 참여의향 변수”도 참고로 삽입하였다. 이 변수는 준거조사 참여자와 웹 조사 참여자의 응답이 명확히 다른 특성을 나타낸다. 나머지 변수에 대한 정보는 성향조정 후 최종 결과표에서 확인할 수 있기 때문에 별도로 여기서는 제시하지 않기로 한다. ‘FTF’는 본 연구에서 준거조사로 사용한 사회조사 대면조사를 의미한다. 성별과 “자동차운전”을 제외한 모든 변수에서 웹 조사와 준거조사 결과 사이에는 확실한 차이가 있는 것으로 나타났다. 연령변수는 준거조사와 웹 조사 모두에서 표본추출 변수로 사용되었지만, 웹 조사 자원자 패널의 연령분포가 젊은 층 (20대, 30대)이 많고, 50대 이상이 적기 때문에 두 조사 간 분포는 차이가 있다고 볼 수 있다. 인터넷 참여의향 변수는 향후 자원자표본 웹 조사에 대한 참여의향이 있다고 응답한 사람들의 비율이 준거조사와 웹 조사에서 거의 반대 양상인 것으로 나타났다 (준거 조사 21% vs 웹 조사 88%). 자살충동에 대해서는 웹 조사에서 자살충동이 있다고 응답한 비율이 준거조사에 비해 약 10%P 높았다. 이처럼 그림에 제시된 변수 외에도 사회조사의 대부분 항목에서 두 조사 간의 응답 비율에 차이가 있었다. 성향조정 가중치는 그 편향을 완전히 제거하지는 못하지만 어느 정도 줄이는 효과는 있다. 그렇지만 이에 대한 대가로 성향가중치를 적용한 추정치는 그 추정치의 분산이 커지는 효과가 발생한다. Lee (2009)에서도 성향가중치를 적용할 때 분산 증가에 대해 신중해야 한다는 것을 제안한 바 있다. 분산에 대한 문제가 없다 하더라도 현재 사회조사에 대한 성향가중치를 적용한 결과에 따르면, 성향모형에 의한 조정효과가 실질적으로 활용할 수 있을 만큼 충분하지 않다는 것이 문제이다. 특히 편향이 감소하기는 하지만, 얼마나 감소해야 좋을 것인지를 평가할 만한 객관적인 척도가 없다. 즉, 성향조정 효과를 측정할 만한 기준이 없다는 것이 문제이다. 본 연구에서는 성향조정 전과 후에 각각 준거조사에 대해 통계적으로 유의한 차이가 있는가를 검정함으로써 그 효과를 측정하였다. 그 결과 여전히 조정 후에도 준거조사와 웹 조사 추정치 간에는 차이가 있었다. 통계적 입장에 볼 때, 웹 조사 추정치가 준거조사에 충분히 근접해졌다고 보기 어렵다.