사회조사에서 자원자표본 인터넷조사 추정

이처럼 자원자표본을 이용한 웹 조사 추정치는 과소포함, 비확률표본추출 및 무응답 편향으로부터 자유롭지 못하다. 이러한 편향을 줄이기 위해 성향점수 (propensity score) 조정을 이용한 가중치 방법이 이 분야 연구에 등장하였다 (Lee, 2004, 2006; Schonlau 등, 2004; Taylor 등, 2001). 이러한 방법들을 통해 편향들을 없애거나 줄일 수 있다는 관점에서 자원자표본을 이용한 웹 조사 (volunteer sample based web survey)는 실제 자료를 수집해야 하는 실무자들에게 큰 관심이 되고 있는 것 같다. 그러나 높은 관심만큼 대규모 조사 또는 정확성을 요구하는 조사에서는 비확률표본의 활용에 대한 우려도 높다. 네덜란드에서는 주요 여론조사에 자기선택 (self selected)적으로 조사에 참여하는 웹 패널을 사용하기도 하였다. 이 웹 패널 조사는 패널에 대해서 인구학적 변수에 대한 정보를 수집하기 때문에, 이들 변수들에 대한 웹 조사와 모집단과의 비교가 가능하다. 자원자 패널 웹 조사에서 성향점수 조정은 준거조사 (reference survey) 자료가 존재한다는 것을 가정한다. 준거조사는 웹 조사와 평행하게 실시되어야 한다. 자원자표본 웹 조사에 대한 성향점수 조정은 위에서 언급한 무응답 성향조정과 매우 유사한 메커니즘을 따른다. 유일한 차이는 이 경우는 준거조사라는 또 다른 조사가 필요하다는 것이다. 준거조사는 대조군 역할을 하고, 웹 조사는 처리군 역할을 한다. 이 아이디어는 벤치마크로서 준거조사를 사용하는 것이고, 준거조사는 가능하면 준거표본의 성향점수 분포와 비슷하도록 웹 조사 표본의 성향점수 분포를 만든다. 이런 이유에서, 준거조사는 표본 선택의 랜덤화, 무응답 및 비포함에 관해서 최상의 성격을 가져야 한다. 준거조사의 품질은 조정의 효과를 결정하는 요인 중 하나이다. 준거조사는 웹 조사에 대한 자발적 참여 성향에 영향을 줄 것으로 기대되는 변수들을 반드시 포함해야 한다. 성향 모형이 많은 공변량을 포함할수록, 일관성 있는 공변량 집합이 나올 때까지 준거조사에서 많은 공변량에 관한 자료 수집을 고려하는 것이 바람직하다. 물론, 이 변수들이 성향을 잘 예측하는 만큼 조정 효과에 직접적으로 영향을 미친다. 한편, 사회조사는 2009년과 2010년 두 조사에서 자원자 패널 웹 조사를 병행하였다. 웹 조사는 연구를 목적으로 실시된 것으로 실제 사회조사 결과를 공표하는데 사용하지는 않았다. 웹 조사는 사회조사 실시기간에 동시에 진행되었다. 우선 웹 조사를 위해 이 조사에 참여할 의사가 있는 자원자를 다양한 홍보를 통해 응모하였다. 이렇게 구축된 자원자 패널 8,135가구는 비확률 기반 패널이라 할 수 있다. 이렇게 구축된 패널로부터 지역, 성, 연령별 확률적 층화에 의한 가중 리스트 계통추출법 (systematic sampling from the weighted list)에 의해 1,500가구를 추출하였다. 표본크기 1,500에 대한 설정은 예산과 표본의 분산 (sample variance)을 고려한 것이다. 이때 추출 변수는 연령 (5개 범주), 성 (2개 범주), 동․읍면 (2개 범주), 시도 (16개 범주)를 사용하였다. 앞에서 나열한 추출변수 순서대로 정렬하여 계통추출 시 내재적 층화 효과를 얻고자 하였다. 첫째, 사회조사 설문지를 영역별로 나누고, 각 영역에 대해 가중치를 각각 적용한 후 그 결과를 비교 설명하였다. 지면의 한계상 103개 모든 항목에 대한 결과를 본문에서 설명하기는 어렵기 때문에 우선적으로 성향변수로 사용된 항목들에 대해 평가하고, 성향 조정 효과를 검증하였다. 그리고 성향변수로 사용되지 않은 가구․개인 관련 사항과 보건, 교육, 가족, 안전, 환경 분야는 각 분야별로 각각 가중치 적용 후의 추정치를 계산하였지만, 본 보고서에는 ‘안전’ 부문에 대해서만 제시하기로 하였다. 둘째, 성향점수 가중치 작성 방법별로 분석결과를 설명한다. 본 연구에서는 성향가중치를 사용하는데 있어서 기본가중치로 웹 표본추출률의 역수와 림 가중치를 사용하고 분산과 편향을 통해 두 방법들의 특성을 비교해 보았다. 웹 조사에 참여한 사람들의 성향점수는 로지스틱 회귀모형을 사용하여 계산하였다. 이때 웹 조사에 참여한 표본은 표본이 자발적으로 조사에 참여하였기 때문에 할당추출 (quota sampling)에 해당하는 비확률표본으로서 이런 경우는 표본이 추출된 확률은 계산할 수 없는 것이 일반적이다. 본 연구를 위해 사용된 사회조사의 경우 자발적 참여에 의한 자원자 패널을 우선적으로 구성하고, 그 자원자 패널로부터 확률층화비례계통 추출 방법에 의해 표본을 추출하였다. 따라서 최종 웹 자원자 패널로부터 선택된 표본은 패널 안에서 확률표본으로 간주하여 추출률의 역수를 기본가중치로 사용하였다. 기본가중치 를 모르는 경우는 일반적으로 기본가중치로 1을 사용한다. 따라서 본 연구는 기본가중치로 추출률의 역수를 사용하였다. 그리고 이 결과와 림 가중치를 적용한 결과를 비교하였다. 림 가중치는 앞에서 설명한 바와 같이 모집단 구성비에 인구학적 특성비를 맞추어 사용하는 간단한 방법이다. 그러나 림 가중 조정으로 조정할 변수에 대해 모집단 분포를 사전에 알고 있어야 한다. 림 가중은 모집단의 인구사회학적 특성의 주변 분포를 알고 있는 경우 적용할 수 있는 가중치 보정 방법으로 각 특성 변수의 주변 분포를 이용하여 반복적으로 셀 내의 모집단 수를 구하는 방법이다. 이 방법은 모집단의 주변 분포만 알면 적용이 가능하므로 고려할 특성 변수가 많은 경우에도 활용이 가능하고, 빈 셀 문제에도 보다 적극적으로 대응할 수 있다. 림 가중치 방법은 Deming과 Stephan (1940)이 처음 제안한 이래 현실적인 유용성 때문에 실제 문제에 활용되기 시작하였다. 이 방법은 가중값을 반복적으로 수정해 가므로 수정된 가 중치의 수렴 여부가 중요한데, 모든 칸의 표본수가 0이 아니라면 수렴한다는 결과가 있다 (Ireland와 Kullback, 1968). 그러나 만일 일부 칸에서 표본수가 관측되지 않으면 수렴하지 않을 수도 있다 (Thompson, 1981). 이 방법으로 구한 최종 가중치는 설계 가중치를 보조정보로 이용하여 수정한 형태이기 때문에 불편추정량도 일치 추정량 (consistent estimator)도 아니다. 그렇지만, 이 방법은 주요 보조변수에 관하여 표본 추정 결과를 모집단 비율과 일치시킴으로 추정의 관점에서 신뢰성을 확보하는 장점이 있다. 지금까지 언급한 성향점수 가중치 조정에 대해 몇 가지를 확인하고 추가하자면 다음과 같다. 웹 조사에 대한 준거조사가 필요하고, 이때 준거조사의 표본크기는 웹 표본 크기보다 더 작게 된다. 만약 웹 표본보다 준거 표본이 더 많이 필요하다면, 준거 표본은 모든 웹 조사에 대해 수행되어야 하고 웹 조사의 장점으로 부각되어 있는 비용에 대한 효과는 상실할 수 있다. 또한 일반적인 표본조사 자료의 분석에서 선택편향에 대한 성향점수 조정은 필요하지 않다. 왜냐하면 대부분 과학적 조사는 확률표본이기 때문에 불편추정량을 기대할 수 있다. 성향점수 조정은 조사통계 분야에서 그렇게 독특한 방법은 아니다. 특히 사후조사 조정에 사용된 성향점수 조정은 커버리지 문제, 늦은 응답, 무응답으로부터 발생하는 조사추정치의 편향을 줄이기 위한 조정 가중치를 생성하는데 사용된 것이다.