자원자 패널 웹 조사의 편향 문제를 해결하기 위한 성향점수 가중치 조정 방법의 활용 가능성 및 효과 검증 연구 doc_id CNTS-00118886766_2

자기선택은 조사에 참여할 것인지에 대한 여부를 완전히 개인 스스로가 결정한다는 것을 의미한다. 웹 조사의 경우, 조사 질문지는 단순히 웹에 올려지게 된다. 이 조사 질문지에 대한 응답 대상자들은 인터넷을 사용하는 사람들이고, 이들이 웹 사이트에 방문해서 조사에 참여할 것인가를 결정한다. 이때 조사 연구자는 인터넷에 접근하는 사람들이 조사에 대한 참여 여부를 판단하는 과정을 전혀 제어할 수 없다. 따라서 어떤 조사에서 조사 참여 여부 결정에 대해 자기선택적 방법을 적용한다는 것은 결국 확률표본추출의 원리를 따르지 않겠다는 것을 의미한다. 일반적으로 랜던표본추출일 경우에 확률이론이 적용될 수 있다. 이렇게 함으로써 조사추정치에 대해서 불편추정치를 얻을 수 있고, 추정치의 정확성을 측정할 수 있다. 확률표본추출 패러다임은 1940년대 이후 국가통계와 아카데미 통계에서 적용되어 왔고, 아주 드물게는 많은 상업적 시장조사에서도 사용되었다. 불행하게도, 많은 웹 조사는 확률표본추출 대신에 응답자의 자기선택에 의존한다. 이것은 조사결과의 품질에 심각한 영향을 미치게 된다. 이미 언급한 바와 같이 확률표본추출 이론이 적용될 수 없고 추정치는 편향되기 쉽다 (Bethlehem, 2010; Lee, 2006; 2009). 표본오차는 표본추출에 따른 오차로 표본의 크기가 모집단 크기와 같아진다면 표본오차는 0이 된다. 표본오차는 추정오차 (estimation error)와 스펙오차 (specification error)로 구성된다. 추정오차는 랜덤추출 표본을 사용하기 때문에 발생한 결과이고, 추정오차는 확률이론을 통해 측정할 수 있고 표본설계를 통해 제어할 수 있다. 스펙오차는 표본설계에서 정의된 선택확률과 실제 선택확률이 다를 때 발생한다. 스펙오차는 추출 프레임이 알려지지 않은 경우에 발생할 수 있다. 추출 프레임에서 선택된 웹 조사에서 스펙오차는 발생할 수 있고, 자기선택인 경우 선택확률은 알 수조차 없다. 과대포함오차와 측정오차는 적당한 추출 프레임이 사용된 웹 조사에서도 발생할 수 있다. 자기선택적 웹 조사의 경우 과대포함 문제는 더 심각할 수 있다. 누가 질문지를 작성했는지조차 알 수 없기 때문이다. 또 면접원이 없고 조사에 대해 연구자 개입이 어렵기 때문에 조사설계 흐름상 심각한 측정오차가 발생할 수 있다 (Dillman 등, 2008; Couper, 2008). 과소포함은 자료수집 방법으로 인터넷이 사용되고 목표 모집단이 인터넷 모집단보다 더 범위가 넓다면 훨씬 심각하다. 자원자 패널 웹 조사는 지금까지 언급한 바와 같이 많은 장단점을 가지고 있다. 뿐만 아니라, 지금까지 연구자들이 검토한 문헌 결과에 따르면, 국제적으로 볼 때 국가통계를 주도하는 통계 기관에서 자원자표본을 이용한 웹 조사 방법을 적용한 사례는 없는 것 같다. 그렇지만, 점점 어려워지는 조사환경, 신속한 정보 수요의 증가 및 조사비용에 대한 부담이 증가하면서 국가통계 기관에서도 자원자 패널 웹 조사에 대한 관심이 높아지고 있는 것 같다. 특히, 학술계에서는 자원자 패널을 이용한 웹 조사에서 발생하는 다양한 원인의 편향을 극복하기 위한 방법론 연구가 꾸준히 진행되고 있다. 또한, 실용성 측면에 관한 다양한 경험적 연구결과들도 제시되고 있다. 특히 가중치 조정 (weighting adjustment)을 중심으로 자원자 패널 웹 조사의 편향을 감소시킬 수 있는 방법을 찾고 있지만, 모든 자료에 획일적으로 적용될 수 있는 방법이 없는 것 같다. 즉, 자료의 성격과 형태에 따라, 자료에 포함된 변수에 따라, 성향변수 선택에 따라 그 조정 효과는 매우 다르게 나타날 수 있다. 이러한 국제 사회 움직임과 함께, 한국 통계청에서는 2008년을 기점으로 자원자 패널을 이용한 웹 조사에 관심을 갖게 되었고, 이들 활용 방안을 찾기 위한 연구가 2009년에 처음 시도되었다 (통계청, 2009 용역보고서). 이 연구는 하나의 예로 국민의식조사에 관련한 사회조사에 그 적용 가능성을 모색하였다. 이 연구는 사회조사 자료에 대해 성향가중 (propensity weighting) 조정을 함으로써 기준이 되는 확률표본을 이용한 대면조사와 자원자표본을 이용한 웹 조사 간 추정치의 차이를 어느 정도 줄일 수 있다는 것을 보였다. 또한 림가중치 (rim weighting)와 성향점수 가중치 방법에 따른 조정 효과 차이는 없다는 것과 성향 조정변수에 따라 조정 효과는 다를 수 있다는 사실을 제시하였다. 뿐만 아니라, 국가통계에 비확률표본에 기반한 웹 조사 방법을 활용하기 위해서는 꾸준한 연구가 있어야 한다는 점을 강조하기도 하였다. 이로부터 2009년 연구에 이어 2010년 자료를 이용한 추가 및 확장 연구에 대한 필요성이 제기되었다. 본 연구는 사회조사에서 자원자표본 웹 조사의 활용 가능성을 찾기 위해 이론적, 경험적 연구를 시도하였다. 본 연구의 주목적은 2009년 연구 결과에 이어 (통계청, 2009), 2010년 사회조사 자료에 성향점수 가중치를 적용하고 그 효과를 검증하는데 있다. 그리고 성향점수 가중치 적용을 통해 웹 조사의 편향을 줄일 수 있는 지 여부를 살펴보고자 한다. 본 연구는 편향을 줄이기 위한 방법으로 기존 연구들과 마찬가지로 성향점수 조정 방법을 사용하였다. 사회조사는 매년 5개의 다른 주제에 대해 100여 개 이상의 항목에 대해 조사하고 있다. 또한 사회조사가 국민의식조사와 관련되어 있고 해당 가구원 모두 응답해야 된다는 점에서 응답률이 그다지 높은 편은 아니다. 이런 현실적 측면을 고려하여 웹 조사 방법의 실용성을 판단할 필요가 있을 것이다. 성향점수를 이용한 가중치 조정 방법의 관심사항들은 확률표본에 기반한 대면조사와 자원자표본 웹 조사 간의 차이를 얼마나 줄일 수 있을 것인가, 가중치 조정을 통해 비확률표본 웹 조사 추정치의 신뢰성을 얼마나 유지할 수 있을 것인가 하는 것이다. 이를 위해 본 연구는 다양한 방법론적 접근과 경험적 분석을 시도하였다. 확률 표본조사 이론이 과학적인 조사의 기본으로 자리매김하게 된 것은 확률표본을 사용할 경우 불편 추정치 (unbiased estimate)를 기대할 수 있다는 점이 크다고 하겠다. 이는 표본이 특정 변수의 영향에서 벗어나 랜덤하게 추출되기 때문이다. 확률표본 이론은 표본 추출틀 (sample frame)은 모집단에 대해 100% 커버리지 (coverage)를 충족하고, 100%의 응답을 얻는다는 전제에 기초하고 있다. 그러나 이러한 가정들은 표본 추출보다는 다른 요인들로부터 발생하는 편향을 포함하기 때문에 실제 표본조사에서는 그다지 현실성이 없다. 최근 이러한 가정들이 점점 효력을 잃어가면서 조사 연구자들은 발생 가능한 편향을 줄이는 방법을 찾기 위해 활발한 움직임을 보이고 있다. 가중치 조정 (weighting adjustment)은 그러한 편향에 대한 사후 처방책으로서 가장 널리 사용되는 방법 중 하나이다. 가중치 작업은 조사추정치의 정도를 높이고 편향을 줄일 수 있다 (Groves, 2006; Little, 1993; Little and Vartivarian, 2005). 최근, 성향점수 조정은 조사통계에서 가중치 조정을 위한 보조도구로 활용되고 있다. Lee 와 Valliant (2007)은 이 분야에서 최신 연구동향을 제시한 바 있다. 성향점수 조정은 관측자료를 이용한 casual inference 에 관한 문헌에서 시작된다 (Rosenbaum 와 Rubin, 1983, 1984; D’Agostino, 1998). Causal inferences 는 실험 (experiment)이 필요하고, 그 실험은 확률표본을 사용해야 한다는 것이 이상적인 전제 조건이다. 그러나, 실제 실험연구에 있어서 확률실험은 실현하기 어렵고, 비현실적이며 때로는 비윤리적일 수 있다. 그래서 연구자들은 종종 확률실험 자료 대신에 관찰 자료로 제한하여 사용하기도 한다. 대조군과 실험군에 포함된 표본 특성은 실험 요인뿐만 아니라 외적 다른 특성들에 의해서도 다를 수 있다. 두 그룹 간 결과를 비교할 때, 결과들은 편향을 수반하는 다른 특성들과 교락될 수 있다. 우리는 그룹 간 교락 요인들의 분포를 균형 있게 맞출 필요가 있다. 성향점수 조정은 공변량으로 적절한 교락 요인들에 대해 대조군에 대한 처리군의 성향을 모형화하는 것에서 출발한다.