체계적 문헌고찰 및 메타분석의 신뢰도를 저하시키는 출판비뚤림의 개념과 현황, 그리고 이를 탐색하고 보정하는 다양한 방법론에 관한 연구 doc_id PCY_201711220587309821_1

체계적 문헌고찰(systematic review)은 특정 연구질문에 대해 현존하는 이용 가능한 모든 연구결과를 체계적이고 과학적인 방법으로 고려하는 연구방법으로, 의료기술평가(health technology assessment, HTA)에서 치료의 효과 및 안전성을 평가 시 활용되는 핵심적인 연구방법 중 하나이다. 그러나 체계적 문헌고찰은 기본적으로 기존에 보고된 연구결과를 요약하는 것이기 때문에 보고비뚤림(reporting bias)에 취약할 수 있다. 그리고 이 중 출판비뚤림은 체계적 문헌고찰에서 메타분석 수행 시 효과를 과대 추정하도록 하여 연구결과의 신뢰도를 떨어뜨릴 수 있으므로 메타분석에서 출판비뚤림을 탐색하고 보정하는 것은 중요하다. 이에 따라 본 연구는 다음과 같은 목적을 가지고 수행되었다. 가) 주요 교과서와 최신 연구를 검토하여 소규모 연구영향과 출판비뚤림을 탐색하고 보정하는 다양한 방법을 제시한다. 나) 주요 저널에 실린 메타분석 연구에 대하여 소규모 연구영향 및 출판비뚤림을 어떻게 탐색하고 있는지 현황을 조사한다. 다) 위 선정된 메타분석 연구를 대상으로 출판비뚤림을 탐색하여 저자의 탐색결과와 비교하고, 출판비뚤림을 보정 후 연구결과가 달라지는지 관찰한다. 체계적 문헌고찰에서 메타분석 수행 시 출판비뚤림은 효과를 과대 추정하도록 하여 연구결과의 신뢰도를 떨어뜨릴 수 있다. 이에 따라 출판비뚤림 가능성을 탐색하고 가능성이 관찰되었을 시 적절하게 효과추정치를 보정하는 것이 필요하다. 그러나 현재까지는 몇 가지 이유로 원활하게 되고 있지 못하며 기존의 출판비뚤림 관련 연구에서도 충분히 답을 주고 있지 못하다. 첫째, 소규모 연구영향과 출판비뚤림의 개념이 혼재되어 있어서 소규모 연구 영향의 탐색결과를 출판비뚤림으로 해석하여 실제 출판비뚤림의 가능성에 대해서 잘 못 판단하는 경우가 있다. 둘째, 출판비뚤림을 직접적으로 탐색할 수 있는 명확한 단일의 방법이 있는 것이 아니기 때문에 다양한 방법으로 포괄적으로 탐색하고 결과를 다소 경험적으로 판단할 수밖에 없다. 셋째, 적절한 탐색과정에 의하여 출판비뚤림이 관찰 된 후에도 보정방법이 제한적이기 때문에 이를 연구결과에 반영하는 것이 쉽지 않다. 따라서 체계적 문헌고찰에서 메타분석 수행 시 출판비뚤림을 탐색 및 보정할 수 있는 방법을 제시하는 한편, 기 출판된 연구에서 출판비뚤림의 탐색 현황과 영향력을 탐색하는 것은 앞으로 좀 더 타당성 있는 체계적 문헌고찰 연구를 위해 필요하다. 체계적 문헌고찰(systematic reviews)은 특정 연구질문에 대해 현존하는 이용 가능한 모든 연구결과를 체계적이고 과학적인 방법으로 종합, 분석하는 연구방법으로, 근거의 질 피라미드에서 가장 상위단계에 있으며 의료기술평가(health technology assessment, HTA)에서 해당 치료법의 효과 및 안전성을 평가 시 활용되는 핵심적인 연구방법 중 하나이다. 그러나 체계적 문헌고찰은 기본적으로 기존에 보고된 연구결과를 요약하는 것이기 때문에 보고비뚤림(reporting bias)에 취약할 수 있다. 출판비뚤림은 보고비뚤림 중의 하나로, 출판비뚤림은 연구결과의 방향성과 통계적 유의성에 따라서 연구의 출판 상태가 달라짐으로 해서 발생한다. 일반적으로 실험적 치료의 효과가 방향성이 있고 통계적으로 유의하면 더 잘 출판되거나 더 빠른 시일 내에 출판되며 결과적으로 체계적 문헌고찰에 포함될 가능성이 높다. 이 때문에 출판비뚤림이 있는 체계적 문헌고찰 연구에서는 효과가 과대 추정될 수 있다. 또한 FDA에 제출된 74개의 연구 중 실험적 치료의 유의한 효과를 보고하고 있는 연구는 51%인데 비하여 출판된 51개 연구 중에서는 94%로 연구의 출판상태와 연구결과에 관련성이 드러났으며, positive로 판단된 연구가 questionable 또는 negative로 판단된 연구들에 비하여 12배가량 더 출판될 가능성이 높았다(RR 11.75, 95% CI: 6.2 22.0, p<0.001). 이에 따라 효과크기도 출판상태에 따라 차이를 보였는데, FDA에 등록된 연구들 중 출판이 된 연구들의 mean weighted effect size는 0.37(95% CI: 0.33 0.41)이었고 출판이 되지 않은 연구들은 0.15(95% CI: 0.08 0.22)로 유의한 차이를 보였다(p<0.001). FDA 등록된 연구 전체와 출판된 연구를 비교하였을 때도 유의한 효과차이가 관찰되었다(p<0.001). 약제별로 나누어 보았을 때도, FDA에 등록된 연구 전체에 비하여 출판된 연구들의 효과크기가 32%(median, range: 11-69) 증가하여 역시 일관된 결과를 보였다. 주요 저널에서의 출판비뚤림 탐색현황을 조사하기 위하여 총 170개의 연구가 최종 선정되었는데, 이 중 출판비뚤림을 82개(48.2%)에서만 탐색하여, 출판비뚤림 탐색이 시행되지 않은 경우가 많았다. 출판비뚤림 탐색 시 사용한 용어의 현황을 보고자 할 때, 출판비뚤림을 탐색하지는 않았지만 용어에 대하여 언급을 한 10개 연구를 포함한 92개 연구를 대상으로 관찰하였으며, 이 중 publication bias을 단독용어로 사용한 연구가 82개(89.1%)로 대다수를 차지하였다. Small study effect를 단독으로 사용한 연구는 1개 있었고, 두 용어를 동시에 언급한 연구는 2개였다. 출판비뚤림을 탐색한 82개 연구 중 탐색방법이 제시되지 않은 1개를 제외한 81개를 대상으로 탐색방법을 관찰하였을 때, funnel plot을 단독으로 사용한 경우가 연구가 31개(38.3%)로 가장 많았으며, 그 다음으로는 10개(12.3%)의 연구에서 funnel plot과 Egger 검정을 같이 사용하였다. 출판비뚤림 보정방법으로는 절삭과 채움 방법과 fail-safe N을 활용할 수 있는데, 두 방법은 소규모 연구영향이 관찰되었을 때 출판비뚤림의 존재를 미리 가정하고 출판비뚤림이 제거된 전후를 비교하는 일종의 민감도 분석이다. Trill and fill은 funnel plot에서 비대칭성의 원인이 되는 소규모 연구를 제거한 후 전후 효과추정치를 관찰하게 되며, fail-safe N은 효과추정치의 유의성을 제거하기 위하여 필요한 연구 수를 탐색한다. 소규모 연구영향 모형을 이용하여 출판비뚤림을 보정할 수 있는데, 연속형 자료의 메타분석에서는 Egger-variance 회귀모형이, 이분형 자료에서는 Egger-variance 회귀모형과 Peters 회귀모형이 활용 가능하다. 보정 방법은 모형에서 소규모 연구영향이 0일 때 효과값을 참값(true effect)라고 가정하고, 회귀분석을 통하여 이를 추정한다. Rosenthal은 Failsafe N을 계산함으로써 메타분석의 결과에 영향을 주는 출판비뚤림을 평가하는 방법을 제안한 바 있다. Failsafe N은 치료방법이 효과가 없거나 효과 여부를 증명할 수 없는 ‘negative’ 연구 수를 의미하며 다시 말해 메타분석의 통계적 유의성이 0.05 이상으로 증가하는데 필요한 수를 의미한다. N이 큰 경우는 숨겨진 논문이 그렇게 많을 수는 없으므로 메타분석 결과가 의미 있다고 보며, N이 작은 경우는 적은 수의 논문을 추가함으로 쉽게 결과가 바뀌게 되므로 N이 작은 경우에는 메타분석 결과를 신뢰하기 어렵다고 볼 수 있다. 그러나 failsafe N은 평균 치료효과 추정치의 크기에 크게 의존하는 등의 제한점이 있어 최근에 권장되는 방법은 아니며 코크란 그룹에서도 추천하지 않고 있다.