출구조사의 오차 발생요인과 극복방안 김창영 (코리아리서치센터) KOSOMAR 세미나

外 內 Ⅰ. 연구의 배경 16대 대선 이후 예측조사에서 출구조사가 전화조사를 대체하는 경향이 가속화될 것으로 예상 예측조사에서 얻은 성과를 바라보는 조사회사 안과 밖의 시각에 큰 차이가 있음 출구조사는 연구자에게 방법론상의 승리의 나팔이 아니라 또 하나의 도전/과제 현재 조사회사에서 실시되고 있는 출구조사의 특성 파악과 정밀화 방안 마련 필요 外 內 KOSOMAR 세미나 A2-

Ⅱ. 선거여론조사의 변화 과정 1. 태동 단계 2. 발전 단계 3. 성숙 단계 1989년(13대 대선) ~ 1995년(1회 지방선거) 1996년(15대 총선) ~ 2000년(16대 총선) 2002년 지방선거 이후 방문조사(13,14대 대선) + 전화조사(95년 지방선거) 전화조사(96 총선, 97대선, 98 지방선건) + 출구조사(16대 총선) 전화조사 + 출구조사 전국단위 여론조사 중심 95년 지방선거 최초 실시 방법론적 측면 시험단계 전화조사 방법의 활성화 전화조사의 보편화 방법론적 연구의 발전 단계 대규모 총선조사/ 예측실패 출구 조사 처음 시행 광역단위 출구조사 시행 당락오차 중심 정교화 출구조사 방법론의 정교화 새로운 조사기법의 등장 KOSOMAR 세미나 A2-

Ⅲ. 전화조사 vs 출구조사 1. 국회의원 선거 2000년 총선에서의 출구조사는 방법론상으로 한계점이 있지만, 출구조사가 도입되면서 전화조사에 비해 1,2위 오차가 감소하는 경향을 보여주고 있음 15대 총선 (전화조사) 신한국당 국민회의 민주당 자민련 무소속 실제결과 121 66 9 41 16 예측결과 155 59 5 26 8 차이 +34 -7 -4 -15 -8 39개 지역 예측실패 KRC 1,2위 오차 평균 6.4%point 16대 총선 (전화+출구) 한나라당 민주당 자민련 무소속 실제결과 112 96 12 5 KBS-SBS 예측결과 100 107 차이 -12 +8 20개 지역 예측실패 KRC 1,2위 오차 평균 전화  4.3%point 출구  2.4%point 한국신당과 민노당, 민국당은 제외 KOSOMAR 세미나 A2-

2. 지방 선거 2002년 광역단체장 선거에서는 전화조사와 출구조사를 동시에 실시했으며, 출구조사는 전화 조사와 비교해 1,2위 오차가 1%대로 감소하는 경향을 보이고 있음 1~3회 지방선거 1,2위 오차 평균(%) 조사방법 MBC (갤럽) KBS (KRC-MRI) SBS (TNS) 1회(1995년) 전화조사 4.3 - 2회(1998년) 3.5 3회(2002년) 3.0 2.9 3.3 출구조사 1.6 1.7 1998년 KBS-SBS 조사 : KRC-MRI 2002년 지방선거 출구조사 : KBS 6개, SBS 4개 시도 KOSOMAR 세미나 A2-

3. 대통령 선거 출구조사가 본격적으로 도입된 2002년 16대 대선에서 출구조사는 전화조사 결과와 비교해 1,2위 오차가 현저하게 낮은 것으로 나타남 16대 대선 이회창 노무현 1,2위 오차 합 실제결과 46.6 48.9 - 출구조사 코리아리서치 46.9 48.4 0.8 MRI 46.8 49.1 0.4 TNS 46.7 48.2 전화조사 갤럽 48.5 46.2 4.6 KOSOMAR 세미나 A2-

Ⅲ. 조사방법별 장단점 비교 출구조사는 전화조사에 비해 많은 단점이 있으나, 투표자를 조사대상으로 한다는 특성때문에 결과의 정확성에서 우세를 보임  출구조사의 안정화를 위해서는 단계별 오차 최소화 방안 마련 필요 전화조사 출구조사 Sampling Frame 가구 기준  전화번호부에 의한 체계적인 샘플링 가능 투표소 기준  대표동/무작위/클러스터 추출 등 다양한 방법 적용 면접원 교육/관리 숙련된 면접원에 대한 체계적인 관리 시스템 도입 / 운영 학생들에 대한 단기간 교육으로 면접원의 질적 수준에 차이 발생 가능 조사대상 선거 이전 투표 의향자 기준 조사 선거 당일 투표 완료자 조사 면접과정 면접과정에 대한 감청과 검증 가능하며, 다양한 관리 시스템 도입 가능 투표 완료자에 대한 체계적인 추출이 원칙이나 그에 대한 관리방안 미흡 결과 분석 태도 유보층에 대해 판별분석 등 다양한 분석 방법 적용 가능 태도 유보층에 대한 추가 분석 어려움 KOSOMAR 세미나 A2-

Ⅳ. 출구조사의 오차 발생 요인 1. 표본 오차와 비표본 오차 조사 대상 투표소를 추출하는 과정에서 발생하는 오차 표본 오차 조사대상 투표소에서 응답자를 선정하는 과정에서 발생하는 오차 지역별 자료를 집계하는 과정에서 발생하는 오차 등 면접원들의 조사 진행 과정상에서 발생하는 오차 조사 대상자의 응답 과정에서 발생할 수 있는 오차 면접원들의 조사 결과 집계/전송 과정에서 발생하는 오차 등 비표본 오차 KOSOMAR 세미나 A2-

2. 표본 오차 – 투표소 추출 1) 투표소 추출 방법 최근까지 다양한 방식의 투표소 추출방식이 시도되었으며, KRC에서는 대표동 추출방식을 주로 이용하고 필요에 따라 클러스터 추출방식이나 PPS 방식을 선택적으로 사용 대표동 추출 한 지역 내에는 그 지역을 대표할 수 있는 읍/면/동이 존재한다는 가정 하에 과거 선거를 기준으로 해당지역 전체 결과와 각 읍/면/동 결과간 오차 제곱의 합이 가장 적은 곳을 선정  투표소 변동이 심할 경우 추출 투표소의 대표성이 약화될 수 있음 클러스터 추출 전체 지역을 특성이 유사한 하위 지역으로 다시 층화 하는 방식으로 클러스터 추출 방식은 하위 지역에서 대표동 추출 방식이나 PPS 방식과 결합할 수 있음  클러스터링 하는 특정 시점의 결과에 따라 변동이 많아 폭 넓게 사용하는 데 한계가 있음 PPS 추출 전체 지역 내의 읍/면/동 단위를 유권자 수 기준으로 정렬한 다음 PPS 방식에 의해 추출하는 방식  추출되는 읍/면/동의 경향성을 고려하지 않을 경우 오차 발생 가능성이 매우 높을 수 있음 KOSOMAR 세미나 A2-

대전지역 15대/16대 1위 오차 경북지역 15대/16대 1위 오차 2) 투표소 추출 결과 분석 KRC 대표동 추출방식에서는 15대 대선 기준으로 1위와 2위의 오차가 적은 지역을 일차적으로 선정 지역별 1위 오차가 0.0%였던 대전지역과 2.2%였던 경북지역을 비교할 경우, 대전지역은 지역별 편차가 1% 내에서 고른 반면 경북지역은 지역별 편차가 12.1%까지 매우 크게 나타남 대전지역 15대/16대 1위 오차 경북지역 15대/16대 1위 오차 1위 오차 : 노무현 실제 득표율 – 노무현 실제(예측) 득표율 1위 오차 : 이회창 실제 득표율 – 이회창 실제(예측) 득표율 KOSOMAR 세미나 A2-

2. 표본 오차 – 응답자 선정 응답자 선정은 기본적으로 등간격을 유지하기 때문에 체계적 표본 추출이 가능함 16개 지역별 예측 결과 및 오차 응답자 선정은 기본적으로 등간격을 유지하기 때문에 체계적 표본 추출이 가능함 그러나, KRC 기준 지역별 오차를 분석한 결과, 충청권을 제외하고 출구조사 결과에서 1위 후보의 예측치가 실제 결과에 비해 높게 나타남 충청지역이 이번 선거에서 경합 지역이었던 점을 감안한다면, 출구조사에서 열세후보 지지층의 거절률이 상대적으로 높은 경향을 보이고 있음 지역 실제 득표율(A) KRC 예측치(B) 오차(B-A) 이회창 노무현 서울 45.0 51.3 43.9 52.8 -1.1 1.5 부산 66.7 29.9 68.4 28.4 1.7 -1.5 대구 77.8 18.7 79.8 16.9 2.0 -1.8 인천 44.6 49.8 44.4 50.4 -0.2 0.6 광주 3.6 95.2 2.8 95.8 -0.8 대전 39.8 55.1 40.1 0.3 0.0 울산 52.9 35.3 54.5 33.4 1.6 -1.9 경기 44.2 50.7 43.8 -0.4 강원 52.5 41.5 54.9 39.0 2.4 -2.5 충북 42.9 50.8 1.0 0.4 충남 41.2 52.2 42.3 1.1 전북 6.2 91.6 5.3 92.7 -0.9 전남 4.6 93.4 4.4 94.4 경북 73.5 21.7 75.7 19.2 2.2 경남 67.5 27.1 68.7 25.4 1.2 -1.7 제주 39.9 56.1 56.3 -0.1 0.2 KOSOMAR 세미나 A2-

3. 표본 오차 – 결과 집계 16개 지역별 예측 오차 대선예측을 위한 출구조사에서 KRC는 16개 지역별 예측 결과를 종합해 전체 결과를 예측하는 방식을 적용함 KRC는 이번 선거에서 투표소 기준으로 최대 규모의 출구조사를 실시해, 지역단위의 예측에서는 가장 정확한 결과를 보이고 있음 그러나, 지역별 결과를 집계하는 과정에서 발생하는 오차로 인해 전체 결과예측에서는 두드러진 정확성을 보이지 못함 지역 KRC 예측 오차 OO사 예측 오차 이회창 노무현 오차 합 (절대값) 전국 0.3 -0.5 0.8 0.2 0.4 서울 -1.1 1.5 2.6 2.2 -1.9 4.1 부산 1.7 -1.5 3.2 -0.8 0.5 1.3 대구 2.0 -1.8 3.8 -0.6 1.1 인천 -0.2 0.6 -1.3 1.9 광주 1.4 -0.7 0.7 대전 0.0 -0.1 울산 1.6 3.5 -5.2 3.4 8.6 경기 -0.4 1.0 강원 2.4 -2.5 4.9 충북 3.1 충남 2.9 2.3 전북 -0.9 1.2 전남 -1.2 경북 4.7 -2.6 1.8 4.4 경남 -1.7 -4.8 8.3 제주 -1.0 오차평균 KOSOMAR 세미나 A2-

Ⅴ. 출구조사의 오차 극복 방안 1. 표본 오차 출구조사에서 대표동 추출방식을 주로 사용할 경우에는 투표소 추출에 따른 오차 발생 가능성이 클 것으로 판단됨  투표소 추출방식에 대한 깊이 있는 연구 필요 투표소 추출 이전 선거의 1,2위 오차를 우선적으로 고려하는 현재의 대표동(읍/면) 추출방식은 동(읍/면)별 투표 성향의 변동에 따라 영향을 받을 수 있음 누적 자료를 바탕으로 지역별 대표성을 지수화하여 선거에 따른 변동을 최소화할 수 있는 방법론 개발 필요 응답자 선정 지역별로 열세에 있는 후보 지지자의 거절률이 상대적으로 높게 나타남 일차적으로 투표자의 응답률을 최소활 수 있는 방안을 마련하고, 거절자의 성향을 분석할 수 있는 방안(성별/연령별 특성 반영) 마련 결과 집계 현재의 결과집계방식은 정확한 지역별 투표율을 알 수 없어 과거 투표율을 근거로 한 추정치를 사용함 과거 투표 경향과 투표 당일의 시간대별 투표율을 결합하여 실제에 가까운 투표율을 추정하여 가중치로 사용 KOSOMAR 세미나 A2-

2. 비표본 오차 출구조사의 특성상 면접원 동원과 교육, 현장 조사진행 과정 등 조사 전반에서 비표본 오차가 발생할 가능성이 매우 높음  비표본 오차에 대한 지속적인 관리 /개선 노력 필요 면접원의 수준 제고 출구조사 과정 및 방법을 정확하게 이해하기 위한 교육 매뉴얼을 만든다 조사에 대한 관여도가 높은 연구원을 중심으로 교육을 수행한다 ( 자료 참고) 교육 내용의 표준화를 위한 체크 리스트를 활용하여 반복 연습 교육을 실시한다 조별 교육을 활용해 연구원간에 교육 내용을 상호 검증할 수 있는 시스템을 갖춘다 Role Playing을 적극적으로 활용하여 교육 내용의 이해도를 체크 한다 조사진행 관리 지역별 관리자를 통해 투표소를 지속적으로 관리할 수 있는 시스템을 구축한다 출구조사에 대한 경험이 있는 면접원을 조장으로 선발한다 조장에 대한 추가적인 교육과 사명감 고취 등을 통해 자체 관리를 유도한다 조장/조원 구성 시 조 내부에서 갈등이 발생할 수 있는 소지를 미연에 차단한다 돌발상황 대처 조사과정에서 발생 가능한 문제에 대해 응대 요령을 숙지 시켜 초기 대응능력을 제고한다 지역별 관리 책임자를 두어 면접원 단위의 대처가 불가능한 상황에 대해 대처한다 지역별 관리 전담 연구원을 편성하여 현장의 문제상황에 대해 민첩하게 대응한다 KOSOMAR 세미나 A2-

조원 역할 배정 및 모의 상황에 대한 대처 요령 설명 교육관련 참고 자료 자료 1 자료 2 조원 구성 및 역할에 대한 설명 조원 역할 배정 및 모의 상황에 대한 대처 요령 설명 자료 3 자료 4 투표자에 대한 등간 추출 및 응답과정 모의 연습 문제상황에 대한 추가 설명 및 보충 KOSOMAR 세미나 A2-