발표자 : 김지연 (미디어리서치 사회여론조사팀 부장) 16대 대선출구조사 방법론 검토 발표자 : 김지연 (미디어리서치 사회여론조사팀 부장) KOSOMAR 세미나

1. 선거예측에서의 출구조사 □ 전화조사 ○ 선거기간동안 전체판세 및 계층별 지지 변화를 추적 ○ 출구조사 대체 자료(거리제한 규정에 따른 극단적 조사 제지시) ○ 거짓응답, 장난응답, 응답회피의 증가로 후보지지도 추정이 어려움(응답 불성실 효과) 후보단일화 당시 역선택 가능성 유포 ○ 선거직전에 발생할 수 있는 스윙여부 및 크기를 추정하는 데 한계 정몽준 대표 지지철회에 따른 지지표의 이동 ○ 표본프레임의 불완전성 등 구조적인 문제점 낮은 전화번호 등재율 ○ 투표율 추정, 보수주의자 회피효과, 할당표집 편향 등 KOSOMAR 세미나 A1-2

□ 출구조사 ○ 전화조사의 한계점을 극복할 수 있는 가장 유용한 방법으로 자리 잡음 ○ 16대 대선을 비롯하여 지방선거, 재보궐 선거 등 여러선거에서 예측력을 입증 받음 ※ 역대 방송사 예측조사 당선자 예측오차 비교 출구조사 도입이전 (총 7회) 92년 14대 대선 미디어, 갤럽 95년 1회 지자체 갤럽, HRC 96년 15대 총선 미디어, 갤럽, KRC, 월드, 동서 97년 15대 대선 갤럽, KRC 98년 4.2보선 미디어, 갤럽 98년 2회 지자체 미디어, 갤럽, KRC 98년 7.21 보선 미디어, 갤럽, 월드 출구조사 도입이후 (총 6회) 99년 3.30 보선 미디어, KRC 99년 6.3 보선 미디어, KRC, 글로벌, R&R 00년 16대 총선 미디어, 갤럽, KRC, TNS, HRC 02년 3회 지자체 미디어, 갤럽, KRC, TNS 02년 8.8 재보선 미디어, KRC, TNS 02년 16대 대선 미디어, KRC, TNS KOSOMAR 세미나 A1-3

전체 - 151개 선거구 3.8 1.6 전화조사 출구조사 16대 총선 3회 지방선거 ※ 출구조사 및 전화조사 당선자 오차 크기 비교(미디어리서치 자료) ○ 총 13차례 실시된 방송사 예측 조사 중 11차례 참가(출구조사 6회 수행) 전체 - 151개 선거구 3.8 1.6 전화조사 (112개 평균) 출구조사 (39개 평균) 16대 총선 3회 지방선거 KOSOMAR 세미나 A1-4

2. 출구조사 설계시 주요 고려 사항 ① Sampling ㆍ투표소 추출방법 ㆍ응답자 선정 방식 ② 실사 ㆍ투표소 추출방법 ㆍ응답자 선정 방식 ② 실사 ㆍ 조사원 교육 ㆍ면접방법 ㆍ자료집계/전송 방식 ③ 분석 ㆍ 조사거절자 처리 ㆍ무응답자 분류 ㆍ 부재자 반영 KOSOMAR 세미나 A1-5

3. 투표소 추출 □ 투표소 추출방법 □ 기존 선거 출구조사 투표소 추출 ○ 대표구 선정방식, PPS(Probability Proportional to size), 단순무작위추출, 층화추출, 집락추출 등 □ 기존 선거 출구조사 투표소 추출 ○ 역대선거 오차의 최소자승법을 이용한 대표구 선정방식 - 3.30 재보선, 6.3재선거, 16대 총선 등 주로 국회의원 선거에서 이용 - 고려할 점 : ① 유권자 유입과 유출에 따른 인구변동이 적어야 함 ② 선거구 조정에 따른 급격한 정치환경 변화가 없어야 함 ○ 다단 층화 추출법 - 지방선거, 대통령 선거 - 유권자의 정치적 성향을 기초로 선거구를 몇 개의 층으로 나눈 뒤 투표소 추출 KOSOMAR 세미나 A1-6

□ 16대 대선 투표소 추출 ○ 투표소 추출단계 1단계 □ 16개 시/도 각각을 하나의 층으로 간주하여 분할(1단계 층화) 2단계 □ 16개 시/도를 각각 K개의 층으로 2단계 층화 · 기준단위 : 투표소 3단계 □ 각 층에서 무작위로 투표소를 추출 · 층별 최소 2개 이상의 투표소 추출 4단계 □ 문제 투표소 대체 · 답사 후 최종 결정 5단계 □ 전국 199개 출구조사 투표소 최종확정 KOSOMAR 세미나 A1-7

○ 16개 시도별 추출 투표소 시도명 투표구 수 층 수 추출투표소 수 서울특별시 2,214 9 34 부산광역시 902 5 15 대구광역시 578 2 인천광역시 573 10 광주광역시 323 3 대전광역시 311 울산광역시 267 6 경기도 2,358 8 33 강원도 738 충청북도 491 4 충청남도 727 11 전라북도 758 전라남도 997 경상북도 991 12 경상남도 994 제주도 249 계 13,471 61 199 KOSOMAR 세미나 A1-8

- 3회 지방선거 자료를 기초로 추출하여 16대 대선에 투사(서울 지역) 노무현 이회창 당선자 오차 1-2위 격차 오차 ※ 투표소 추출 방법에 따른 오차 크기 비교 - 3회 지방선거 자료를 기초로 추출하여 16대 대선에 투사(서울 지역) 노무현 이회창 당선자 오차 1-2위 격차 오차 실제결과 51.3 45.0 - 층화추출 0.0 PPS 52.6 43.6 1.3 2.7 대표구 52.1 44.1 0.8 1.7 단순무작위 추출 (30회 반복 평균) 50.8 0.5 KOSOMAR 세미나 A1-9

4. 실사관리 □ 면접원 선발 및 출구조사팀 구성 ○ 조사팀은 조장과 조원 및 몇 개의 출구조사팀을 관리·감독하는 감독관으로 구성됨 ○ 조장은 출구조사 유경험 면접원, CLT 전문면접원 등 조사경험이 있는 사람을 선발 조원통제, 선관위 마찰 해결 등의 능력이 필요함 ○ 조원은 자문교수단의 추천, 대학게시판 공고 등을 통해 주로 선발 1회성 아르바이트이지만, 관리가 잘 될 경우 다음 선거에도 참여가 가능함 ○ 감독관은 회사의 직원이 역할 담당 조사원들의 실사원칙 준수여부를 감독하고, 원칙 위반시 시정조치 및 문제발생시 해결 임무 KOSOMAR 세미나 A1-10

□ 면접원 교육 ○ 출구조사 원칙에 대한 이론교육과 사례 위주 및 실습의 2단계 교육 ○ 이론 교육 - 출구조사 정의, 위치 선정, 응답자 선정, 주의사항 등 출구조사의 전반적인 내용에 대해 교육 면접원 자긍심 고취가 중요 ○ 실습 교육 - 과거 출구조사의 위반사례 및 특이사항 등을 교육 참관인단 보고서 및 자체보고자료 활용 - Role-playing 실시 : 조사원과 응답자의 역할을 교대로 해 봄으로써 실사원칙 숙지 - 가능하다면, 과거선거때 촬영해 둔 비디오 등을 활용 이미지 트레이닝을 통해 당일 현장 상황에 대한 대처능력 배양 KOSOMAR 세미나 A1-11

□ 응답자 선정 ○ Systematic Sampling : 성, 연령, 직업 구성은 고려하지 않고 체계적이고 규칙적으로 체계적이고 규칙적인 응답자 선정이 출구조사의 핵심이므로, 반복교육, 현장감독 등을 통해 이 부분이 특히 잘 지켜지도록 관리해야 함 ○ 응답자 선정간격(K)은 목표표본수와 그에 따른 통계량의 오차한계, 조사원수 등에 따라 다르게 정해지지만, K간격이 너무 좁거나 넓은 것은 바람직하지 않음 너무 좁을 때는 면접원이 바빠서 지키기가 어렵고, 너무 넓을 때는 면접원의 집중력 저하로 간격을 놓칠 가능성이 있음 KOSOMAR 세미나 A1-12

□ 자료수집방법 □ 응답거부자 ○ Ballot Method : 응답자가 질문지에 직접 기입하고 수거함에 투입하는 방법 면접방식에 비해 거짓응답, 조사회피 등을 줄일 수 있음. 단, 문맹자, 고령자 등에 한해서는 면접방식 사용 ○ 비밀보장 분위기 조성 : 응답자가 기입중일 때 조사원은 한걸음 물러서서 뒤돌아서는 비밀보장 제스쳐를 취함 □ 응답거부자 ○ 응답거부자 분석을 위해 거부자의 성, 연령을 파악하는 것이 필요 거부자의 성, 연령을 조사원이 판단하여 기입, 조사원이 판단할 경우 연령추정에 오차가 다소 있지만 거절자가 연령을 밝히는 비율이 낮기 때문에 면접원 판단 방법 사용 KOSOMAR 세미나 A1-13

□ 실사진행보고 ○ 보고시간은 2시간 간격으로 본부에 보고 - 보고회수가 잦으면 조사진행에 방해가 될 수 있음 ○ 자료전송방식은 ARS 방식, 전화집계방식, PDA방식 등 여러가지 방식이 있으며, 장단점이 있음 실사관리 능력 및 면접원 수준에 따라 적합한 방식 사용 ○ 예측이 5시 정도에 완료되므로 선거가 끝난 뒤의 최종보고를 받지 않을 수도 있으나, 추후 분석을 위해 최종 결과보고를 받는 것이 필요함 ○ 16대 대선 당시 보고 회수 및 시간 보고차수 1차 2차 3차 4차 5차 6차 7차 보고시간 9:00 11:00 13:00 15:00 16:00 17:00 18:05 KOSOMAR 세미나 A1-14

□ 출구조사조 평가 ○ 감독관과 조장이 자의적인 평가를 할 수 없도록 평가기준을 정하는 것이 필요 ○ 평가 결과 우수 조는 포상을 지급, 문제가 심각한 조는 패널티를 적용 ○ 16대 대선 조사원 평가 기준 · 계수의 정확성 · 계수 위치 및 조사 위치의 적절성 · 비밀투표 준수여부 · 조사원의 성실성(잡담, 개인전화 등) · 휴식원칙 준수여부 KOSOMAR 세미나 A1-15

○ 투표소 추출 오차 : │추출 투표소 실제결과 – 전체 선거구 실제 결과│ ※ 역대 출구조사 오차크기 ○ 투표소 추출 오차 : │추출 투표소 실제결과 – 전체 선거구 실제 결과│ ○ 실사 오차 : │출구조사 결과 – 추출 투표소 실제결과│ - 미디어리서치 출구조사 자료(서울 지역) 2000년 16대 총선 (3개 선거구 평균) 2002년 3회 지방선거 16대 대선 투표소 추출 오차 1.4 2.0 0.0 실사 오차 2.2 0.8 0.2 KOSOMAR 세미나 A1-16

5. 데이터 분석 □ 거절자 분석 ○ 출구조사에서도 조사거절자의 체계적 편향(Non-response Bias) 문제가 발생할 수 있음. ○ 16대 대선 거절자 분석결과, 특히 고연령 여성층에서 거절비율이 높았음. ■ 성·연령별 거절율 계 20대 30대 40대 50대 60세이상 남자 15.8 8.4 10.4 13.6 22.4 26.7 여자 21.8 11.2 14.3 20.5 30.5 38.1 19.3 10.0 12.4 17.0 26.0 32.4 KOSOMAR 세미나 A1-17

□ 부재자 결과 반영 ○ 부재자 867,476명은 전체 유권자(34,991,529명)의 2.5%에 해당 ○ 개표결과는 노무현 후보가 503,371표, 이회창 후보가 240,017표로 두사람의 표차는 263,354표로 나타남 ○ 부재자의 표차이는 전체표차 570,980표의 46.1%에 해당하는 것으로 16대 대선에서 부재자 결과의 중요성이 더욱 부각되었음 ■ 부재자 직업비율 ■ 미디어 리서치 부재자 투표 예측결과 사유 비율 일반 선거종사자 경찰 군인 11.7% 8.4% 8.5% 71.4% 노무현 이회창 기타 실제 결과 64.1 30.6 5.3 예측 결과 64.0 29.3 6.7 KOSOMAR 세미나 A1-18

2.3 2.3 1.4 4.6 실제치 미디어리서치 최총 예측치 부재자 반영 이전 조사거절자 반영 이전 ※ 분석에 따른 오차 비교 2.3 2.3 1.4 4.6 실제치 미디어리서치 최총 예측치 부재자 반영 이전 조사거절자 반영 이전 KOSOMAR 세미나 A1-19

6. 출구조사 개선점 □ 300m 거리 제한 규정 철폐 ○ 출구조사 진행 중에 발생하는 문제 대부분은 선관위직원들과의 마찰 ○ 지역에 따라, 선관위 직원에 따라 협조정도의 차이를 보임 ○ 16대 대선 문제상황 집계표 사유 권역 선관위 제지 조사 중지 조사 투표소수 문제발생 비율 수도권 충청권 호남권 8 1 3 77 31 25 10.4 3.2 12.0 사유 권역 선관위 제지 조사 중지 조사 투표소수 문제발생 비율 TK권 PK권 강원/제주 5 2 3 21 31 14 23.8 6.5 21.4 KOSOMAR 세미나 A1-20