Sampling Design and Survey Practice

Presentation on theme: "Sampling Design and Survey Practice"— Presentation transcript:

1 Sampling Design and Survey Practice
1장 서론 Sampling Design and Survey Practice September 17, 2018

2 Outline 왜 통계조사를 하는가? 비표집오차 통계조사의 성공 사례 선택시험의 난이도에 관한 의견조사
여론조사에 대한 여론조사

3 Sampling Survey 어떤 광범위한 대상집단(모집단)에서의 특정 정보를 과학적인 방법으로 알아내기 위하여

4 Sampling Survey 대상집단이 광범위하지 않다면 굳이 통계조사를 할 필요가 있는가? 전수조사는?
대상집단이 광범위하지 않다면 굳이 통계조사를 할 필요가 있는가? 전수조사는? 꼭 표본추출에 의한 조사방법만이 유용하다고 할 수 있는가? 예를 들면 르포 형식의 실태조사는?

5 Sampling Survey 몇몇 사례를 통해본 경험은 흔히 일부에 편중되기 쉽다.
좀 더 신중한 정보가 필요한 경우 통계조사를 고려. 확률표집(probabilistic sampling)에 의한 통계조사는 20세기초 이후 이 방면에서 최선의 과학적인 방법으로 자리.

6 Sampling Survey 통계조사가 만능인가?

7 Non-Sampling Error 표집오차(sampling error)와 비표집오차(non- sampling error)

8 Non-Sampling Error 표집오차(Sampling error): 표집조사(Sampling survey)로 말미암은 오차 표집방법과 표본크기(Sampling size)에 의존

9 Non-Sampling Error 비표집오차(Non-sampling error): 통계조사중에서 생기는 모든 오차 중에서 표집오차를 제외한 다른 모든 유형의 오차 대다수의 비표집오차는 측정도구의 결함 또는 측정과정의 부실로부터 발생

10 Non-Sampling Error 설문지 조사에서는 제시된 설문의 결함과 부실한 실사 때문에 많은 비표집오차가 발생
설문지 조사에서는 제시된 설문의 결함과 부실한 실사 때문에 많은 비표집오차가 발생 비표집오차는 전수조사인 경우에도 발생

11 Non-Sampling Error AGB 닐슨미디어리서치와 T.N.S미디어코리아가 패널(조사대상 가구)을 선정해 피플미터 (people meter)라는 기계를 써서 TV 시청률 조사를 실시. (2006년 현재)

12 Non-Sampling Error AGB: 11개 지역(수도권, 4대 광역도시+춘천, 청주, 전주, 마산, 구미) 2050가구를 대상 TNS: 전국 6대 광역도시(서울, 인천을 포함한 수도권과 부산, 광주, 대구, 대전)에 거주하는 2000가구가 대상

13 Non-Sampling Error 미국에서도 패널 수가 5000가구 남짓 2001년에는 1000여 가구를 대상

14 Non-Sampling Error TV 시청 환경의 전국적인 동질성이 높기 때문에 패널 규모보다는 표본 선정의 정확성이 더 중요 - 표본의 대표성 한 가구에서 한 사람만 TV를 시청해도 가구 시청률로 잡히기 때문에 통상 가구 시청률은 개인 시청률보다 3~4배 높음

15 Non-Sampling Error TV 시청하되 잊어먹고 핸드셋에 개인버튼을 제대로 눌러놓지 않은 경우

16 Non-Sampling Error 비표집오차는 통계의 타당성을 좀 먹는다.

17 통계조사의 성공 사례 대통령 선거 예측

18 통계조사의 성공 사례 한국 갤럽의 1987년 대통령 선거 예측 (성공사례) 득표율 노태우 김영삼 김대중 김종필 기타 예상
한국 갤럽의 1987년 대통령 선거 예측 (성공사례) 득표율 노태우 김영삼 김대중 김종필 기타 예상 34.4 28.7 28.0 8.4 0.5 실제 36.6 27.12 8.1 0.2

19 통계조사의 성공 사례 < 조사 개요 > 1. 모집단: 제주도를 제외한 전국 2. 표본크기: 2234명
< 조사 개요 >      1. 모집단: 제주도를 제외한 전국      2. 표본크기: 2234명      3. 조사시기: 투표일 2일~4일전      4. 표본오차: ±2.4% (95% 신뢰수준) 이 성공사례는 우리 나라에서 선거여론조사의 붐을 일으킴

20 통계조사의 성공 사례 한국 갤럽의 1992년 대통령 선거 예측 (성공사례) 득표율 김영삼 김대중 정주영 박찬종 기타 예상
한국 갤럽의 1992년 대통령 선거 예측 (성공사례) 득표율 김영삼 김대중 정주영 박찬종 기타 예상 39.5 31.1 15.7 12.4 1.2 실제 42.0 33.8 16.3 6.4 1.5

21 통계조사의 성공 사례 < 조사 개요 > 1. 모집단: 전국(도서지역, 부재자 제외) 2. 표본크기: 2250명
< 조사 개요 >       1. 모집단: 전국(도서지역, 부재자 제외)      2. 표본크기: 2250명  3. 접근방법: 가구 방문 1대1 면접      4. 조사시기: 투표일 3일~6일 전      5. 표본오차: ±2.4% (95% 신뢰수준) 판별분석으로 무응답 분류

22 통계조사의 성공 사례 한국 갤럽의 1997년 대통령 선거 예측 (성공사례) 득표율 김대중 이회창 이인제 예상 34.0 24.4
한국 갤럽의 1997년 대통령 선거 예측 (성공사례) 득표율 김대중 이회창 이인제 기타 (무응답포함) 예상 (1개월전) 34.0 24.4 23.9 17.7 (당일) 39.9 38.9 19.7 1.5 실제득표율 40.3 38.7 19.2 1.8

23 통계조사의 성공 사례 < 조사 개요 > 1. 모집단: 전국의 남녀 유권자 2. 표본크기: 2500명
< 조사 개요 >      1. 모집단: 전국의 남녀 유권자      2. 표본크기: 2500명  3. 접근방법: 전화조사      4. 조사시기: 사전조사 및 투표일 오전 9시 ~ 오후 2시      5. 표본오차: ±2.0% (95% 신뢰수준)

24 통계조사의 성공 사례 KBS의 2002년 대통령 선거 예측 (성공사례) 득표율 이회창 노무현 예상 37.0 43.2 19.8
기타 (무응답포함) 예상 (1개월전) 37.0 43.2 19.8 (당일) 49.1 46.8 4.1 실제득표율 46.6 48.9 4.5

25 통계조사의 성공 사례 한국 갤럽의 2007년 대통령 선거 예측 (성공사례) 득표율 이명박 정동영 이회창 예상 40.2 14.6
한국 갤럽의 2007년 대통령 선거 예측 (성공사례) 득표율 이명박 정동영 이회창 기타 (무응답포함) 예상 (1개월전) 40.2 14.6 19.2 26 (당일) 44.3 14.4 10.9 30.4 실제득표율 48.7 26.2 15.1 10

26 통계조사의 성공 사례 한국 갤럽의 2012년 대통령 선거 예측 (성공사례) 득표율 박근혜 문재인 예상 45.1 42.6
한국 갤럽의 2012년 대통령 선거 예측 (성공사례) 득표율 박근혜 문재인 기타 (무응답포함) 예상 (1개월전) 45.1 42.6 12.3 (당일) 50.2 49.4 0.4 실제득표율 51.6 48.0

27 통계조사의 정확성 선택시험의 난이도에 관한 의견조사

28 통계조사의 정확성 [문]이번 ** 대학교 모의고사는 지금까지 보아온 다른 시험과 비교해서 어렵다고 생각하십니까?
[문]이번 ** 대학교 모의고사는 지금까지 보아온 다른 시험과 비교해서 어렵다고 생각하십니까? [답]①너무쉬었다. ②대체로 쉬었다. ③비슷했다 ④대체로 어려웠다. ⑤너무 어려웠다.

29 통계조사의 정확성 제2외국어의 난이도에 대한 의견과 채점결과 선택과목 자료크기 어려웠음 평균 표준편차 프랑스어 51 4.0%
87.5 11.4 독일어 59 8.9% 75.1 16.5 일어 43 21.0% 65.0 11.9 중국어 70 26.9% 64.4 11.2 스페인어 39 38.9% 77.3 8.6 한문 68 47.1% 57.7 12.6

30 통계조사의 정확성 과학의 난이도에 대한 의견과 채점결과 선택과목 자료크기 어려웠음 평균 표준편차 지구과학 31 18.4%
53.7 16.1 화학 87 67.8% 39.2 물리 99 78.3% 32.4 15.5 생물 44 84.6% 22.5 7.9 *어려웠음은 ④+⑤

31 통계조사의 정확성 스페인어

32 통계조사의 정확성

33 통계조사의 정확성 [문] ◯◯◯님은 지난 방학에 하루 평균 몇 시간이나 공부하였습니까? [답] 시간

34 통계조사의 정확성 느낌이나 기억에 전적으로 의존하는 수량치에 관한 설문조사는 일반적으로 정확성 면에서 그 한계가 있다.

35 여론조사 여론조사에 대한 여론조사 한국갤럽 1차 1988년, 2차 1993년, 3차 1997년

36 여론조사 1.여론조사를 당해본 경험이 있는가? 1차 2차 3차 1.전화를 통해서 7.2% 22.0% 44.1%
2. 편지를 통해서 5.1% 4.6% 7.1% 3. 거리나 공공장소에서 5.9% 11.8% 15.7% 4. 직장에서 6.8% 10.4% 14.0% 5.집으로 찾아와서 15.5% 20.5% 21.7% 1회이상 피면법 경험률 29.7% 46.0% 60.7%

37 2.일반사람들의 의견을 묻는 것이 유용한 일인가? (다음 각각에 대하여)
여론조사 2.일반사람들의 의견을 묻는 것이 유용한 일인가? (다음 각각에 대하여) 1차 2차 3차 1.상품 74.5% 82.2% 84.1% 2. 좋아하는 TV 프로그램 56.1% 68.6% 70.6% 3. 정치적인 문제 59.5% 78.9% 76.3% 4. 실업문제, 공해문제 85.0% 89.2% 90.4% 5.누구에게 투표할 것인가 25.0% 31.1% 28.5%

38 3.전국에서 1500명 정도의 사람에게 질문을 하면 국민전체 여론을 정확히 알 수 있다고 생각하는가?
여론조사 3.전국에서 1500명 정도의 사람에게 질문을 하면 국민전체 여론을 정확히 알 수 있다고 생각하는가? 1차 2차 3차 1.가능하다 29.1% 32.5% 25.7% 2. 가능하지 않다 57.6% 56.4% 63.6% 3. 모르겠다 13.0% 11.1% 10.7%

39 4.여론조사에 응하면서 어떤 것을 느끼고 생각하는가? (다음 각각에 대하여)
1차 2차 3차 1.이런식으로 자신의 의견을 대답하는것을 즐긴다 53.4% 53.3% 34.0% 2.일반사람들은 진짜 자기 자신이 생각하는대로 솔직하게 말하지 않을 것이다 33.9% 28.1% 42.8% 3.교육수준이 낮은 사람에게 질문하는것은 어리석다. 실제로 지식이 있거나 교육수준이 높은 사람에게 질문해야 한다 19.8% 13.2% 15.9%

40 4.여론조사에 응하면서 어떤 것을 느끼고 생각하는가? (다음 각각에 대하여)
1차 2차 3차 4.나 자신의 생각과 다른 사람들의 생각을 비교하기 위해서 한국인 전체의 여론을 아는 것이 유용하고 흥미롭다 82.9% 81.8% 69.3% 5.조사결과를 발표하는 사람들은 그것을 통해 사람들에게 영향을미치려하는 의도가 있다 57.2% 58.7% 62.7% 6.정치가들에게 국민여론을 알리기 위해서 여론조사는 필요하다 89.1% 90.0% 86.7% 7.우리나라 여론조사 수준은 미국/일본의 조사 수준과 비슷하다 -- 11.4% 12.4%

41 4.선거전 후보자 인기도가 발표되어야 하는가? 발표되지 않아야 하는가?
여론조사 4.선거전 후보자 인기도가 발표되어야 하는가? 발표되지 않아야 하는가? 1차 2차 3차 1. 발표되어야 한다 43.8% 54.8% 49.9% 2. 발표되지 않아야 한다 36.1% 22.4% 29.1% 3. 어느 쪽이든 상관없다 10.4% 14.6% 21.1% 4. 모르겠다 9.6% 8.2 --

42 여론조사 Bandwagon 효과: 여론조사 결과에서 우세한 후보가 조사결과의 공표로 더 우세하게 되는효과
Underdog 효과: 여론조사 결과에서 열세인 후보가 조사 결과의 공표로 동정표를 얻는 효과 사표死票이론: 다자대결 양자대결

43 Sampling Design and Survey Practice
2장 조사계획 Sampling Design and Survey Practice September 17, 2018

44 Outline 조사목적 조사대상의 선정 조사방법의 결정 일정표작성 및 예산

45 조사목적 조사 목적 및 필요성의 명료화 조사 실행 가능성의 확인

46 조사목적 ☐☐대와 ◯◯대에 재학중인 여대생의 소비성향및 성의식 비교분석 기업이미지 및 △△ 그룹의 마케팅 전략에 관한 고찰
☐☐대와 ◯◯대에 재학중인 여대생의 소비성향및 성의식 비교분석 기업이미지 및 △△ 그룹의 마케팅 전략에 관한 고찰 △△대내 학과별/선후배간 인식도 비교연구 자식의 부모에 대한 호칭과 부모와의 친밀도에 관한 비교연구

47 조사대상 조사 목적에서 파생 현실적 여건(자금, 조직, 시간)을 고려하여 절충

48 조사대상 (전략) 본 연구는 ☐☐대학교 남녀 재학생을 대상으로, 부모에 대한 호칭에 인구통계적 요인에 따라 차이가 있는지 …(중략)…알아보고자 한다

49 조사방법 면접조사, 우편조사, 전화조사 등 설문지 회수율, 자료의 질, 비용, 시간 등에서 다름

50 조사방법 1) 면접조사 - 설문지 회수율에서 유리 2) 우편조사 - 비용면에서 유리, 회수율이 50~60% 정도면 대성공
면접조사와 우편조사의 비교 1) 면접조사 - 설문지 회수율에서 유리      2) 우편조사 - 비용면에서 유리, 회수율이 50~60% 정도면 대성공

51 조사방법 1) 인센티브(incentive) 제공 2) 후속우편(follow-up mailing)
우편조사에서의 회수율 제고 전략        1) 인센티브(incentive) 제공            2) 후속우편(follow-up mailing)

52 조사방법 누계응답율 無 25¢ 50¢ 1$ 첫번째 우송 54% 63% 73% 78% 두번째 우송 72% 75% 88%
세번째 우송 83% 92% 95% 네번째 우송 86% 87% 93% 96% 총대상 수 168 169 170

53 조사방법 우편조사에서의 비금전적인 인센티브    1) 조사결과 공개 (일부/전부)    2) 예고엽서 발송

54 조사방법 면접조사와 전화조사의 비교   1) 면접조사 - 자료의 질적 측면에서 유리    2) 우편조사 - 시간과 비용면에서 유리

55 조사방법 1) 무응답률이 높다 - 심리적 부담 2) 인센티브 제공이 어렵다 - 간단한 조사로 제한 3) 조사규칙의 준수가 부실
전화조사의 문제점 (우리나라)    1) 무응답률이 높다 - 심리적 부담    2) 인센티브 제공이 어렵다 - 간단한 조사로 제한    3) 조사규칙의 준수가 부실

56 조사방법 다양한 조사방법의 병행 :           1차조사 : 우편   →  2차조사 : 면접