현장실험(Field Experiments)의 설계와 해석 하상응 Brooklyn College – City University of New York (CUNY)

사회과학에서 실험의 필요성 사회과학 분야에서 던지는 많은 질문들은 “원인(cause)”과 “결과(consequence/outcome)” 간의 관계를 규명하려는 목적을 가지고 있음. 프로그램 평가 (Program Evaluation) 회사에 운동시설을 갖추어 놓고 사원들의 사용을 권장하면 업무효율성이 올라갈까? 말라리아가 창궐하는 지역에 국제비정부기구(INGO)가 모기장을 나누어 주면 말라리아 퇴치에 도움이 될까? 정책 평가 (Policy Evaluation) 사전투표제를 도입하면 투표율이 올라갈까? 사형제를 폐지하면 강력범죄의 빈도가 증가할까? 담배가격을 어느정도 올리면 흡연율이 눈에 띄게 줄어들까? Evidence-based public policy making

인과관계 규명 문제는 실험을 하지 않고선 인과관계의 규명이 어렵다는 것 독립변인 (정책/프로그램)  종속변인 (결과) 문제는 실험을 하지 않고선 인과관계의 규명이 어렵다는 것 독립변인 (정책/프로그램)  종속변인 (결과) 사전투표제  투표율 (?) 효과가 있을지 없을지 불분명함 경제발전  민주주의 (?) 민주주의  경제발전의 가능성을 배제할 수 없음 혹은 제 3의 변인이 끼어들 수도 있음 (경제발전  부패감소  민주주의) 국수주의 (문화적 위협)  이민자에 대한 반감 (?) 이민자에 대한 반감  문화적 위협의 가능성이 상존

실험연구의 종류 무작위 실험 (Randomized Experiment): 연구자가 독립변인을 실험을 통해 인위적으로 조작함 (experimental manipulation) 이론적으로 통제군(control group)과 처리군(treatment group)간의 유일한 차이는 연구자에 의한 조작의 유-무 밖에는 없게 된다. 실험실 실험 (Lab Experiment) 서베이 실험 (Survey Experiment) 현장 실험 (Field Experiment) 유사 실험 (Quasi-Experiment) 자연 실험 (Natural Experiment): “자연”이 독립변인을 마치 임의로 조작한 것으로 상정함

이민자에 대한 태도: 비실험 연구의 예 서베이 (설문조사) 서베이 참가자들이 이민자들에게 어느 정도 문화적 위협을 받고 있는지를 물어봄 “귀하는 최근 다른 나라에서 온 이주민이 늘어나면서 대한민국의 문화적 정체성이 위협받고 있다고 생각하십니까?” 그 다음에 서베이 참가자들의 이민자에 대한 태도를 물어봄 “귀하는 한국에서 태어난 이민자의 자식들에게도 한국인 부모를 갖고 있는 아이들에게 적용되는 육아보조금이 제공되어야 한다고 생각하십니까?” 두 질문에 대한 답변 간의 인과관계를 밝히기가 곤란함

이민자에 대한 태도: 실험실 실험의 예 실험 참가자를 모집 참가자들을 “임의로” 두 개의 집단으로 나눔 한 집단에겐 이민자들이 주는 문화적 위협을 다루는 짧은 다큐멘터리(“베트남 이민자들이 2세에게 베트남 어를 가르치기 위한 문화센터를 설치하려고 한다”)를 보게 함 (처리군/실험군 treatment group) 다른 집단에겐 아무 것도 보여주지 않거나 (대조군 control group) 혹은 연구 주제와 전혀 상관없는 다큐멘터리(“동물의 왕국”)를 보여줌 (위약군 placebo group) 두 집단에 소속된 참가자들에게 동일한 서베이를 작성하게 함 (그 안에 이민자에 대한 태도를 묻는 질문이 있음) 처리군/실험군과 대조군/위약군 간의 이민자에 대한 태도를 비교

이민자에 대한 태도: 서베이 실험의 예 서베이 상에서 참가자들을 “임의로” 두 개의 집단으로 나누고 같은 질문을 두 개의 서로 다른 버전을 만들어 물어봄 Version 1: “최근 다른 나라에서 온 이주민이 늘어나면서 대한민국의 문화적 정체성이 위협받고 있다고 생각하는 사람들이 있습니다. 귀하는 지금 현재 이주민의 숫자가 어느 정도 된다고 생각하십니까?” Version 2: “최근 다른 나라에서 온 이주민이 늘어나면서 대한민국의 문화적 다양성이 증진된다고 생각하는 사람들이 있습니다. 귀하는 지금 현재 이주민의 숫자가 어느 정도 된다고 생각하십니까?” 두 집단에 소속된 참가자들이 이민자에 대한 태도를 묻는 동일한 질문에 답함 “귀하는 한국에서 태어난 이민자의 자식들에게도 한국인 부모를 갖고 있는 아이들에게 적용되는 육아보조금이 제공되어야 한다고 생각하십니까?” 두 집단 간의 이민자에 대한 태도를 비교

이민자에 대한 태도: 현장 실험의 예 정부가 (인도네시아) 이민자들이 일하고 살 곳을 임의로 지정할 수 있다고 치자 정부가 (인도네시아) 이민자들이 일하고 살 곳을 임의로 지정할 수 있다고 치자 20개의 후보지를 선정 그 중에서 임의로 10곳을 뽑아 인도네시아 출신 이민자들을 보내고 그들의 편의를 위해 인도네시아 문화센터와 모스크의 설립을 허용함 (처리군) 나머지 10 곳에는 인도네시아 출신 이민자들이 배정되지 않음 (대조군) 추후 20개의 후보지에 살고 있는 한국인들에게 설문조사를 해서 그들의 이민자에 대한 태도를 측정함

이민자에 대한 태도: 자연실험의 예 원래 인도네시아 이민자들이 밀집한 지역이 있음 그 지역에 자연재해가 생겨서 인도네시아 이민자들이 주변 지역으로 옮겨가야 되는 상황 (완전 복구될 때까지 약 1년 정도 임시 거주했다고 치자) (처리군) 이민자들이 옮겨간 지역과 비슷한 특성을 갖되, 이민자들이 옮겨가지 않은 지역을 선정 (대조군) 그 두 지역 간의 이민자에 대한 태도를 설문 조사를 통해 측정해서 비교함

현장 실험을 활용한 최근 연구들 선출직 입법의원들의 Responsiveness 국제비정부기구(INGO)의 부정선거 감시활동 Butler, Daniel M., and David E. Broockman. 2011. “Do Politicians Racially Discriminate Against Constituents? A Field Experiment on State Legislators” American Journal of Political Science. 55(3): 463-477. 국제비정부기구(INGO)의 부정선거 감시활동 Hyde, Susan D. 2010. “Experimenting in Democracy Promotion: International Observers and the 2004 Presidential Elections in Indonesia” Perspectives on Politics. 8(2): 511-527. 매스미디어를 통한 Reconciliation Paluck, Elizabeth Levy, and Donald P. Green. 2009. “Deference, Dissent, and Dispute Resolution: A Field Experiment on a Mass Media Intervention in Rwanda” American Political Science Review. 103(4): 622-644.

자연 실험을 활용한 최근 연구들 교육감 선거 시기와 교사 노조의 영향력 Hurricane Katrina, 인종주의 Anzia, Sarah F. 2012. “The Election Timing Effect: Evidence from a Policy Intervention in Texas” Quarterly Journal of Political Science. 7(3): 209-248. Hurricane Katrina, 인종주의 Hopkins, Daniel J. 2012. “Flooded Communities: Explaining Local Reactions to the Post-Katrina Migrants” Political Research Quarterly. 65(2): 443-459. Blue Law 철폐, 교회 출석율, 그리고 투표율 Gerber, Alan S., Jonathan Gruber, and Daniel M. Hungerman. “Does Church Attendance Cause People to Vote? Using Blue Laws’ Repeal to Estimate the Effect of Religiosity on Voter Turnout” NBER Working Paper. No. 14303.

현장 실험을 통해 구축한 자료의 분석 고려해야 될 사항 분석법 Randomization check Intent-to-Treat Effect (ITT) Treatment-on-Treated Effect (TOT) 분석법 OLS (or its equivalent) 2SLS (a.k.a., 도구변수 회귀 instrumental variable regression) DID (Difference-in-difference): 실험 전-후 정보가 다 있을 경우

자료 분석의 예: ITT Gerber, Alan S., Donald P. Green, and Christopher W. Larimer. 2008. “Social Pressure and Voter Turnout: Evidence from a Large- Scale Field Experiment.” American Political Science Review. 102(1): 33-48. 서로 다른 메세지를 담은 엽서를 보내서 투표를 독려하는 사업의 효과를 확인하는 실험 미시간 주, 2006년 8월 주지사 예비선거 180,002 가구에 당파성이 없는 GOTV (Get-Out-To-Vote) 엽서를 보냄 4개의 treatment (Appendix A) Table 1, Table 2, and Table 3

Non-Compliance 실험을 진행할 때 겪는 여러 문제 중 하나는 처리군에 속한 실험 대상이 처리를 받기를 거부하는 상황이 발생하는 경우이다 처리군에 속해 있되, 처리를 받은 사람과 처리를 받지 않은 사람간 systematic difference가 있다면 실험 결과에 문제가 있을 수 있음 ITT는 처리에 실패(failure to treat; non-compliance or partial compliance)하지 않았음을 가정하고 실험의 효과를 측정하는 법 처리에 실패한 상황을 고려해서 실험의 효과를 측정하려면 (TOT), 2SLS 회귀를 사용해야 한다

2SLS의 활용 Yi = 0 + 1Xi + ui Non-compliance가 있으면…   Yi = 0 + 1Xi + ui Non-compliance가 있으면… X 가u랑 상관관계를 맺게 되어 실험의 효과가 편향됨 (biased) 원래 설정된 처리군-대조군의 배분(initial assignment) Z는 임의 (random) 그렇다면 (1) corr(Z,X) ≠ 0 이고 (2) corr(Z,u) = 0 1을 이단계선형제곱(2SLS)을 통해 추론 가능하다 (도구 변수 instrumental variable, Z = 원래의 처리군-대조군의 배분)

자료분석의 예: TOT Green, Donald P., Alan S. Gerber, and David W. Nickerson. 2003. “Getting Out the Vote in Local Elections: Results from Six Door-to-door Canvassing Experiments” Journal of Politics. 65(4): 1083-1096. 지방선거 직전 가가호호 방문을 통해 투표를 독려하는 사업의 효과를 측정하는 실험 방문하기로 되어있던 상당수의 가구는 방문하지 못하는 상황이 발생함 (failure to treat) Table 2

자연실험 자료 분석 시 2SLS의 활용 Green, Donald P., and Daniel Winik. 2010. “Using Random Judge Assignments to Estimate the Effects of Incarceration and Probation on Recidivism among Drug Offenders” Criminology. 48(2): 357-387. 워싱턴 DC에서 매달 마약 사범관련 재판에 판사들이 임의로 배정됨 몇몇 판사들은 엄격한 판결을 내리는 경향이 있고, 다른 판사들은 좀 느슨한 판결을 내리는 경향이 있음 과연 엄격한 판결(보호관찰 probation 보다는 구금 incarceration)이 마약 사범들의 재범 확률을 줄일까? 연구자가 직접 판사들을 임의로 배정한 것은 아니기 때문에 자연실험의 예가 된다 Table 3, Table 5, and Table 6.

실험 자료 분석의 심화 메타 분석 중재효과 (moderation) 매개효과 (mediation) 비슷한 실험들에서 나온 결과들을 모아 요약하는 작업 와인  심장질환 (1,000개의 연구) Null finding Publication bias 중재효과 (moderation) Sub-group analysis (heterogeneous effects) 처리의 효과가 상황/집단에 따라 다르게 나타남을 보는 분석 와인  심장질환 (하지만 남-녀 간 효과의 차이가 난다) 교차항(interaction terms)을 활용해서 확인할 수 있다 매개효과 (mediation) 처리의 효과가 어떤 제 3의 요인을 거쳐서 실현됨을 보는 분석 (X  Z  Y) Baron and Kenny (1986 Journal of Personality and Social Psychology) 쉽지 않음

실험 연구 관련 분석들 경향점수 매칭 (Propensity Score Matching) 실험 자료가 아닌 자료를 마치 실험 자료를 분석하는 방식으로 다루기 위한 통계적 기법 회귀 단절 모형 (Regression Discontinuity Design) 자연실험과 유사 시험 점수 50점 이하  보충수업 (49점과 51점 간의 큰 차이가 있을까?) 현직 효과 (incumbent advantages): 전 선거에서 50.1%로 당선된 사람과 49.9%로 떨어진 사람 간에 차이가 있을까?

유용한 저술들 현장 실험 Gerber, Alan S., and Donald P. Green. 2012. Field Experiments: Design, Analysis, and Interpretation. New York: W.W. Norton. 자연 실험 Dunning, Thad. 2012. Natural Experiments in the Social Sciences. New York: Cambridge University Press. 서베이 실험 Mutz, Diana C. 2011. Population-based Survey Experiments. Princeton, NJ: Princeton University Press.

유용한 링크들 Institution for Social and Policy Studies (ISPS) http://isps.yale.edu/ The Abdul Latif Jameel Poverty Action Lab (J-PAL) http://www.povertyactionlab.org/ Experiments in Governance and Politics (EGAP) http://e-gap.org/