행정학조사방법론 제1강: 과학적 연구

과학적 연구의 의미와 논리

개요 “지구는 둥글까?” ⇒ 어떻게 알고 있는가? 개개인의 발견과 경험만으로는 모든 것을 알 수 없 다. 인간 사회는 구조화 되어있으며, 지식의 기반 은 합의이다. 일부 현상은 전통을 통해 알고, 일부 는 전문가로부터 배운다(Babbie, 2001).

개요 “파티에서 먹은 음식” ⇒ 맛있다/혐오스럽다. “지렁이를 먹는 것이 무슨 문제일까?”

개요 “왜 지구에 사는 과학자가 달의 어두운 부분이 춥 다는 주장을 받아들이는가?” ① 납득할만하기 때문에: 논리 “달 표면의 열은 태양광으로부터 오며, 어두운 부 분은 태양광선이 미치지 못하게 돌아서 있기 때문 임.” ② 달의 어두운 면의 온도 측정: 실증

개요 사람들은 미래 상황이 어떻게든 현재 상황으로부 터 야기되거나 조건이 부여된다고 생각한다. 원인과 결과의 유형은 본질적으로 확률적이다. “학습시간이 많으면 시험성적이 올라가는가?”

개요: 간접적인 지식의 중요성 전통 - 모두가 아는 것을 받아들여, 무로부터 출발하여 규칙과 이해를 발견하는 과제에서 벗어난다. 지식 은 누적적이고 기존의 정보와 지식은 더 많은 지식 개발을 위한 출발점 권위 - 새로운 지식의 획득은 발견자의 지식에 달려있음 “손을 씻지 않으면 감기에 걸릴 수 있다”는 동일한 진술을 의사와 친구의 말 중 누구를 더 신뢰할 것 인가?

개요: 탐구의 오류 스스로 학습하려고 시작할 때 저지르기 쉬운 오류 ① 부정확한 관찰 (⇒ ② 과잉일반화 (⇒ 충분한 관찰표본 확보) ③ 선별적 관찰 ④ 비논리적 추론 (예. 도박꾼의 오류)

무엇이 진정한 실제인가? 전근대적인 관점: 다양성을 배제 예) A 부족: 나무 속 영혼은 사악하다 B 부족: 나무 속 영혼은 선하다

관점의 차이…..

무엇이 진정한 실제인가? 현대적인 관점: 다양성을 수용 “나무 속에는 단지 영혼이 존재하고 있을 뿐이다. 그것은 선하지도 악하지도 않지만, 서로 다른 사람 들이 거기에 관해 서로 다른 생각을 가지고 있다.”

무엇이 진정한 실제인가? 탈현대적 관점 “책이 실제 어떻게 생겼는가?” ⇒ ‘책’이란 존재하 지 않고, 단지 다른 관점으로부터 책에 대한 다양 한 이미지만 존재.

사회과학 논리 관찰

사회과학의 기반: 이론 현대 사회과학: “무엇이 되어야 하는가?” 보다는 “무엇인가” “자본주의가 사회주의보다 더 나은 체제인가?”, “불교, 기독교, 이슬람교 중 어느 것이 더 좋은 종 교인가?”는 신념의 문제이지 과학의 영역이 아님. ⇒ “사회과학은 ‘무엇’과 ‘왜’를 알도록 하는데만 도움이 된다. 사람들이 어떤 결과가 다른 것보 다 나은지를 결정하는 기준에 합의한 경우에만, 어떻게 되어야만 한다는 결정에 사회과학을 이 용할 수 있다.” (Babbie, 2001)

가설 채택 가설 기각 가설 실증적 일반화 이론(Theory) 관찰 가설검정 논리적 연역 해석, 도구화, 표본, 측정 측정, 표본 요약, 모수 추정 개념 형성, 명제 형성, 명제 정리 논리적 추론 출처: Wallace (1971) The Logic of Science in Sociology

사회적 규칙성 사회과학은 사회생활의 규칙적인 유형을 찾아내고 자 한다. 사회적 규칙성을 탐구하는데 대한 비판 ① 평범하다: 바보의 실험(Charles Darwin) ⇒ 상식이 사실이 아닐 수 있음 (예. 군대의 사기에 관한 Stouffer의 연구) ② 예외가 많다. (예: 돈을 많이 버는 여성) ⇒ 사회과학은 확률임 ③ 사람들이 방해할 수 있다. ⇒ 흔하지 않음

사회적 규칙성 집합적 규칙성을 의미: 사회이론은 전형적으로 개 인적 행동이 아니라 집단적 행동을 취급함. 즉, 집 단에 속해있는 개인의 행태가 변함에도 불구하고 왜 집단적 행동은 일정한 패턴을 보이는지를 설명 하려는 것임.

사회과학의 언어: 변수언어 변수(variable) 속성(attribute) 혹은 값(value) 예) 성별은 변수이고 남성과 여성은 변수를 구성하 는 속성임. ※ 변수는 속성의 논리적인 집합으로, 속성과 변수 간의 관계는 과학적 설명의 핵심임. 그러나 사회과 학에서 특정 개념은 그 의미가 명확하지 않음.

어느 지역이 더 큰 타격을 입었는가? 마린 카운티 산타크루즈 카운티 파괴된 사업체 $15,000,000 $ 56,500,000 사망자 5 22 부상자 379 50 이재민 370 400 파괴된 가옥 28 135 피해 가옥 2,900 300 25 10 피해 사업체 800 35 사적 피해 $65,100,000 $50,000,000 공적 피해 자료: San Francisco Chronicle (1982) 1월 13일. 16쪽 (Babbie, 2001)에서 인용

교육과 인종분리에 대한 지지 “백인은 원하면 흑인을 이웃에서 내몰 수 있고, 흑인은 이 권리를 존중해야 한다” 응답자의 교육 수준 고졸미만 고졸 대학중퇴 대졸 매우 동의 10% 7% 6% 1% 약간 동의 8 5 4 약간 반대 19 26 18 10 매우 반대 62 70 85% 100% (98) 100% (189) 100% (190) 100% (193) 자료: Babbie (2001, 66), General Social Survey 1996년 자료

사례기술적 설명과 법칙정립적 설명 사례기술적 설명 - 특정 사례를 완전히 설명하려는 시도 법칙정립적 설명 - 몇 개의 사례나 상황을 가지고 경제적으로 설명 하려는 시도. 완전한 설명보다는 부분적인 설명 으로 만족. (대체로, 주로, 다른 모든 것이 같다 면과 같은 언어를 사용)

귀납적 이론과 연역적 이론 귀납(induction): 특정한 것에서 일반적인 것으로 - 관찰된 사건을 일반화 연역(deduction): 일반적인 것에서 특정한 것으로 - 일반화된 이론이 실제 발생하는지 검증

연구의 의미 연구(Research): 탐색(search)의 반복(re-)을 통해 문제(problem)에 대한 해답을 얻는 모든 과정과 절차

연구의 유형 ▣ 지식 획득의 방법 권위적 방법 ⇒ 예) 성직자, 군주 신비적 방법 ⇒ 예) 신, 영매등 초자연적 권위 논리적-합리적 방법: 지식의 형태는 이미 존재 ⇒ 예) 말의 이(teeth)가 몇 개인가? 추상수학, 순수수학분야에서 활용 과학적 방법: 관찰결과, 관찰규칙, 절차 중시 ※ 현재의 지식이 모두 과학적 지식은 아니며, 네 가 지 방법은 상호 배타적이 아님.

과학적 방법의 기본 가정 질서와 규칙성 인과성(causality) 현상에 대한 이해 가능성 진리의 상대성 자명한 지식에 대한 부정 지식의 원천: 경험과 관찰

과학적 연구의 목적과 유형

1. 실증주의적 관점 현상의 기술 과학적 설명 미래상태 예측 현상의 통제

현상의 기술 관찰된 사실을 일반적 수준에서 요약하여 기록하 여 현상 그 자체의 속성을 있는 그대로 보여주는 것 관찰된 사실을 일반적 수준에서 요약하여 기록하 여 현상 그 자체의 속성을 있는 그대로 보여주는 것 분석 대상 사례들의 유사점, 동질성, 차이점에 대 한 관찰을 토대로 분류 예) 각국 공무원 제도, 승진제도

과학적 설명 연역적 설명: 일반법칙, 인과관계 확률적 설명: - 보편적 법칙: (A라는 조건이 충족되면 반드시 사건 B가 발생) - 확률적 설명: (A라는 조건에서 사건 B 발생 가능성은 얼마) 예) 기상예보

미래예측 이미 알려진 사실로부터 미지의 사건을 연역 예) 스터디 그룹을 구성한 학생들의 성적이 그렇 지 않은 학생들 보다 높을 것이다. 사건의 발생순서에 따라 미래의 결과를 예상 예) 20년간 연평균 소득수준 5% 성장, 3년 뒤엔?

현상의 통제 과학적 목적의 통제(control)은 현상을 결정하는 조건을 조작하는 것. 인간의 행태를 포함하여 사회 현상이 발생하는 원인을 알면, 이러한 원인 또는 선행 조건을 조작하여 현상을 바람직한 방향으로 통제.

2. 해석적 관점 해석학적 관점: 사회과학의 목적은 인간행태의 인 과관계를 논증하는 것이 아니라, 인간행위의 의미 를 이해하고 해석하는 것. (사회과학의 주류는 아님) White (1999)의 네 가지 규준 - 자율성의 규준: 행위자의 행위는 그들의 관점에서 이해 - 결합성의 규준: 행위자의 상호작용은 맥락에서 이해 - 사전이해의 규준: 해석자-구성원 사전 경험공유 - 타당성의 규준: 행위자의 의도에 부합

해석적 관점의 주류 사회과학 비판 연구대상: 인간은 행위의 객체가 아닌 주체임 중립적 관찰: - 연구자는 특정 이익에 좌우되며, 준거 틀이 있음. 행태와 의도: - 문화와 행위를 고려하지 않는 기술은 잘못됨 인과적 설명 ⇒ 달성하기 어렵거나/비실증적이어야 함 예측가능성: - 추세도 참여자들의 의도와 결정의 산물임 사실적 담론과 평가적 담론의 분리는 어렵다

주류 사회과학과 해석적 관점 실증적 관점과 해석적 관점은 상호 보완적임. “사회학은 사회적 행위의 과정과 결과에 대한 인과 적 설명에 도달하기 위해 그 사회적 행위를 해석적 으로 이해하려는 과학” (Weber) 사회과학 분야의 적합한 패러다임은 “의도적-인과 적 설명의 결합, 즉 개별적 행위에 대한 의도를 이 해하고 그들의 상호작용에 관하여 인과적으로 설 명하는 것.” (Elster)

3. 비판이론적 관점 인간 해방을 위한 실천(praxis)을 강조 담론적 방법(discursive)

행정학 조사방법론 연구문제 및 가설

과학적 연구의 절차와 계획 연구문제 및 가설 설정 연구대상 선정 조사설계 선택 개념화 및 조작화 자료수집 자료분석 자료해석 및 보고서 작성

분석 단위 예제) 다음의 분석 단위는 무엇인가? 여성의 TV 시청시간은 남성보다 많다. 1965년 국내매출액 순위 1백대 기업 중 91년 100위권에 남은 기업은 16개에 불과하다. 전국 도시 중 광역쓰레기장을 건설하기로 합의된 도시는 1993년 기준 6개에 불과하다. 산악회 조직은 규모가 작고 비공식적이다.

해석의 오류 생태적 오류: 어떤 분석단위를 채택하여 연구한 결 과 얻은 결론을 다른 수준의 분석단위에 적용시키 는 오류. 분석 단위가 집합적인 경우 범하기 쉽다.

해석의 오류 환원주의적 오류 - 개인을 분석단위로 한 연구 결과를 토대로 집단, 사회, 또는 국가의 특성을 추론할 때 발생한다. - 넓은 범위의 인간의 사회적 행위를 이해하는데 필요한 변수 또는 개념의 종류를 지나치게 한정 한 경우

연구의 시간적 범위 횡단면적(cross-sectional) 연구 종단면적(longitudinal) 연구

종단면적 연구 시계열 연구 동일집단 반복연구(panel study) 동시경험집단(cohort) 연구 예) 베이비붐 세대의 의식변화 연구

연구질문 “둘 또는 그 이상의 변수 간의 관계에 대한 의문형의 문장” (Kerlinger, 1986).

연구질문 경험적 질문 예) “국민소득이 높아지면 현직 대통령에 대한 지 지도는 높아지는가?” 규범적 질문 예) “세금은 인상되어야 하는가?” “민주주의는 최고의 정부 형태인가?”

연구질문 기술적 질문 비교형 질문 관계형 질문

연구질문의 원천 기존 지식체계 사회적 요청 개인적 경험

연구문제의 평가기준 학문적 기준 - 독창성 - 이론적 의의 - 경험적 검증가능성 실천적 기준

연구문제의 형성과정 연구문제에 대한 목표 규정 설명: “어떤 일이 일어난 원인을 알고 싶은가?” 기술: “연구하고자 하는 현상을 정확히 보여주고 자 하는가?” 탐색: “어떤 새로운 아이디어를 제시하고자 하는 가?”

연구문제의 형성과정 연구주제를 일련의 질문으로 기술 각각의 해답을 토대로 가설을 설정

규범적 질문을 경험적 질문으로 전환 규범적 질문 기술적 질문 관계형 질문 국회의원들의 임기제를 채택할 것인가? 대부분의 정치학자들이 임기제한을 찬성하는가? 임기제한은 의회의 결정에 있어 이익집단의 영향을 증가시키는가? 마약을 합법화하는 것은 바람직한가? 대부분의 국민들이 마약 합법화에 찬성하는가? 마약의 합법화는 다른 범죄의 발생 빈도를 감소시키는가? 의원들의 선거운동 비용지출에 대한 규제가 강화되어야 하는가? 의회의 현직의원들이 정치신인들보다 선거운동 비용지출에 대한 규제에 찬성하는가? 선거비용 지출규제를 강화하면 현직 의원의 재선율이 높아지는가? 대학교육을 위한 재정지출이 확대되어야 하는가? 유권자들은 대학교육을 위한 재정지출에 찬성하는가? 대학교육에 대한 재정지출을 높이면 대학교육의 질이 높아지는가?

이론 “현상을 설명하고 예측할 목적으로 변수들 간의 관 계를 구체적으로 밝혀 현상에 대한 체계적인 견해 를 제공하는 일단의 상호관련 개념.” (Kerlinger, 1986) “하나의 이론이란 체계적으로 관련된 일련의 진술로 서, 경험적으로 검증 가능한 것이며, 법칙과 비슷 한 일반론” (Rudner, 1966) ⇒ 논리적으로 연결된 일련의 명제.

이론의 세 가지 요소 정의된 개념(변수)로 구성된 일단의 명제 개념들 간의 상호관계로 표현 하나의 변수가 어떤 변수와 관련되어 있고, 어떻게 관련되었는지를 구체화하여 현상을 설명하고 나아 가 특정 변수들로부터 다른 변수를 예측할 수 있도 록 함

이론의 관련 개념 모형: 현실세계의 본질적 특징을 부각시키면서, 현 실세계를 질서 있게 단순화 한 것. 패러다임 이데올로기

이론의 분류 소범위이론 좁은 범위의 현상에만 적용되는 이론 일반이론 적용범위의 측면에서 가장 광범위한 이론 예) 마르크스의 유물론 ⇒ 추상성의 범위가 너무 넓다. 중범위이론 소범위이론과 일반이론의 중간단계 이론

중범위 이론의 특징 경험적 조사에 의해 확증가능한 제한적 가정들로 구성 다른 이론들과 연결 가능성 사회행태와 사회구조의 상이한 영역을 다룰 수 있음 (예: 사회갈등이론: 계급, 인종, 국제갈등) 미시적 사회문제와 거시적 사회문제의 구분을 넘어선다. 사실상 존재하지 않는 것을 가장하기보다 더 많은 지식획득의 기반 을 마련하기 위해 학습할 필요가 있는 것이 무엇인지를 분명히 인식 할 수 있도록 함.

분석 수준에 따른 분류 거시수준 이론: 국사, 사회 등 거시수준에 작용 중위수준 이론: 정부기관, 이익집단 등 조직 미시수준 이론: 개개인의 행동에 초점

이론평가의 기준 정확성 일반성 간명성 인과성

변수 간의 관계 대칭적 관계 상호인과적 관계 비대칭적 관계

개념적 준거 틀 조사연구결과에 의미를 부여 앞으로 수행할 연구의 범위를 제한 조사연구에서 연구자가 고려해야 할 변수 확인 조사의 목표나 가설을 연역할 전제로 작용

변수 간의 관계: 대칭적 관계 X Y z

변수 간의 관계 상호인과적 관계 X Y z

변수 간의 관계: 비대칭적 관계 X Y z

변수의 위치 설정: 매개변수 매개변수: 독립변수와 종속변수 사이의 결과인 동 시에 종속변수의 원인이 되는 변수 독립변수(X) →매개변수(I) → 종속변수(Y) 예) 부모의 사회경제적 지위(X) → 자녀의 교육(I) → 자녀의 사회경제적 지위(Y)

변수의 위치 설정: 선행변수 선행변수: 인과관계에서 독립변수에 앞서면서 독 립변수에 대해 유효한 영향력을 행사하는 변수 선행변수(A) → 독립변수(X) → 종속변수(Y)

변수의 위치 설정: 구성변수 소득 포괄개념 교육수준 사회계층 직업 가족배경 하위개념

변수의 위치 설정: 조절변수 조절효과: 상호작용효과, 조건적 효과 운동 체중감량 식이요법

변수의 위치 설정: 통제변수 외생변수로 연구과정에서 그 영향을 검토하지는 않지만, 종속변수에 영향을 미칠 것으로 예상되어 이에 대한 통제가 필요한 변수

가설 연구자가 잠정적으로 해답이라고 제시한 것 연구문제에 대한 최선의 예측(Christensen, 1988) 연구질문: 교육수준이 높을수록 소득수준이 높아질까? 연구가설: 교육수준이 높으면 소득수준은 높아질 것이다.

가설의 종류 연구 목적에 따른 분류: 기술적 가설, 설명적 가설 통계적 검증단계에서의 분류 - 연구가설 - 귀무가설(영가설)

가설의 기능 이론의 검증 이론의 제시 사회현상의 기술 현실의 개선(부차적 기능)

인과관계 추론

인과적 사고 통제가능한 원인 통제불가능한 원인 예) 속도제한 정책 ⇒ 교통사고

인과적 추론의 조건 ① 시간적 선행성(temporal precedence) - 독립변수는 종속변수에 시간적으로 선행 ② 상시변화의 원칙(constant conjunction) - 원인과 결과는 공동으로 변화해야 함 ③ 경쟁가설 배제(rival hypothesis)의 원칙 - 다른 변수에 의한 설명 가능성은 배제되어야 함

시간적 선후관계 미래의 사건은 과거나 현재의 사건을 결정할 수 없 음. 예) 흡연 ⇒ 폐암 부모의 사회적 지위 ⇒ 자녀의 사회적 지위 ※ 시간적 선후관계를 명확히 하기 어려운 경우. 광고 vs. 상품구매 도시화 vs. 민주화 업적 vs. 동기

공동변화와 연관성 둘 또는 그 이상의 변수가 상호 관련되어있지 않다 면 한 변수가 다른 변수의 원인이 될 수 없다. 예) 애정 박탈 → 범죄 낮은 지능 → 범죄 ① 연관관계의 강도: 연관성의 크기 예) 흡연 → 폐암 발병 확률 ② 연관관계의 일관성: 서로 다른 상황에서 이루 어진 연구에서 두 변수 간의 연관관계에 일관성이 있 다면, 그들 관계가 인과적 관계일 가능성이 증가

비허위적 관계 비허위적 관계(non-spurious relation)는 제3의 변수에 의해 설명할 수 없는 두 변수 간의 연관성 을 의미함. 다른 변수에 의한 영향과 효과를 제거하더라도 독 립변수와 종속변수의 관계가 유지된다면 그 관계 는 비-허위적 관계임

비허위적 관계 예) 흡연자가 비흡연자보다 폐암 발병률이 높다. - 성별에 따른 폐암 발병률 - 거주지역에 따른 폐암 발병률 - 소득 수준에 따른 폐암 발병률

허위적 관계 “출동한 소방차 및 소방관의 수가 많을수록 화재로 인한 피해액이 커진다.” “출동한 소방차 및 소방관의 수가 많을수록 화재로 인한 피해액이 커진다.” → 허위적 관계인가? 비-허위적 관계인가?

허위적 관계 화재의 크기 출동한 소방관 수 화재로 인한 피해액

허위적 관계 아이들의 연령 신발의 크기 산수실력

허위적 관계 직무 만족 업무 성과

허위변수 경제발전 수준 정치참여의 정도 정부지출의 크기

허위변수와 혼란변수 허위변수: X와 Y 두 변수에 모두 영향을 미치며 이 들 간의 공동변화를 모두 설명하는 변수. 예) 직업훈련프로그램 참여자의 평균 소득이 비참 여자의 평균 소득보다 증가하고, 소득의 증가 가 직업 훈련 프로그램 참가 이전이 아니라 이 후에 이루어졌을 경우.

허위변수 성취동기 프로그램 참여 소득 (잘못된 결론)

혼란변수 성취동기 프로그램 참여 소득 (과장된 결론)

타당성 “경험적 조사연구를 통해 인과관계를 얼마나 진실 에 가깝게 추론하는가?”의 정도. - 내적 타당성: - 외적 타당성:

내적 타당성 추정된 원인과 그 결과 사이에 존재하는 인과적 추 론의 정확성. (인과관계 제3원칙) 내적 타당성 위협요인 - 추정된 원인 이외의 요인에 의한 대상집단 변화 - 표본의 무작위 배정 및 대표성에 관련된 요인 - 관찰 및 측정방법에 관련된 요인 - 단일 위협요인들의 상호작용

성숙요인(maturation) 순전히 시간의 경과 때문에 발생하는 조사대상집 단의 특성 변화. 예) 아동 독서 프로그램 → 독해 역량 양로원 노인들 → 노인 건강 해결방안) 성숙효과와 독립변수의 영향을 분리 실험집단 vs. 비실험집단 O1 X O2 O1 O2

역사요인 (history) 조사기간 중 연구자의 의도와는 관계 없이 일어난 사건으로 결과 변수에 영향을 미칠 수 있는 사건 조사기간 중 연구자의 의도와는 관계 없이 일어난 사건으로 결과 변수에 영향을 미칠 수 있는 사건 예) 직업훈련 → 소득증가 직업훈련 → (경기회복) → 소득증가 복지서비스 → 양로원 노인 사기 증가 복지서비스 → (양로원 시설개선) → 양로원 노인 사기 증가

역사요인 해결방안) 역사요인과 독립변수의 영향을 분리 실험집단 vs. 비실험집단 O1 X (HISTORY) O2 O1 (HISTORY) O2 ※ 국지적 역사요인: 두 집단 중 한 집단에게만 특별 하게 영향을 미치는 역사요인. 예) 프로그램이 두 집단에 동일하게 집행되지 않을 경우.

선발요인(selection) 두 집단 간 측정값의 차이가 정책집행의 효과라기 보다는 단순히 두 집단 구성원이 특성이 다르기 때 문에 나타나는 결과 예) 직업훈련 프로그램 → 성취동기 (집단1) 직업훈련 프로그램 → 성취동기 (집단2) 해결방안) 사전측정을 포함.

상실요인(mortaliy) 정책집행기간 중에 관찰대상집단의 일부가 탈락 또는 상실됨으로써 남아있는 대상이 처음의 관찰 대상집단과 다른 특성을 갖게 되는 현상. 예) 학생들의 중도 탈락. 환자의 사망 프로그램에 끝까지 남아 있는 사람의 성취 수 준이 상대적으로 높음(금연교실). → 누가 중도 탈락했는지 확인이 필요.

회귀요인(regression) 극단적인 측정값을 갖는 사례들을 재측정할때, 평 균값으로 회귀하여 처음과 같은 극단적 측정값을 나타낼 확률이 줄어드는 현상. 예) 비행훈련 → 칭찬 (질책) → 착륙 성과 복잡한 기술을 연마하는 경우 성과수준의 기복 이 심함. 동전던지기(뒷면) → (질책) → 앞면? 심리상담 → 좌절감 학생들의 특수교과과정 이수 → 수학점수

검사요인(testing) 유사한 검사를 반복하는 경우, 프로그램 참여자들 이 시험에 친숙도가 높아져 측정값에 영향을 미치 는 현상

측정수단요인 측정수단요인은 정책 또는 프로그램 집행 전과 집 행 후에 측정자의 측정 기준이 달라지거나, 측정 수단이 변화하여 정책 효과가 왜곡되는 현상.

단일 위협요인들의 상호작용 상이한 성숙도: 선발요인 + 성숙요인(차별적 성숙 요인) 차별적 상실요인 (Divergent Mortality) 내적 타당도의 위협요인과 통제방안. 191쪽 <표 6-1> 참조.

구성개념 타당성 연구에 사용된 이론적 구성 개념과 이를 측정하는 측정도구(측정 수단)이 얼마나 일치되는지를 나타 내는 개념.

구성개념의 타당성과 위협요인 실험집단이 오염된 경우 - 실험자 기대효과(피그말리온 효과) - 통제방안 a. 연구가설을 실험자에게 알려주지 않음 b. 실험자에게 연구가설과 연구대상을 알려주지 않음 c. 실험자를 표준화하는 방법: 정해진 대본 d. 실험자를 두지 않는 방법

구성개념의 타당성과 위협요인 실험대상의 반응효과: (예: 호손실험) - 평가불안 - 착한 연구대상 - 통제방안: a. 가짜약 처리통제집단(placebo control group) b. 연구대상이 연구 자체를 알지 못하게 하는 방법 c. 연구 대상에게 관찰 시점과 방법을 알려주지 않음 d. 연구 대상을 속이는 방법

통제집단이 오염된 경우 특별한 실험처리를 받지 못하는 통제집단의 참여 자가 평상시와는 다르게 행동하거나 고의로 실험 집단보다 더 좋은 결과가 나타나도록 하는 경우 (John Henry 효과) - 보상적 오염 - 과장적 오염: 자포자기

외적 타당성 연구 결과로 밝혀진 독립변수의 효과에 대한 결론 을 일반화시킬 수 있는 범위 예) 진실험은 내적 타당성은 높지만, 외적 타당성 은 낮을 수 있음.

외적 타당성 일반화가 가능한 상황이나 환경 일반화가 가능한 대상집단의 범위 일반화가 가능한 시기

실험상황 사전검사에 대한 반응의 효과 (솔로몬 4집단 설계) 복수 독립변수 또는 실험처리의 개입 실험의 맥락 통제방안

표본의 대표성과 일반화 무작위추출법 표본추출에서 계획적으로 이질적 요소 포함 대표적 사례만을 표본으로 선정하여 조사 - 일반화가 가능한 시기는?

설명적 조사설계

설명적 조사설계의 기본 원리 사실을 ‘아는 것’과 ‘증명하는 것’ 증명 - 원인과 결과 간의 인과관계 - 현상 발생의 시간적 선후관계 - 허위관계일 가능성 배제

실험설계 인과적 추론의 세 가지 조건을 모두 충족 실험실(laboratory)에서 진행 - 연구 대상을 실험집단과 통제집단으로 배정 - 실험집단에는 독립변수를 도입(프로그램), 통제 집 단에는 도입 안함 - 실험집단과 통제집단의 종속변수 값의 변화 정도 비교

실험설계의 구성요소 비교: 공동변화의 입증 실험변수의 조작(manipulation): 시간적 선행성 무작위 배정: 외생적 변수와 경쟁가설 제거 - 무작위 배정: 실험 vs. 통제집단의 동질성 확보 - 짝짓기(matching): 유사한 것 끼리 묶어 하나는 통제 집단에 다른 하나는 실험 집단에 배정 a. 정밀한 짝짓기 b. 빈도 분포에 의한 짝짓기

J.S. Mill의 실험설계 기본 논리 일치법 차이법 간접적 차이법 잔여법 공동변화법: 상황을 완전히 제거할 수 없는 경우

일치법 특정 현상이 발생하는 둘 이상의 사례에서 단 하나 의 공통요소만을 가지고 있다면 그 요소는 그러한 특정 현상의 원인이다

차이법 특정 현상이 발생한 사례와 발생하지 않은 사례가 있었을 때, 두 사례 간에 단 하나의 요소를 제외한 모든 요소를 공통적으로 가지고 있다면 그 요소는 특정 현상의 원인

간접적 차이법 만약 특정 현상이 발생하는 둘 이상의 사례에서 하 나의 공통 요소만을 가지고 있고, 그 현상이 발생 하지 않는 둘 이상의 사례에서 그러한 공통요소가 없다는 점 외에 공통사항이 없다면, 그 요소는 그 현상의 원인이다.

잔여법 어떤 현상에서 귀납적 방법의 적용으로 이미 밝혀 진 부분을 제외하면, 그 현상에서 나머지 부분은 나머지 선행 요인의 결과이다

공동변화법 어떤 현상이 변화할 때마다 다른 현상에 특정한 방 법으로 변화가 발생한다면 그 현상은 다른 현상의 원인 또는 결과이거나 일정한 인과관계의 가정으 로 연결

진실험 설계 용어 - EG: 실험집단 - CG: 통제집단 - R: 무작위배정 - M: 짝짓기 - X: 실험처리 - O: 관찰 또는 측정 값 - E: 실험효과

통제집단 사후측정 설계 가장 많이 사용하는 설계 (EG): (R) X O1 (CG): (R) O2 E=O1-O2 역사요인, 성숙요인, 회귀요인 등의 내적타당성 위협요인 제기

통제집단 사전사후 측정설계 서전측정을 설계에 포함 (EG): (R) O1 X O2 (CG): (R) O3 O4 E=(O2-O4)-(O1-O3) 실험처리 후의 측정값의 차이에서 실험 전의 측 정값의 차이를 뺀 값 검사요인 효과, 검사와 처리의 상호작용 효과로 인한 내적타당성 저해문제

솔로몬 4집단 실험설계 (EG1): (R) O1 X O3 (CG1): (R) O2 O4 (EG2): (R) X O5 (CG2): (R) O6 EG1과 CG1의 효과는 각각 (O3-O1), (O4-O2) EG2와 CG2의 효과는 각각 (O5-1/2*(O1+O2)), (O6-1/2*(O1+O2)): 사전측정값이 EG1, CG1과 동일하다는 가정

가짜실험처리 통계집단설계 Placebo Control Group Design (EG) R O1 X O2 (실험집단) (CG) R O3 O4 (통제집단) (PCG) R O5 Xp O6 ( 가짜실험처리 통제집단) 순수실험처리효과=(O2-O4)-(O6-O4)=(O2-O6)

블록실험설계 종속변수(예. 지능지수)와 관련하여 비슷한 특성을 지닌 몇 개의 블록으로 구분 블록1 (지능지수 높음) EG1 R 종속변수(예. 지능지수)와 관련하여 비슷한 특성을 지닌 몇 개의 블록으로 구분 블록1 (지능지수 높음) EG1 R X1 O1 EG2 X2 O2 EG3 X3 O3 블록2 (지능지수 중간) EG4 O4 EG5 O5 EG6 O6 블록3 (지능지수 낮음) EG7 O7 EG8 O8 EG9 O9

요인설계 실험변수 혹은 독립변수가 두 가지 이상인 경우 예) “공무원들에게 윤리교육과 서비스기술교육을 동 시에 실시하면 친절도가 향상될까?”

요인설계 할당행렬 윤리교육프로그램 참여 불참 서비스제공 프로그램 X1, X2 X2 X1 N/A

요인설계 (EG1) R X1 O1 (EG2) R X2 O2 (EG3) R X1, X2 O3 (CG) R O4 윤리프로그램 효과: O1-O4 서비스제공 프로그램 효과: O2-O4 상호작용 효과: O3-O4 요인의 수가 늘어나면 실험집단이 기하급수적으로 증가 → 불완전 요인설계

사회실험 사례: 등급별 근로유인실험(1963-1973)

준실험설계 무작위배정을 통해 실험집단과 통제집단의 동등화 를 꾀하기 어려울 때 사용 과거지향적

비동질적 통제집단 설계 (EG): O1 X O3 (CG): (M) O2 O4 E=(O3-O1)-(O4-O2)

회귀불연속 설계 실험집단과 통제집단에 실험 대상을 배정할 때 분 명하게 알려진 자격기준을 적용 예) 장학금 지급의 효과

회귀불연속설계와 동점분리 동점-분리 실험: 예) 장학금 지급과 성취도

단절적 시계열 설계 여러 시점에서 관찰되는 자료를 통하여 실험 변수 의 효과를 추정하기 위한 방법 O1 O2 O3 O4 X O5 O6 O7 O8 O9 예) 고속도로 사망률, 의료보호 수혜자 수 주로 정책 결과를 측정할 때 매우 유용함 사례) Connecticut 주 차량단속과 사망자 수 관 계

단절적 시계열 설계 위협요인 속도단속이 교통사고에 영향을 미쳤는가? 성숙요인: 캠패인의 결과?, 사회학습 결과? 역사요인: 도로상황 개선? 회귀요인: 극단값일 가능성?

통제-시계열 설계 정책행위에 노출되지 않은 집단과 비교하여 정책 의 효과에 대한 설명을 위협하는 요인을 제거 O1 O2 O3 O4 X O5 O6 O7 O8 O9 O11 O12 O13 O14 O15 O16 O17 O18 O19

인과적 추론이 어려운 준실험설계 단일집단 사후측정 설계 X O3: (E)=O3 비동질적집단 사후측정 설계 (EG): X O1 (CG): X O2 (E): (O1-O2) 단일집단 사전사후 측정설계 (EG): O X O2 (E) = (O2-O1)

내적타당성 위협요인 성숙 역사 선발 상실 회귀 검사 측정수단 상호작용 단일집단 사후측정 S 비동질적 집단 사후측정 ? CA 단일집단 사전사후 측정 비동질적 통제집단 설계 회귀불연속 설계 단절적 시계열 설계 통제시계열 설계

비실험설계 인과적 추론의 세 가지 요건을 모두 갖추지 못한 설계 중 준실험 설계를 제외한 인과적 추론 방법 통계적 통제 인과적 추론의 세 가지 요건을 모두 갖추지 못한 설계 중 준실험 설계를 제외한 인과적 추론 방법 통계적 통제 - 예측과 인과적 추론 간의 차이 - 순수한 예측목적에서는 예측변수가 단순한 징후 인지 혹은 진정한 원인인지 중요하지 않음.

비실험 설계 경로모형

기술적 조사설계

기술적 조사설계 현상을 정확히 기술 - 지역사회 구성원과 지역사회 특징에 관한 연구 - 특정의 행태 또는 태도를 보이는 사람의 비율 - 미래 일정 시점의 구체적 상황 예측 - 어떤 변수들 간의 상관관계

분류 Isaac and Michael - 기술적 연구 - 변화연구 - 사례 또는 현지 연구 - 상관적 연구 - 인과적 비교연구

횡단면 설계 일정 시점을 기준으로 모든 관련 변수에 대한 자료 를 수집 (snapshot) 예) 인구주택총조사

횡단면 조사의 유형 현황조사 상관적 연구 (인과연구 X)

내용분석 신문기사 또는 TV 프로그램에 담긴 총체적 내용을 연구와 관련된 몇 개의 범주로 축소 예) 언론에 나타난 투명성, 대통령 연설문

미래예측 설계 기존의 정보를 토대로 미래의 사회상태에 관한 사 실적 정보 산출 예) 추세연장 (지속성, 규칙성, 자료의 신뢰성과 타당성)

미래예측 전통적 시계열 분석 - 계속적 경향 - 계절적 변동 - 순환적 파동 - 예) 자기회귀누적이동평균 모형(ARIMA) 최소자승 경향 추정

미래예측 비선형시계열 - 진동 - 순환 - 성장 - 쇠퇴 - 재난

질적 방법에 의한 미래예측 브레인스토밍 델파이 기법