제 4 장 실험설계

실험설계 실험설계(experimental design) - 복잡한 사회현상 중 연구목적상 관심이 있는 요소(변수)들만 선별, 그들간의 관계를 집중적으로 관찰, 분석하는 방법 - 19세기 자연과학(생물학, 의학)-20세기 사회과학 - 조사설계중 가장 과학적인 설계방법 - 조사상의 복잡성 및 실험상황의 인위성으로 인한 일반화의 한계가 있다. 사회과학조사방법론의 이해

실험 관찰-과학적 연구조사의 기본 실험도 관찰의 일종-정교한 관찰 실험 - 관찰하고자 하는 현상이 일어나는 조건(독립변수)을 의도적으로 조작함으로써 연구에 보다 적합한 내용을 관찰 - 연구의 초점에 되는 현상과 관련된 변수들만 선별, 관찰-사실 왜곡 과 차이 사회과학조사방법론의 이해

실험설계의 기본조건 실험변수의 조작 - 연구의 초점이 되는 현상의 원인이 되는 변수를 실험자가 인위적으 로 변화시키는 것 - 클래식 음악이 고등학생들의 심리상태에 미치는 영향 POP 음악이 고등학생들의 심리상태에 미치는 영향 외생변수의 통제 - 외생변수 : 연구대상이 되는 현상과 관련된 실험변수와 결과변수 이외의 기타변수 - 외생변수가 결과변수에 미치는 영향 제거 사회과학조사방법론의 이해

실험설계의 기본조건 실험대상의 무작위화 - 전체집단에서 각 대상들이 실험대상으로 선택될 확률이 모두 동일 하게 하는 것 - 인과관계를 연구한 실험결과가 일반화되기 위해서는 실험대상이 무작위적으로 추출되어야 함 - 실험대상의 집단에 배분할 때도 무작위 사회과학조사방법론의 이해

실험설계의 기본요소 1. 변수 - 변수 : 하나의 개념을 대표하는 상징, 특성의 값이나 강도 또는 크기의차이표시 - 학력 : 1(중졸이하), 2(고졸), 3(대졸이상) - 독립변수 : 관찰하고자 하는 현상의 원인 - 종속변수 : 독립변수의 영향을 받아 변화 - 외생변수 : 통제변수 사회과학조사방법론의 이해

실험설계의 기본요소 2. 가설 - 두개 또는 그 이상의 변수들간의 관계를 나타내는 문장 - 좋은 가설 • 실험과 관련된 변수들만의 관계가 정확히 표현 • 표현된 문장은 실험을 통해 검증가능 사회과학조사방법론의 이해

실험설계의 기본요소 3. 변수들간의 상호관계 - 두개 이상의 독립변수에 의해 나타나는 효과 – 상호작용효과 - 비료사용량과 강우량이 수확량에 미치는 영향 - 상호작용이 있는 경우에는 두 변수가 어떻게 결합하느냐에 따라 두 변수에 의한 효과가 달라진다. 사회과학조사방법론의 이해

비료 많이 사용 수확량 수확량 비료 적게 사용 강우량 강우량 수확량 수확량 사회과학조사방법론의 이해 강우량 강우량

실험설계의 기본요소 4. 변수에 대한 조작적 정의와 측정 - 실험변수와 결과변수의 특성의 정도를 측정하지 못하면 실험을 통한 검증 불가능 - 측정을 위하여 추상적인 개념을 현실세계의 구체적인 현상과 연결시키는 과정 – 조작적 정의 - ‘여자가 남자보다 동정심이 많다’ - 동정심 사회과학조사방법론의 이해

실험설계의 기본요소 O0 X O1 시간의 흐름 5. 실험설계의 기본모형 - 실험설계는 실험변수와 실험대상이 되는 실험집단의 선정 및 실험효과의 측정으로 구성 - X : 독립변수의 적용, 실험변수를 실험대상에 적용 - O :종속변수의 측정 O0 X O1 시간의 흐름 사회과학조사방법론의 이해

실험설계의 타당성 - 타당성(validity)란 측정하고자 하는 바를 정확히 측정했는가에 대한 개념 ◈ 내적타당성, 외적타당성 - 타당성(validity)란 측정하고자 하는 바를 정확히 측정했는가에 대한 개념 - 내적타당성 : 측정된 결과가 실험변수의 변화 때문에 일어난 결과인가에 관한 문제 – 외생변수의 통제 - 외적타당성 : 결과의 일반화와 관련된 문제로서 결과의 적용대상과 시간적, 공간적인 확장과 관련된 것임 – 최대한 현실 과 맞는 조건에서 실험 - 내적타당성과 외적타당성은 상충되지만, 균형을 이루어야 함. 사회과학조사방법론의 이해

외생변수의 종류 1. 우발적 사건 - 실험자의 의도와 관계없이 일어난 사건으로 결과변수에 영향을 미칠 수 있는 사건 - 광고가 상품의 인지도에 미치는 영향 – 해당제품과 관련된 사회적 문제 – 내적타당성 저해 예) 신용카드 광고에 대한 소비자의 반응조사 사회과학조사방법론의 이해

외생변수의 종류 2. 성숙효과 - 실험기간 중 실험집단의 특성이 변화 - 실험집단에 속해 있던 피실험자의 심리적, 인구통계적, 생리적, 경제적인 특성 - 실험기간, 실험상황에 따라 변화 - 어린이용 영양제가 어린이의 성장이 미치는 영향 (자연성장문제) - 군복무경험이 학습태도에 영향을 미친다 – 성숙효과 사회과학조사방법론의 이해

외생변수의 종류 지능검사실시-지능개발 프로그램 훈련 – 지능검사 – 더 높은 지능지수 3. 시험효과 - 주시험효과 : 실험효과와 관계없이 동일한 측정을 반복함으로써 일어나는 현상(내적타당성 저해) 지능검사실시-지능개발 프로그램 훈련 – 지능검사 – 더 높은 지능지수 - 상호작용시험효과 : 실험변수를 가하기 전에 실시한 결과변수에 대한 측정이 실험변수에 영향을 미치게 되는 현상 (외적타당성 저해) 광고인지도 영향-광고 노출 전 상품인지도 측정-광고노출-피실험자 관심증대-광고효과 큼 사회과학조사방법론의 이해

외생변수의 종류 4. 측정수단의 변화 - 측정자와 측정방법이 달라짐에 따라 측정결과에 영향을 미치는 현상 - 측정자의 변화 : 측정자의 태도, 심리적, 육체적 상태, 측정기술, 성별 등 - 측정방법의 차이 직접면접과 간접관찰 PC 방에서의 웹서핑 관찰(직접관찰) logfile, click 분석(간접관찰) 사회과학조사방법론의 이해

외생변수의 종류 5. 통계적 회귀 - 실험대상으로 선정된 집단이 잘못 선정되어 측정하고자 하는 결과 변수의 수준에 있어서 아주 낮거나 아주 높은 상태에 있다면 실험 변수를 가한 후의 측정결과가 실험변수의 영향을 정확히 반영하지 못하는 경우 예) 중간시험-보충수업-기말시험 - 평균의 법칙(law of average), 통계적 회귀 독립변수의 효과에 관계없이 평균치로 값이 근접하려는 경향 사회과학조사방법론의 이해

외생변수의 종류 6. 표본의 편중 - 각 집단의 최초상태가 상이함으로써 실험효과의 왜곡현상 예) 인터넷 쇼핑몰의 인식도 조사(회원과 비회원) 예) 가격인하가 매출액에 미치는 영향(저소득층과 고소득층) - 무작위 표본추출과 집단배정이 이루어져야 함. - 통계적회귀 : 개인 또는 실험단위내에서 발생, 표본의 편중 : 집단간 최초상태차이 사회과학조사방법론의 이해

외생변수의 종류 ◈ 표본의 편중과 다른 요인들 간의 상호작용 - 편중성숙효과 • 실험집단들이 다른 속도로 성숙 • 서울과 농촌지역 초등학생들의 인지능력 - 편중우발사건효과 • 특정 실험집단에만 우발적 사건 - 편중측정수단변화 효과 • 사전측정과 사후측정 간의 간격이 같지 않은 경우 각 집단의 평균이 다르게 나타나는 현상 사회과학조사방법론의 이해

외생변수의 종류 7. 실험대상의 소멸 - 실험대상이 실험기간 중 실험대상에서 이탈 - 사전측정을 한 실험대상들이 실험변수를 가한 후 사후측정하기전 실험대상에서 제외 - 미혼녀 대상 실험(사후측정 전에 결혼을 하면 대상에서 제외됨) 사회과학조사방법론의 이해

외생변수의 종류 8. 인과방향의 모호성 - 원인과 결과의 모호 - 자율적인 학습분위기-성적향상 - 광고비 지출증가-매출액증가 9. 실험변수의 확산 또는 모방 - 실험집단 간에 의사소통이 가능할 경우 응답자들이 실험집단 또는 통제집단으로부터 정보를 사전에 알 수 있는 경우 사회과학조사방법론의 이해

외생변수의 종류 10. 실험변수의 효과를 상쇄하는 보상 - 통제집단이 되어 손해가 발생하는 경우 - 신약실험-통제집단의 환자, 치료혜택 못받음-보상 11. 실험목적에 대한 예상 - 실험대상들이 실험의 목적을 파악하고 조사자가 의도하는 방향으로 행동하는 것 12. 보상적인 대항 혹은 사기저하 - 실험변수에 노출되지 않은 경우 그에 대한 보충 - 통제집단이 더욱 노력하거나, 자포자기로 포기하거나 사회과학조사방법론의 이해

외생변수의 통제방법 제거 - 외생변수가 될 수 있는 변수의 개입을 제거함 - 과거의 특정 경험의 유무가 종속변수에 영향을 미칠 경우 특정경험이 있는 사람을 실험대상에서 제외 균형화 - 실험집단과 통제집단의 동질성을 확보하기 위한 방법 - 외생변수의 영향을 동일하게 받을 수 있는 집단으로 실험집단과 통제집단을 구성 사회과학조사방법론의 이해

외생변수의 통제방법 상쇄 - 하나의 실험집단에 두개 이상의 실험변수가 가해질 때 적용 - 두 가지의 광고에 대한 시청자의 인지도-광고의 순서나 지역에 따라 광고효과가 차이가 있다면-순서와 지역을 바꾸어 재실험 - 외생변수가 작용하는 강도가 다른 상황에 대해 다른 실험을 실시 비교-상쇄 사회과학조사방법론의 이해

외생변수의 통제방법 무작위화 - 어떠한 외생변수가 작용할 지 모르는 경우 실험집단과 통제집단을 조사대상 모집단에서 무작위로 추출함으로써 실험자가 조작하는 독립변수 이외의 모든 변수들에 대한 영향을 동일하게 만듦 - 실험의 외적타당성을 유지하기 위해서도 필요 사회과학조사방법론의 이해

실험설계의 종류 실험설계는 대상선정의 무작위화 및 독립변수의 조작가능성, 외생변수의 통제 등 실험의 통제정도에 따라 구분됨 X 사전실험설계 순수실험설계 유사실험설계 사후실험설계 대상의 무작위화 X ○ X X 독립변수의 조작가능성 X ○ ∆ X 외생변수의 통제정도 X ○ ∆ X X ○ ○ X 측정(시기 및 대상)통제 사회과학조사방법론의 이해

사전실험설계 조사자의 실험변수의 노출시기 및 대상이나 실험결과의 측정시기 및 대상에 대한 통제가 거의 불가능 실험설계라고 할 수 없음 인과관계 규명 부적합 탐색조사의 성격 사회과학조사방법론의 이해

사전실험설계 X O1 단일집단 사후측정 설계 - 실험변수에 노출된 하나의 집단에 대해 사후적으로 결과변수를 측정 - 실험변수의 조작이나 집단의 무작위화가 이루어지지 않으며, 실험자가 임의로 실험대상 선정 - 효과측정 못함(O0 의 측정이 없음), 외생변수 통제 X, 내적 외적타당성 결여 X O1 사회과학조사방법론의 이해

사전실험설계 단일집단 사전사후측정 - 실험변수가 가해지기 전후에 결과변수를 측정하여 두 결과의 차이로 실험변수의 효과를 측정 - 광고노출 전후 측정 - 외생변수의 효과를 통제할 수 없다(내적 타당성 결여) O0 X O1 사회과학조사방법론의 이해

사전실험설계 실험집단(EG) : X O1 통제집단(CG) : O2 실험효과(effect) = O1 - O2 집단비교설계(1) - 실험집단을 두개의 집단으로 나누어 실험변수를 가하는 집단(실험집단: Experimental Group:EG)과 실험변수를 가하지 않는 집단(통제집단:Control Group:CG)으로 구분 실험집단(EG) : X O1 통제집단(CG) : O2 실험효과(effect) = O1 - O2 사회과학조사방법론의 이해

사전실험설계 집단비교설계(2) - 두 집단으로 나누어 측정하여 외생변수의 일부를 제거가능 - 무작위추출이 아니므로 집단자체의 차이, 실험대상의 소멸 등은 제거가 안됨 - 사후측정만 이루어짐 - 실험의 간편성과 시간, 조사비 등의 절감 사회과학조사방법론의 이해

순수실험설계 실험대상의 무작위화, 실험변수의 조작, 노출시기 및 결과변수의 측정시기의 통제가 가능 외생변수의 영향을 효율적으로 제거할 수 있음 명확한 인과관계를 검증할 수 있음 엄격히 통제된 실험상황의 인위성으로 외적타당성 결여 - 통제집단 사전사후측정 실험설계 - 통제집단 사후측정 실험설계 - 솔로몬 4집단 실험설계 사회과학조사방법론의 이해

순수실험설계 실험집단(EG) ®: O0 X O1 통제집단(CG) ®: O2 O3 통제집단 사전사후측정 실험설계 - 무작위적으로 선정된 두 집단으로 실험집단과 통제집단으로 구분 - 거의 모든 외생변수효과 제거, 상호작용시험효과 제거 불가 실험집단(EG) ®: O0 X O1 통제집단(CG) ®: O2 O3 실험효과 = (O1 - O0)-(O3 - O2) 사회과학조사방법론의 이해

순수실험설계 실험집단(EG) ®: X O0 통제집단(CG) ®: O1 실험효과 = O0- O1 통제집단 사후측정 실험설계 - 통제집단 사전사후측정 실험설계에서 사전측정을 하지 않은 형태 (시험효과 제거) - 실험집단과 통제집단이 외생변수의 영향을 동일하게 받는다 (균형화) - 실험대상이 무작위가 아니면 집단비교설계 실험집단(EG) ®: X O0 통제집단(CG) ®: O1 실험효과 = O0- O1 사회과학조사방법론의 이해

순수실험설계 솔로몬 4집단 실험설계 - 통제집단 사전사후측정 실험설계와 통제집단 사후측정 실험설계를 합친 형태 - 가능한 모든 외생변수의 효과를 통제하기 위한 방법 사회과학조사방법론의 이해

순수실험설계 집단 A ®: O0 X O1 집단 B ®: O2 O3 집단 C ®: X O4 집단 D ®: O5 o4 –1/2(o0+o2)= 실험효과 + 기타 외생변수효과 : 상호작용작용시험효과 제거한 부분 o5 –1/2(o0+o2)=기타 외생변수효과 정밀하고 많은 정보 획득 설계복잡, 집단간 격리의 어려움 많은 시간과 비용 사회과학조사방법론의 이해

유사실험설계 실험실 상황이 아닌 실제 상황에서 독립변수를 조작하여 연구 - 일반화 가능성(외적타당성)이 높다 - 이론 검증 및 현실 문제해결에 유용, 복잡한 사회적.심리적 영향과 과정변화 연구에 적절 - 대상의 무작위와 독립변수의 조작화가 어려움 - 독립변수의 효과와 외생변수의 효과를 분리 파악하기 어려움 - 측정과 외생변수 통제의 곤란으로 정밀도가 떨어짐 • 비동질 통제집단 설계 : 무작위화를 통한 동질화 X • 동류집단설계 : 실험집단의 서로 다른 경험으로 인한 차이를 통하 여 알고자 하는 변수의 효과를 측정 • 단일집단 반복실험설계 : 실험집단과 통제집단으로 나눌수 없고 독립변수의 효과가 일시적이거나 변화 될 가능성이 있는 경우 사회과학조사방법론의 이해

사후실험설계 독립변수를 조작할 수 없는 상태 또는 이미 노출된 상태에서 변수들의 관계를 검증하는 방법 기존의 이론 및 가설을 실제상황에서 검증함 - 독립변수 조작 불가, 외생변수 개입이 크다. -> 인과관계 규명이 어려움. - 변수들간의 단순 상관관계 분석만이 가능함 - 가설검증이나 탐색적 연구의 목적으로 주로 사용 - 보완방법 : 여러 개의 가설을 검증하는 것. 예) 담배가 건강에 미치는 영향에 대한 연구 -담배를 피우게하는 집단(실험집단), 피우지 못하게 하는 집단(통제집단) : 독립변수 통제 불가능, 단지 흡연자와 금연자의 건강상태를 비교하는 정도 사회과학조사방법론의 이해