2. 인과관계와 연구디자인 조사문제와 연구디자인 조사설계는 전반적인 조사의 과정을 이끌어주는 프로그램 같은 것 조사설계는 전반적인 조사의 과정을 이끌어주는 프로그램 같은 것 조사설계의 가장 핵심 과업은 연구디자인의 결정 조사문제를 먼저 결정하고 연구디자인을 선택하 는 것이 순리적이지만, 윤리 문제나 실행가능성 의 문제 등이 조사문제 결정 이전에 고려되어지 기도 함 따라서 연구자는 다양한 유형의 연구디자인들에 대한 적절한 이해와 지식을 갖추어야 힘

2. 인과관계와 연구디자인 2) 인과관계의 확인 조사문제가 제기하는 관계들은 대부분 인과 관계의 성격을 내포함 인과성이란 사실들 간의 다양한 관계 성격들 중에서 원인과 결과의 관계를 의미하는 것 과학적 방법에서 인과성 존재여부를 확인하 기 위해 충족되어져야 할 조건 세가지

2. 인과관계와 연구디자인 2) 인과관계의 확인 공변성: 두 변수가 함께 변화하는지를 봄. 원인과 결과는 서로 같이 움직임. 두 변수사이에 공변성 이 있음을 증명하려면 적어도 한 변수값이 변화 할때 상대 변수값에서도 어떤식으로든 변화가 관 찰되어야 함 시간적 우선성: 함께 변화하는 변수들 간의 시간 적인 우선성을 확인해야 함. 원인변수의 변화가 결과변수의 변화보다는 앞서서 나타남을 경험적 으로 보여줄 수 있어야 함

2. 인과관계와 연구디자인 2) 인과관계의 확인 통제( 외부 설명의 배제): 인과관계의 최종검증을 위해서는 통제조건이 추가로 충족되어야 함. 통제란 인과관계를 증명하기 위해 외부의 영향력 을 배제한 상태에서 순수하게 두 변수만의 공변 성과 시간적 우선성을 볼 수 있어야 한다는 조건 임. 만약, 두 변수 모두 다른 제 3의 변수로부터 영향 을 받는다면, 인과성이 없음에도 공변성과 시간 적 우선성을 보여질 수 있음

2. 인과관계와 연구디자인 2 ) 인과관계의 확인 예를 들어 한 지역사회에서 청소년 비행 예방을 위한 프로그램을 실시했는데 프로그램 종료후 지역사회에 서 청소년 비행률이 줄어든 경우 공변성과 시간적 우 선성은 확인할 수 있으나 이 경우 통제조건이 빠져서 이 프로그램이 청소년 비행을 감소하게 한 원인이 되 었다고 입증할 수 없음(우연인지, 비행률이 전반적으 로 낮아진 시기였는지, 지역사회 프로그램 말고 다른 관련 변화가 있었는지 등에 대한 의문이 해결되지 않 는 한 인과관계 주장은 경험적으로 뒷받침되지 못함. 똑같은 지역사회가 존재하고 다른 상태는 같고 단지 프로그램 유무만 차이가 있는데 그 지역사회에서는 비행률이 감소하지 않았다면 프로그램 효과성의 설명 에 따른 인과관계가 입증됨)

2. 인과관계와 연구디자인 3) 연구 디자인의 타당성 연구디자인의 타당한 것인지는 내적 타당성과 외 적 타당성으로 구분해서 확인할 수 있음 내적타당성 종속변수에서 나타나는 변이가 독립변수의 변이 에 따른 것임을 경험적으로 확신할 수 있는 정도 를 말함 내적 타당성이 높다는 것인 인과성 추정의 경험 적 검증능력이 강하다는 것을 의미(즉, 공변성, 시간적 우선성, 통제의 기준들이 적절히 충족되 는 연구디자인이라는 뜻)

2. 인과관계와 연구디자인 3) 연구 디자인의 타당성 내적 타당성 내적 타당성이 높은 연구 디자인을 갖추려면 다 음과 같은 인과성 저해 요인들이 배제될 수 있어 야 함 외부사건: 조사연구과정에서 외부적인 어떤 사건 들이 발생하여 연구결과에 영향을 미칠 수 있음. 예) 노인 의욕 증진 프로그램 사전 사후 검사 통 해 효과적이라고 판단하는 경우 정부보조금 증가. 외부여행 등 외적인 사건이 발생해 영향을 미쳤 을 수도 있음(조사기간이 길수록 외부사건의 영 향을 받을 가능성이 증가함)

2. 인과관계와 연구디자인 3) 연구디자인의 타당성 내적타당성 시간경과에 따른 자연적 성숙 효과: 인간은 시간이 지나면 자연적으로 성숙하는 측면이 있음. 예) 성폭행 피해자 상담 전후 어떤 서비 스를 주더라도 프로그램 실시후의 상태가 좋 아진 것으로 나타날 것임. 예를 들어 노인들 의 1년전 건강상태와 1년후 건강상태가 변화 가 없으면 프로그램 효과가 없는 건가?

2. 인과관계와 연구디자인 3) 연구디자인의 타당성 내적타당성 테스트 효과: 동일한 측정도구를 사용하여 두 번 이상 테스트를 실시하는 조사 연구들에서 발생. 프로그램 개입으로 인한 효과를 알기 위해 사전-사후에 검사를 실시하는데 동일한 검사를 두번 실시하면 사람들은 검사자체를 기억하고 반응해서 그에 따른 효과를 섞어 넣 게 됨(IQ검사 향성프로그램)

2. 인과관계와 연구디자인 3) 연구디자인의 타당성 내적타당성 도구효과: 전-후의 검사도구를 각기 달리했 을 때 발생할 수 있는 문제. 각기 다른 도구를 쓰면 도구의 차이로 인해 전-후 점수의 차이 가 발생할 수 있음.

2. 인과관계와 연구디자인 3) 연구디자인의 타당성 내적타당성 통계적 회귀: 유동적인 변수들은 정상치(평균) 로 근접하는 성향을 보인다는 것을 의미함. 사전검사 점수의 결과가 자신들의 정상치보 다 지나치게 낮게 나타난 사람들을 대상으로 프로그램을 실시할 경우, 점수는 프로그램 효 과와 상관 없이 상승하는 것으로 나타남 (무 작위 할당이나 통제 집단으로 통제)

2. 인과관계와 연구디자인 3) 연구디자인의 타당성 내적타당성 선별편향성(selection bias): 대상자 선정 오 류라고도 함. 이질적인 집단들을 대상으로 개 입의 효과를 비교하려고 할 때 나타나는 문제. 예를 들어 아동학대 방지 교육프로그램의 효 과성 검증을 할 경우 프로그램 참여가 자발적 이라면 참여자와 비 참여자의 차이 검증을 통 해 효과성 검증을 할 수 있나?( 무작위 표본 추출과 집단 배정이 이루어져야 함)

2. 인과관계와 연구디자인 3) 연구디자인의 타당성 내적타당성 중도 탈락: 실험대상자들이 여러가지 이유로 도중에 그만두는 경우 사전과 사후를 비교하 는 것이 어려워짐. 사전집단과 중도탈락하고 남은 사후 집단은 이미 성격이 다른 두집단이 되어있을 가능성이 있음. 중도 탈락한 사람들 은 나름대로 특성을 가지고 있고 그것이 사전 과 사후 검사의 점수 차이애 영향을 미칠 것 임.

2. 인과관계와 연구디자인 3) 연구디자인의 타당성 내적타당성 인과적 시간- 순서: 인과적 시간-순서가 적절히 통제 되지 않으면 시간적 우선성이 불확실하다는 것임. 예를 들어 계획적인 소비성향과 빈곤이 관 련되어져 있음을 알게 되었고 빈곤자에서 탈출시 키기 위해 계획적인 소비에 대한 교육실시를 주 장함(시간적 우선성이 확보되지 않음. 단순히 두 변수 상관성만이 입증됨. 비계획적인 소비가 빈 곤을 불러온다는 경험적 검증이 이루어지지 않았 고 오히려 빈곤자의 불안정한 소득이 비계획적인 소비를 가져올 수도 있음)

2. 인과관계와 연구디자인 3) 연구디자인의 타당성 내적타당성 개입의 확산이나 모방: 피실험자들간의 상호 작용이나 모방으로 인해 애당초 의도했던 집 단간 차이에 대한 설명이 불분명해지는 것을 말함. 집단들간에 통제되지 않은 교류가 발생 하여 각각의 개입들이 다른 집단들로 확산 혹 은 모방된다면 특정개입에 따른 특정효과를 밝히려는 설명을 타격을 받게 됨

3) 연구디자인의 타당성 내적타당성 사기저하효과(demoralization): 통제집단의 사기저하로 실험집단과 차이가 커짐 2. 인과관계와 연구디자인 3) 연구디자인의 타당성 내적타당성 사기저하효과(demoralization): 통제집단의 사기저하로 실험집단과 차이가 커짐

2. 인과관계와 연구디자인 3) 연구디자인의 타당성 (2) 외적타당성 현재 조건의 연구결과를 다른 조건의 환경이나 집단 으로 확대 해석하거나 일반화할 수 있는 정도를 말함. 외적타당성에 영향을 주는 요인 연구표본: 대부분의 연구에서 해당되는 연구 집단 전 체를 직접 조사의 대상으로 삼기 어려움으로 모집단 의 대표성을 갖춘 일부를 선정해서 조사하는데 이 일 부를 표본이라고 함. 표본에서 발견된 특정한 사실을 모집단의 사실로 인정되기 위해서는 표본의 모집단에 대한 대표성이 중요함. 표본이 모집단의 일반적인 성 격에서 크게 벗어난 특이한 일부라면 표본 조사 결과 는 전체 집단에 확대해석하기 어려움

2. 인과관계와 연구디자인 3) 연구디자인의 타당성 (2) 외적 타당성 연구환경: 연구대상자가 일상적으로 느끼는 상황과 다른 환경에서 실험조사연구가 진행될때 연구대상자의 반응은 색다른 환경때문에 변화하게 될 지도 모름. 조사반응성: 조사 대상자들이 조사에 반응하면서 생겨나는 것. 호손(Hawthorne effect)효과 라고도 하는데 사람들은 자신이 관찰대상임을 알게 되는 순간 조그만 자세라도 고 치려고 하고 질문자나 다른사람이 기대하는 대답을 하려는 경향을 보이는 것. 직접 조사대상이 된 표본은 대개 조사를 인지하고 있을 가능성이 큼으로 프로그램 효과가 확인되었 다고 하더라도 일반 집단에 적용해서 같은 효과를 기대하 기는 어려울 수 있음. 조사에 대한 반응성을 갖고 있지 않 은 일반집단에게 동일한 프로그램을 제공하더라도 그 결과 는 달리 나오게 될 수 있음

2. 인과관계와 연구디자인 3) 연구디자인의 타당성 (2) 외적 타당성 플라시보효과: 조사반응성 효과의 일종임. 일명 위약효과고도 함. 실제로는 피실험자에게 개입이 이루어지지 않았는데도 불구하고 개입이 이루어 진 것과 유사한 효과가 나타나는 경우가 있음. 통 제집단에 프로그램안주고, 비교집단에는 다른 프 로그램 주고, 실험집단에 진짜 프로그램을 주었 을 때 효과를 보이면 플라시보 효과 넘어서는 효 과가 있는 것임

2. 인과관계와 연구디자인 3) 연구디자인의 타당성 보통 실험조사설계에서 내적, 외적 타당도의 위 험이 내포하고 있지만 무작위 할당과 통제집단을 활용하여 내적 타당성의 저해요인 상당부분을 줄 일 수 있음. 그러나 내적 타당성을 높이기 위해 각종 인위적인 통제들을 실시할 경우, 일반적인 환경조건과 더 멀어지게 되어 외적 타당성은 오 히려 떨어지는 결과를 초래할 수도 있음 따라서 연구디자인을 고려할 때는 내적 타당성과 외적 타당성의 균형을 맞추는 것에 대한 관심도 필요

3. 연구 디자인의 유형 실험 디자인 실험적 개입, 즉, 독립변수의 조작으로 말미암아 발생할 수 있는 변수간의 인과관계를 규명하기 위한 연구디자인임 실험디자인의 세가지 요건: 무작위할당: 실험집단과 통제집단을 무작위로 배 분할 수 있어야 함. 인위적인 의도가 없는 상태에 서 집단간 할당을 할 때 동질적 배분의 가능성이 극대화됨. 독립변수의 조작: 통제집단은 아무런 변화를 주 지 않고 실험집단에만 독립변수를 투입해야 함 종속변수의 비교: 개입이 끝난 후 실험집단과 통 제집단에서 종속변수를 측정하여 두 집단의 차이 를 비교할 수 있어야함

3. 연구 디자인의 유형 실험 디자인 실험디자인은 통제집단을 통해 내적 타당성 을 저해하는 테스트 효과, 외부사건, 도구효 과, 통계적 회귀, 외부사건 등의 통제가 가능 하고, 무작위 할당을 통해 대상자 선정의 문 제의 통제가 가능함. 대상자의 규모가 작을 때는 무작위 할당과 동일배합(matching)과 통합하여 사용할 수 있음(통제집단과 실험집 단을 동일하게 만들기 위해 주요변수들을 미 리 알아서 그 변수들의 분포가 똑같이 나타나 도록 하는 것임)

3. 연구 디자인의 유형 실험디자인 전-후 검사 통제집단 디자인 가장 전형적인 실험디자인 사전검사 사후검사 개입 사전검사 사후검사 개입 실험집단 o1 x o2 무작위 할당 통제집단 o3 o4

3. 연구 디자인의 유형 실험 디자인 전-후 검사 통제집단 디자인 실험대상자를 무작위로 할당(무작위 할당은 두 집단의 동질성 확보) 두 집단은 엄격한 통제하에 분리(실험집단에 가해지는 개입이 통제집단으로 전이되는 것 을 막기 위해) 개입 이외에는 두 집단이 똑같은 환경으로 유 지됨

3. 연구 디자인의 유형 실험 디자인 전-후 검사 통제집단 디자인 개입전에 사전검사를 실시하고 실험집단에 개입 을 하고, 통제집단은 개입을 하지 않고 종료 후 다시 두 집단에 사후검사를 실시해 사전검사와 사후검사의 차이를 비교하여 개입의 효과성에 대 한 경험적 준거를 삼음 높은 내적 타당성을 확보하지만. 조사 반응성을 제어하기 힘듦. 따라서 조사 반응성이 강하게 나 타나는 연구집단에는 이 디자인 사용을 제한하는 것이 좋음

실험디자인 사후검사 통제집단 디자인 사후검사 개입 실험집단 x o1 무작위 할당 통제집단 o2 3. 연구 디자인의 유형 실험디자인 사후검사 통제집단 디자인 사후검사 개입 실험집단 x o1 무작위 할당 통제집단 o2

3. 연구 디자인의 유형 실험 디자인 사후검사 통제집단 전-후검사 통제집단과 유일한 차이는 사전검사 가 생략되는 것 장점: 사전검사와 개입의 결합효과를 제거할 수 있다는 점 단점: 첫째, 두 집단이 동질적인 집단이었는지 를 확인한 방법이 없다는 점 둘째, 실험시기 전과 끝나고 난 후 어느 정도의 상태가 변했는지를 알기 어려움 검사와 개입의 상호작용이 강하게 의심되는 경우 에 주로 쓰이고, 두 집단을 동질적으로 만들 방법 이 확보되는 경우에만 가능함

3. 연구 디자인의 유형 실험 디자인 솔로몬 디자인 사전검사 사후검사 집단2 o3 o4 개입 집단1 o1 x o2 무자위할당 사전검사 사후검사 개입 집단1 o1 x o2 집단2 o3 o4 무자위할당 집단3 x o5 집단4 o6

3. 연구 디자인의 유형 실험 디자인 솔로몬 디자인 전-후 검사 통제집단 디자인과 사후검사 통제집 단 디자인을 결합한 것 검사와 개입의 상호작용 효과와 사전검사의 부재 에 따른 문제를 모두 해결할 수 있음 가장 이상적인 디자인이지만 실제 사용하기가 매 우 어려움 네개의 집단을 선별하고 통제하는데 따르는 비용 도 많이 들고, 네 개의 무작위로 할당된 동질적인 집단을 구성하는 것은 쉽지 않음

실험디자인 플라시보 통제집단 디자인 사후검사 개입 실험집단 x o1 무작위 할당 통제집단 o2 플라시보집단 xp o3 3. 연구 디자인의 유형 실험디자인 플라시보 통제집단 디자인 사후검사 개입 실험집단 x o1 무작위 할당 통제집단 o2 플라시보집단 xp o3

3. 연구 디자인의 유형 실험 디자인 플라시보 통제집단 디자인 플라시보 효과가 강하게 의심되는 실험연구 에서 활용함 플라시보 통제집단 디자인은 전-후검사 통제 집단이나 사후검사 통제집단에 플라시보 효 과를 측정할 수 있는 한 집단을 추가로 배치 하는 것

3. 연구 디자인의 유형 실험디자인 실험디자인의 한계 엄격한 통제집단의 요건을 갖추어야 하는 조 건이 사회과학 연구의 상황에서는 적용하기 어렵기 때문에 실제로 사용되기 어려움 서비스 개입의 필요성은 실험집단이나 통제 집단에서 같은데, 실험 목적 때문에 통제집단 에 필요한 서비스를 제공하지 않는 것은 윤리 적으로 정당하지 못함

3. 연구 디자인의 유형 2) 선실험 디자인 선 실험디자인은 무작위 할당 없이 조사대상 자가 선정되고 통제집단을 갖추지 못할때 활 용하는 가장 낮은 수준의 실험조사 형태오 내 적 타당성과 외적 타당성의저해요인이 거의 통제되지 못함 일회 사례연구, 단일 집단 전-후 검사 디자인, 고정집단 비교연구 디자인이 있음

3. 연구 디자인의 유형 2) 선실험 디자인 일회 사례연구 단일집단 x o1 개입 사후검사 단일집단 x o1 단일집단에 대해 개입을 실시하고, 사후에 종 속변수를 검사하는 것으로 개입의 효과를 측 정하기 때문에 사후검사의 결과를 비교해 볼 만한 다른 경험적 자료가 없음 개입이 효과적이었는지에 대한 판단은 연구 자의 주관적 판단에 의존함

3. 연구 디자인의 유형 2) 선실험 디자인 단일 집단 전-후 검사 디자인 사전검사 사후검사 사전검사 사후검사 개입 단일집단 o1 x o2 단일집단에 대해 개입 전에 사전검사를 실시 하고 개입 후에 사후검사를 실시하여, 그 전 후를 비교함으로 개입의 효과를 측정함

3. 연구 디자인의 유형 2) 선실험 디자인 단일집단 전-후 검사 디자인 시간적인 우선성과 비교의 기준이 존재한다 는 점에서 개입의 효과를 추정하는 데 필요한 최소한의 내적타당성 조건을 갖추고 있으나 외부요인의 영향력에 대한 통제를 할 수 없음 사회복지실천현장에서 프로그램 효과성 연구 를 위해 가장 광범위하게 사용하고 있음

2) 선실험 디자인 고정집단 비교 디자인 개입 일회검사 x o1 연구집단 o2 고정집단 3. 연구 디자인의 유형 2) 선실험 디자인 고정집단 비교 디자인 개입 일회검사 x o1 연구집단 o2 고정집단

3. 연구 디자인의 유형 2) 선실험 디자인 고정집단 비교 디자인 정태적 비교조사라고도 함 개입이 주어진 연구집단과 개입이 주어지지 않은 고 정집단을 사후에 구분해서, 연구집단에서 나타나는 결과를 고정집단의 결과와 비교해 보는 방법 통제집단에 해당하는 고정집단을 두고 있으나 무작위 할당이 이루어 지지 않아 내적 타당도가 약하고 두 집 단 본래의 차이를 확인할 수 없으니 두 집단의 차이가 실험집단 개입으로 말미암은 효과라고 설명하기 어려 움 이 조사의 가장 큰 장점은 쉽게 사용할 수 있다는 것 이고 다양한 통계학적 기법을 통해 연구집단과 고정 집단이 갖고 있는 이질성을 부분적으로나마 사후 통 제 할 수 있다는 점

3. 연구 디자인의 유형 3) 유사실험 디자인 유사실험 디자인은 실험 디자인과 같이 무작 위 할당을 통해 엄격한 통제집단을 갖지는 못 하지만 대안적인 방법을 통해 통제집단을 갖 는 것과 같은 효과를 주는 디자인 시계열디자인, 비동일 통제집단 디자인

3. 연구 디자인의 유형 3) 유사실험 디자인 시계열디자인 x o1 o2 o3 o4 o5 o6 o7 o8 o9 o10 단일집단 개입시점 통제집단을 설정하기 곤란한 경우에 임의로 한 집단을 선택해서 개입 전과 개입 후에 정기적으 로 관찰하여 개입 전후의 점수 또는 경향을 비교 하는 조사형태로 시간연속조사라고도 함

3. 연구 디자인의 유형 3) 유사실험 디자인 시계열디자인 동일 간격과 동일 횟수의 측정이 필요하며 안정된 기 초선 확보를 위해 최소한 3회 이상의 충분한 관찰을 통하여 종속변수의 일상적인 상태를 알 수 있어야 함 내적 타당도를 저해하는 대부분의 요인을 통제할 수 있지만, 오랜 조사 기간으로 인해 외부사건과 성숙, 반복된 검사나 관찰로 인한 테스트 효과가 위험요인 이 됨 사회복지실천연구 환경에서 시계열디자인은 통제집 단을 갖지 않으면서 통제집단의 효과를 낼 수 있기때 문에 만히 선호되고 있음(빈번한 검사와 관찰에 따른 반응성의 문제를 적절히 극복할 있다면 연구자들에게 훌륭한 조사연구 디자인이 될 수 있음)

3. 연구 디자인의 유형 3) 유사실험 디자인 비동일 통제집단 디자인 실험집단과 통제집단을 가지고 있으나 집단 에 대한 구분이 임의적으로 이루어짐 사전검사 사후검사 개입 실험집단 o1 x o2 임의선정 통제집단 o3 o4

3. 연구 디자인의 유형 3) 유사실험 디자인 비동일 통제집단 디자인 두 집단이 애초에 동질적인 집단으로 구성되었는 지에 대한 설명이 약하고, 두 집단 간의 교류 등 을 통제하지 못하여 실험집단의 결과가 통제집단 으로 모방되거나 확산되는 효과를 통제하지 못하 는 어려움이 있음 그럼에도 이 디자인은 사회복지현장에서 가장 많 이 활용되고 있음. 연구자는 가능한 두 집단의 중 요한 변수에 배합을 시도하여 두 집단을 비슷하 게 하도록 노력해야 함