사회복지조사론 Research Method for Social Welfare 이 수 천 / 사회복지통계연구소 (서울기독대학교 M.A., Ph.D.) 사회복지통계연구소 http://isws.tistory.com

인과관계와 가설 실험설계의 종류 실험설계 적용의 문제점 3강 실험설계조사 인과관계와 가설 실험설계의 종류 실험설계 적용의 문제점 사회복지통계연구소 http://isws.tistory.com

인과관계의 3가지 조건 ● 인과관계를 밝히는 것은 과학적 탐구의 목표가 될 수 있음과 동시에 타당한 논 리적 과정을 제시함으로써 지식이나 이론적 기반을 확립하는데 주요한 기반이 되므로 중요하다. ● 인과관계를 밝히는 연구는 설명적 연구라 할 수 있다. ● 너무 많은 원인을 알아보는 건 연구로서 의미가 없다. 원인과 결과 간의 평균의 영향력이 감소하여 명료함이 줄어들기 때문이다. 특화된 소수의 인과관계를 보 는 게 중요하다. ● 따라서 전체 현상을 설명하기 보다는 단위적 현상에 대한 설명을 중심으로 하게 된다. 즉, 인과관계를 해석할 때 진리나 절대적 가치로 받아들이는 것은 오류이 다. 사회복지통계연구소 http://isws.tistory.com

● 인과관계의 3가지 조건 : 선후성, 상관성, 비허위성 ① 선후성 cause & effect : 원인은 항상 결과보다 앞선다 ● 인과관계의 3가지 조건 : 선후성, 상관성, 비허위성 ① 선후성 cause & effect : 원인은 항상 결과보다 앞선다. “자원봉사활동에 참여하면 높은 이타적 성향이 나타난다.”??? ② 상관성 association : 서로 간의 연관성이 명확하게 인정되어야 한다. “물리치료 효과가 좋으면 물리치료실을 계속 이용할 것이다.” ③ 비허위성 nonspuriousness : 제3의 변수에 의하여 인과관계가 유효한 영향을 받지 않아야 한다. 즉, 원인과 결과의 불변적 결합을 이루어야 한다. “경제수준이 높으면 물리치료실 이용만족도가 증가할 것이다.”??? 사회복지통계연구소 http://isws.tistory.com

변수의 인과관계 ● 변수란, 설문조사나 측정도구를 통하여 구체적으로 측정하고자 하는 대상이다. 이것은 학력, 성별과 같이 속성일 수도 있고, 직장만족도 중 업무, 근로조건 등과 같이 어떤 개념이나 그것의 하위요인일 수도 있다. ● 변수는 다른 변수들과 구별되는 특성을 갖는다. ● 변수는 측정이라는 과정을 통하여 더욱 구체화될 수 있다. ● 변수종류 ° 속성에 따라 질적변수와 양적변수로 구분이 가능하다. ° 척도에 따라 명목변수, 서열변수, 등간변수, 비율변수로 구분하기도 한다. ° 인과관계 속의 위치에 따라 독립변수, 종속변수, 매개변수, 선행변수도 나눌 수 도 있다. 사회복지통계연구소 http://isws.tistory.com

① 독립변수 : 어떤 변수에 영향을 주거나 설명해 주는 변수로 변수 자체로서는 독립적 인 성을 갖는다 ① 독립변수 : 어떤 변수에 영향을 주거나 설명해 주는 변수로 변수 자체로서는 독립적 인 성을 갖는다. 인과관계에서 원인이 되는 변수이다. 따라서 인과관계의 3가지 조건 을 모두 반영되도록 구성되어야 한다. ② 종속변수 : 다른 변수의 영향을 받는 변수로, 인과관계의 결과에 해당하는 변수이다. 최종적인 결과 혹은 결과적 현상을 의미하므로 연구의 주된 관심이 된다. 역시 인과 관계의 3가지 조건을 모두 반영되도록 구성되어야 한다. ③ 매개변수 : 독립변수와 마찬가지로 종속변수에 영향을 주지만 시간적(순서적)으로 보 아 독립변수와 종속변수 사이에 존재한다. 독립변수에 의하여 영향을 받으면서 종속 변수에 영향을 주게 된다. 매개변수는 독립변수와 종속변수와의 관계를 보다 자세하 게 설명해 주는 기능도 있다. 매개변수 독립변수 종속변수 사회복지통계연구소 http://isws.tistory.com

가설 만들기 ● 가설이란 아직 경험적으로 검증되지 아니한 일종의 예비적 이론으로, 둘 혹은 그 이상의 변인들간의 관계에 대한 추측적 진술을 의미한다. ● 변수간의 관계성에 대한 것이 많기 때문에 상당수 가설들은 인과관계의 성격을 가진다. ● 단순히 상관관계를 구하기 원하는 가설의 경우 인과관계처럼 어려운 충족요건 을 지킬 필요는 없다. ● 가설은 연구문제의 미리 정해둔 해답으로 변수와 변수간의 관계에 대하여 간단 ·명료·뚜렷하게 규정해 놓게 된다. ● if...then...구조를 취하게 되는 경우가 많기 때문에 연역적 연구방법을 적용한 것이라 볼 수 있다. 사회복지통계연구소 http://isws.tistory.com

● 너무 쉬운 가설은 의미가 없는 경우가 많으므로 가설 자체가 가지는 유용도를 주의 깊게 살피고 세워야 한다 ● 너무 쉬운 가설은 의미가 없는 경우가 많으므로 가설 자체가 가지는 유용도를 주의 깊게 살피고 세워야 한다. ● 가설의 한계는, 그것은 이론이 아니며 진리는 더더욱 아니라는 점이다. ● 가설을 규정하는 데 있어 주의할 점 ① 가설의 타당성 ② 인과관계와 상관관계 ③ 타 변수들과의 관계 ④ 측정 ⑤ 검증방법과 가능성 ⑥ 일반화의 가능성 사회복지통계연구소 http://isws.tistory.com

실험설계와 비실험설계 ● 실험설계- 독립변수의 조작과 통제 그리고 비교의 방법을 통하여 서비스의 개입효과를 실 험과정과 같은 유형으로 분석하는 방법이다. ● 비실험설계- 실험설계를 적용할 수 없는 사회현상의 분석이나 설명적 조사에 활용하기 위하 여 개발된 방법이다. 사회복지통계연구소 http://isws.tistory.com

실험설계의 종류 실험조사설계 Experimental Design or A Pretest/Posttest Control-Group Design ° 전통적인 실험실의 설계방식을 그대로 차용한 설계방식. 기본형 ° ‘연구자의 의도성-대상자의 선택 편의’를 줄이기 위하여 난선화(random)로 실 험집단과 통제집단을 구분(확률적 배분) ° 실험집단, 통제집단 모두 사전검사 ° 실험집단에 프로그램 개입 ° 실험집단, 통제집단 모두 사후검사 ° 실험집단과 통제집단의 사전-사후 변화 비교를 통한 가설검증 ° 주요개념 : 조작, 통제, 비교 사회복지통계연구소 http://isws.tistory.com

(2) 준실험조사설계(유사실험조사설계, 의사실험조사설계) Quasi-Experimental Design ① 비동일통제집단비교설계 The Nonequivalent Control Group Design ° 실험설계와 유형과 검증방법이 동일하나 실험집단과 통제집단을 임의로 배치 ° 무작위 배치가 윤리적·현실적으로 어려울 때 적용할 수 있기 때문에 유용성 매 우 높음 ° 실험집단과 통제집단을 최대한 유사하게 배치(사전 검사로 확인) ° 실제로 사회복지분야의 집단설계에서 많이 사용 사회복지통계연구소 http://isws.tistory.com

② 시계열설계 Time Series Design ° 단순 시계열 설계로 개입 이전에 3회 이상의 연속적 관찰로 성향을 파악 ° 단순 시계열 설계로 개입 이전에 3회 이상의 연속적 관찰로 성향을 파악 ° 개입 후 변화된 성향을 분석 ° 즉, 반복관찰을 통한 조작과 변화의 관계를 확인 ° 예기치 않은 사건에 의하여 영향 받을 수 있어 타당성의 문제에 있어 취약 사회복지통계연구소 http://isws.tistory.com

(3) 전실험조사설계(원시실험설계) Pre Experimental Design ° 다소 원시적인 실험설계임 ° 다소 원시적인 실험설계임 ° 실험집단, 통제집단, 사전검증, 사후검증 중 하나 이상 부족하거나 없는 형태로 설계 ① 정적 집단비교(두집단 후비교설계) Static-Group Comparison : 실험집단과 비실험집단이 준실험설계와 비슷하게 설정된다. 사전검사는 없이 사후검사로 만 비교한다. ② 단일집단 전후비교설계 The One-Group Pre-test Post-test Design : 통제 집단이 없이 오직 실험집단으로만 구성한다. 통제집단이 없기 때문에 외적타 당도에 대해 심각한 약점을 갖게 된다. ③ 1회 후검사 사례연구 The One-Shot Case Study : 탐색적 조사에 많이 사용 된다. 비교할 통제집단도 없고, 사전검사도 없으며, 단지 실험집단에 대한 사 후검사만으로 효과성을 검증한다. 내적, 외적타당도 모두 심각하게 취약하다. 사회복지통계연구소 http://isws.tistory.com

Single-Case Evaluation Design (4) 단일사례연구 Single-Case Evaluation Design ° 행동수정을 비롯한 사회복지 임상분야에서 많이 사용되는 효과측정 방법 ° 하나의 사례(한 사례의 소수 문제/소수사례)에 대한 사회복지적 개입을 실시한 후 변화가 발생하는지 그렇지 않은지에 대해 관찰을 통해 기록, 평가하는 방식 ° 통제사례를 만들기 어려울 때 사용→일반화도 어렵다 ° 대상자의 정서적 문제와 같이 측정이 어려운 질적영역에 대한 개입의 경우 관찰 의 객관성 확보에 어려움을 가짐 → 행동수정과 같은 영역이 상대적으로 더 적합 함 ° 개입의 효과성을 증명하기 위하여 시계열 측정방식을 도입함 사회복지통계연구소 http://isws.tistory.com

° 기초선(A) : 사전검사에 해당. 통상 2-5일 관찰. 통상 2인 이상 관찰자. 문제행동 의 빈도관찰 ① AB설계와 ABAB설계 ° 기초선(A) : 사전검사에 해당. 통상 2-5일 관찰. 통상 2인 이상 관찰자. 문제행동 의 빈도관찰 ° 개입(B) : 문제행동 감소를 위한 프로그램 실시. 관찰하여 문제행동의 빈도의 감 소를 봄 ° 2차 기초선(A) : 프로그램을 중단하고 관찰 ° 2차 개입(B) : 프로그램을 재차 실시. 문제행동 감소 관찰 ° 대상자의 문제해결을 증명하기 위하여 개입했다가 그냥 놔뒀다가 다시 개입했다 는 윤리적 문제가 대두될 수 있음 ② ABB'B''설계 - 다중기초선설계 Multiple-Baseline Design ° 기초선(A)과 개입(B)은 한 번씩만 이루어짐 ° 개입의 시기를 각각 달리함 사회복지통계연구소 http://isws.tistory.com

° 솔로몬 4집단 실험설계 Solomon Four Group Design -사전사후검사의 관계성 배제 (5) 기타 실험설계 ° 솔로몬 4집단 실험설계 Solomon Four Group Design -사전사후검사의 관계성 배제 ° 다집단 실험설계 Multiple Group Experimental Design - 효과의 차이 검증 사회복지통계연구소 http://isws.tistory.com

실험설계의 특성비교 ● 기본형인 실험설계를 제외하고는 대상자를 무작위로 배분하지 않기 때문에 외 적 타당도를 높일 가능성은 낮아진다. ● 실험설계는 대상자를 무작위배분을 하기 때문에 약간의 일반화 가능성을 포함 한 외적 타당도가 다른 실험설계에 비교하여 유리하지만, 클라이언트를 대상으 로 하는 소집단 프로그램이기 때문에 동일조건 하에서 반복과 측정이 이루어지 지 않으면 일반화된 외적 타당도를 증명하기란 쉽지 않다. ● 실험집단과 통제집단을 구성하는 실험설계와 준실험설계는 내적 타당도를 어느 정도 높일 수 있다. 사회복지통계연구소 http://isws.tistory.com

프로그램평가에 있어서 실험설계의 적합성 ● 실험설계 평가모형은 인과관계의 조건들을 충족시키기 위하여 고려되어진 것으 로 대표적으로 프로그램 효과성 검증을 들 수 있다. → 효과성 검증? 프로그램으로 인하여 클라이언트의 문제가 해결되어야 한다. → 즉, 어떤 개입이나 의도적 조작에 의해서 나타나는 변화 정도를 추정하는 인과 관계의 검증방식이다. 특히, 집단상담 프로그램의 효과성 검증에 매우 광범위하게 사용된 방식이다. ● 실험설계를 기본으로 하여 정밀성은 떨어지지만 현장 특성에 따라 유사실험설 계, 전실험설계, 단일사례설계 등이 아류적 형태로 사용된다. 다만, 아류적 형태 의 실험설계 모형은 내·외적 타당도에 심각한 오류가 항상 존재하기 때문에 사 용에 유의해야 한다. 사회복지통계연구소 http://isws.tistory.com

● 실험설계는 과학적 정밀성에도 불구하고 여러 가지 단점이 있다. ° 가장 대표적인 것은 윤리적 한계를 가진다는 점이다. ° 가장 대표적인 것은 윤리적 한계를 가진다는 점이다. → 클라이언트: 누구는 개입의 대상이 되고, 누구는 실험의 대상이 된다??? ° 타당도와 그 결과의 실무적 활용성·유용성에 끊임없는 문제제기를 받아왔다. → 클라이언트 변화에 영향을 미치는 요인들을 검증할 수 있는 정보를 얻기가 힘 들다. → 실험을 통한 결과로는 프로그램 효과에 의한 인과관계의 설명력은 높으나 실 용적인 측면에서 크게 유용하지 않을 수 있다. → 대개의 경우 유의미한 변화가 그렇지 않은 변화보다 많이 나타나지 않는다. 이 는 척도의 한계, 프로그램의 문화 및 환경의 차이, 사회복지사의 역량부족 등 여러 원인이 있으나 무엇보다도 p<.05라는 확률적 결과가 산출되지 않음으로 보고서에서 생략되는 경우가 많다. 사회복지통계연구소 http://isws.tistory.com

● 실험설계의 적합성에는 어떤 요소들이 있는가? ① 실험집단과 통제집단의 구성 ° 실험집단 – 사회복지사의 개입 혹은 프로그램 참여 대상이 되는 집단 ° 통제집단 – 실험집단과 비교하기 위한 비교집단. 즉, 개입이나 프로그램 참여가 없다. ° 통제집단이 없다면 클라이언트의 변화가 과연 프로그램으로부터 나왔는지 확 인할 방법이 솔직히 없다고 보아야 한다. 사회복지통계연구소 http://isws.tistory.com

② 실험집단과 통제집단을 나누는 방법은 난선화(random)이다. → 인위적 배치가 이루어진다면 분석결과가 원래의 집단 간 차이에서 온 것일 수 있다. → 위기의 클라이언트에게 개입의 차등을 두는 윤리적 문제에 직면하게 된다. → 실험집단과 비슷한 규모의 통제집단을 구성할 만한 클라이언트를 구하기가 쉽지 않다. → 경우에 따라서는 실무적으로 뒷받침이 어려울 수도 있다. (시간적 여유, 설계방법 모름) → 클라이언트를 상당수 확보했다 하더라도 난선화에는 여전히 어려움이 있다. 사회복지통계연구소 http://isws.tistory.com

° 사전검사는 프로그램의 효과성을 검증하는 기준이 된다. ③ (준실험설계의 경우) 실험집단과 통제집단이 동일한 집단임을 사전검사를 통해 검증해야 한다. 그 외 모형들은 통제집단이 없거나 사전검사가 없어 타당도나 신 뢰도에 문제는 있으나 실용적인 측면에서 활용된다. ④ 사전사후 검증의 필요성 ° 사전검사는 프로그램의 효과성을 검증하는 기준이 된다. ° 사전사후검사에서 가장 어려운 것은 적절하고 타당한 척도를 구성하는 것이다. ⑤ 개입과 프로그램의 효과 ° 프로그램 즉, 개입은 클라이언트의 문제와 직접적인 연관이 있어야 하며, 문제 해결에 기여를 하는 내용으로 구성되어야 한다. ° 사회복지사, 집단, 상호작용에 대한 특수성을 고려해야 한다. 사회복지통계연구소 http://isws.tistory.com

° 프로그램의 목적과 목표 그리고 내용에 부합하는 척도를 사용해야 한다. ⑥ 척도를 이용한 효과성 평가 ° 개입과 평가척도의 불일치가 일어나기 쉽다. ° 프로그램의 목적과 목표 그리고 내용에 부합하는 척도를 사용해야 한다. ⑦ 질적평가와의 병행 사회복지통계연구소 http://isws.tistory.com

내·외적 타당도의 문제 ● 내적타당도 : 개념적, 이론적으로 전개된 논리적 인과관계가 과연 타당한가? ● 즉, 변화가 일어났다면 과연 종속변화의 변화가 독립변수에 의한 것인지, 다른 조건에 의한 것인지를 판단하는 것이다. → 통제집단 구성으로 문제해결을 한다. ● 내적타당도를 위협하는 8요인(쿡과 킴벨: 1979 루빈과 바비, 2004) ① 우연한 사건 : 통제되지 않는 우연한 사건발생으로 결과에 영향을 줄 수 있다. ② 성숙 또는 시간의 경과 : 시간의 흐름과 성숙은 언제든지 발생할 수 있다. ③ 검사 : 프로그램 없이 검사만으로도 변화가 있을 수 있다. 사회복지통계연구소 http://isws.tistory.com

④ 도구화 : 연구자가 바뀌거나 서로 다른 측정도구가 사용되었을 경우 발생할 수 있는 문제이다. ⑤ 통계적 회귀 : 초기 극단값을 가지고 있던 실험대상자는 실험과 상관없이 시간 이 지나면 변화될 수 있으며, 이를 효과로 착각하게 된다. ⑥ 선택편견 : 통제집단을 잘못 선택하거나 의도적으로 선택하면 실험결과가 왜곡 될 수 있다. ⑦ 실험대상의 탈락 : 실험 중 거부, 이상, 사망 등으로 실험에서 제외되는 경우가 발생한다. 남은 자들은 대개 실험에 관심있는 자들이다. ⑧ 확산 또는 모방 : 통제집단이 실험집단의 긍정적 변화를 보고 따라 하는 경우가 있다. 사회복지통계연구소 http://isws.tistory.com

● 외적타당도 : 일반화가 가능한가에 대한 문제 ● 일을 해결하기 위해 난선화(random)를 한다. 그러나 이 경우 역시 집단 안에서 의 일반화일 뿐이다. 따라서 실험설계와 같은 실험이 계속해서 반복되어 실험이 효과가 있다는 것을 증명되지 않으면 실험설계의 일반화 즉, 외적타당도는 확인 하기 어렵다. ● 외적타당도와 관련된 문제들 ① 표본의 문제 : 대표성 있는 표본이 이루어졌는가? → 난선화 ② 측정도구의 문제 : 모든 상황에 동일하게 측정할 수 있는 측정도구가 만들어져 야 한다. ③ 조작과정의 문제 : 실험실의 환경이 동일하게 유지될 수 있는가? 사회복지통계연구소 http://isws.tistory.com

- 수고하셨습니다 - 사회복지통계연구소 http://isws.tistory.com