사회복지조사론 Research Method for Social Welfare 이 수 천 (서울기독대학교 M.A., Ph.D.) 사회복지통계연구소 http://isws.tistory.com

5강 측정의 도구 설문지 작성의 준비 척도의 구성 신뢰도와 타당도 사회복지통계연구소 http://isws.tistory.com

설문지 작성의 준비 설문지 작성 전 확인 사항 ● 조사에 투입할 인적, 물적, 시간적 자원이 충분하게 준비되었는가? 조사계획과 예산이 적절하게 세워졌는지 확인하고, 조사의 목적, 목표에 적합하 도록 설문구성이 이루어졌는지 확인해야 한다. ● 조사와 관련된 정보와 지원체계가 얼마나 형성되었는가? 조사와 관련된 정보나 자료, 기존의 유사한 연구자료, 전문가 집단의 자문과 지 원, 지역사회조사 시 지역사회에 관한 정보의 파악 등이 얼마나 이루어졌는지 검토해야 한다. 사회복지통계연구소 http://isws.tistory.com

● 조사대상이 누구인가? 조사대상이 적합한 방법으로 선정되었는지 그리고 그들이 어떤 특성을 가지고 있는 지 정확하게 파악하고 있어야 한다. 설문의 표현은 조사대상에 따라 달라진다. (예, 노인이나 아동) ● 무엇을 조사할 것인지? 무엇을 조사할 것인지에 대해서 영역이 확실하게 정해지지 않을 경우 다른 설문지의 문항들을 끌어와 사용하게 된다. 이럴 경우 정말 얻고자 하는 정보를 얻을 수 없게 된다. 연구의 목표와 목적이 무엇인지 분명하게 알고 그것을 물어보아야 한다. ● 조사내용에서 경험적 상상력, 실무적 요구가 얼마나 포함되어 있는가? 설문결과가 정말 유용한 정보를 포함하고 있는지 고민해야 한다. 설문조사의 내용이 형식적으로 이루어진다면 그 결과도 별 의미가 없을 확률이 높다. 굳이 예산과 인력 이 낭비되지 않도록 다시 한 번 확인해야 한다. 사회복지통계연구소 http://isws.tistory.com

° 응답내용은 포괄성, 배타성, 단일개념의 3가지 기준을 따라야 한다. 설문지 작성의 과정 ● 내용과 측정범위의 결정 ° 조사설계 방법에 기초하여 개념화와 조작적 정의가 이루어졌으면, 어떤 내용을 질문할 것인가? 어느 범위까지 구체화해 측정할 것인가?를 결정해야 한다. ° 응답내용은 포괄성, 배타성, 단일개념의 3가지 기준을 따라야 한다. ● 척도의 결정 ° 척도는 실제로 측정하는 수준이다. ° 질적척도(명목척도, 서열척도), 양적척도(등간척도, 비율척도)로 구성하는데, 측정하고자 하는 내용과 응답자의 반응의 수준 등에 가장 신뢰할만하고 타당 한 정보를 얻을 수 있도록 결정해야 한다. ° 리커트 척도나 거트만 척도 등 다양한 양식이 가능하다. 사회복지통계연구소 http://isws.tistory.com

° 설문지를 인쇄할 수 있는 수준으로 질문까지 구체적으로 만드는 것이다. ● 질문화 ° 설문지를 인쇄할 수 있는 수준으로 질문까지 구체적으로 만드는 것이다. ° 어떤 단어나 문장 표현양식을 사용하는지에 따라 의미전달이 달라지므로 주의해야 한다. ° 질문화가 끝나면 적절한 편집으로 마무리한다. ● 내용의 조정과 보완 ° 전체적인 흐름이 매끄럽도록 설문들을 배치해야 하며, 문맥에 맞도록 설문의 문구를 재수정해야 한다. 의외로 국어가 어렵다. ● 전문가 자문과 사전조사 그리고 설문완성 ° 본 조사를 실시하기에 앞서 전문가에 설문의 내용이나 흐름에 대한 조언을 얻는다. ° 사전조사를 통해서 설문지의 문제점을 경험적으로 수정할 수 있다. 본 조사에 서 오류를 줄일 수 있는 마지막 작업이다. 사회복지통계연구소 http://isws.tistory.com

● 연구주제나 가설을 설정하여 독립변수, 종속변수, 매개변수, 통제변수 등을 토 대로 설문지를 구성할 수 있으며, 측정범위의 결정 ● 연구주제나 가설을 설정하여 독립변수, 종속변수, 매개변수, 통제변수 등을 토 대로 설문지를 구성할 수 있으며, 또한 이론이나 마인드맵을 이용하여 설문지를 구성한 후 각각 하위 개념들을 질문으로 만드는 작업을 한다. ● 이때 동일한 변수라도 하나의 질문으로 구성할 수도 있고, 반대로 수십 개의 질문으로 구성할 수도 있다. ● 이는 개념화와 조작적 정의의 영역을 어느 수준까지 하느냐의 문제이기도 한데, 연구자나 연구의도에 따라 측정범위의 조절을 선택해야 한다. 사회복지통계연구소 http://isws.tistory.com

● 직장만족도 설계를 통한 측정범위의 예 사회복지통계연구소 http://isws.tistory.com

° 상위레벨에서 하위레벨로 구체화 될 때 개념이 동일한가를 고려해야 한다(개념 의 일관성) ° 질문하는 내용이 직장만족도를 묻는 것이어야 한다(개념구성의 타당성) ° 하위레벨로 내려갈수록 구체적이고 정확한 정보를 얻을 수 있으므로 오차를 줄 일 수 있다. 따라서 가설검증이나 이론개발을 위한 정밀조사에 유리하다. 반면 무성의한 응답의 가능성이 높으며, 시간이 많이 걸리고, 다양한 탐색적 조사가 어려워진다. ° 상위레벨로 할 경우, 막연하고 추상적인 정보를 얻지만 전체적인 흐름이나 내 용을 탐색하는 데는 유리하다. 사회복지통계연구소 http://isws.tistory.com

척도의 구성 측정과 척도의 이해 ● 사회과학 연구의 대상이 되는 개념이나 구성체는 추상적인 특성을 가진 경우가 많다. 따라서 조작적 정의의 과정을 거쳐 측정이 가능한 수준으로 만들게 된다. ● 측정은 연구하고자 하는 개념이나 구성체를 일정한 규칙에 따라 값을 부여하는 것이다. ● 척도는 측정의 수준 또는 측정의 방법을 표준화하여 구체화한 값들로 표현하는 것이다. ● 지표는 하나의 개념을 측정한 값이다. 성별, 연령과 같이 단일지표로 측정될 수 도, 이용자 만족도의 경우와 같이 클라이언트참여, 기관 및 시설환경, 프로그램 담당자 등 여러 지표로 측정될 수도 있다. ● 지수는 몇 개의 상위의 공통개념을 측정하는 지표가 모여 이루는 것이다. 통상 척도와 동일개념으로 사용. 사회복지통계연구소 http://isws.tistory.com

여러 척도의 이해 ● 평점척도 : 측정값에 점수를 부여할 수 있도록 3-10점 사이의 값 중 하나 선택 . 여러 척도의 이해 ● 평점척도 : 측정값에 점수를 부여할 수 있도록 3-10점 사이의 값 중 하나 선택. 각 점수값이 연속선상에 있도록 배열. ● 평점척도는 하나로도 사용되지만, 여러 개의 하위개념을 묶어 상위개념을 측정 하는데 사용하기도 한다(총화평점척도). 다수의 하위문항을 점수화함으로 측정 의 계량화가 용이하며, 이로 인하여 신뢰도가 증가하며, 여러 개의 하위문항들 도 세분화하여 타당도를 높이는데도 유리하다. ● 리커트척도 : 5나 7개로 구성된 측정값을 중간을 기준으로 좌우 균형이 맞도록 배치한 척도. 하나의 개념을 측정하기 위하여 다수 하위변수를 구성하게 되므 로 신뢰도의 내적일관성이 중요함(Cronbach's Alpha 계수). 사회복지통계연구소 http://isws.tistory.com

● 거트만척도 : 측정의 개념이나 의미가 점차 누적되어 증가함으로써 높은 개념은 낮은 개념의 의미를 포함함. ● 의미차이척도 : 하나의 개념을 두 개의 극단치로 구분하여 의미를 분화시킨 척 도. 서로 상반되는 두 개념을 이용함으로 성향이나 기호 분석에 유리함. 어떤 의견차이를 집중적으로 보고할 때 편리함. ● 거트만척도 : 측정의 개념이나 의미가 점차 누적되어 증가함으로써 높은 개념은 낮은 개념의 의미를 포함함. ● 사회적 거리 척도 : 거트만척도의 개념을 사람들 사이에 적용. ● 고정종합척도 : 척도의 합이 이미 정해져 있어 그 한도 내에서 척도의 값들을 표시하는 척도. 각 영역간의 우선순위를 알 수 있으며, 상대적 비교가 용이함. 사회복지통계연구소 http://isws.tistory.com

측정수준에 따른 척도 변수의 측정수준이 어느 정도냐에 따라 설문지 내용과 통계방법, 획득할 수 있 는 정보의 양과 깊이가 차이가 난다. 척도의 구분 평균 척도의 종류 통계 질적척도 × 명목척도 서열척도 비모수통계 양적양적 ○ 등간척도 비율척도 모수통계 사회복지통계연구소 http://isws.tistory.com

(1) 명목척도 (nominal scale, 분류의 기능) 변수가 가지는 질적, 추상적 속성을 배타적으로 분류 또는 구분하기 위하여 사용 숫자나 기호를 부여하나 계량(수량)적 의미는 없다. 성별, 종교, 지역 등 [분석] 빈도와 백분율, 최빈값, 교차분석 (2) 서열척도 (ordinal scale, 분류와 순서의 구분) 명목척도와 같이 분류의 기능에 속성의 크기, 순서, 높낮이 등 서열 개념을 부 여한다. 척도의 계량적 의미는 없다. 학력, 자동차, 평균 월수입 등 [분석] 빈도와 백분율, 최빈값, 교차분석, 서열상관관계 사회복지통계연구소 http://isws.tistory.com

(3) 등간척도 (interval scale, 분류, 순위와 등간격) 서열화된 성격을 갖고 있으며, 여기에 더하여 변수값의 간격이 모두 동일하다. 간격이 모두 동일하기 때문에 수량의 의미를 갖게 된다. 수치 비교가 가능하기 때문에 어떤 지표나 달성해야 할 목표를 계량화하는데 유리하다. 절대기준이 없어 비교의 한계가 있으며, 수량적 정밀성이 떨어진다. IQ, 시험점수, 온도 등 [분석] 평균, 표준편차, 평균비교, 상관관계, 회귀분석 (4) 비율척도 (ratio scale, 분류, 순위, 등간격과 절대영점) 절대기준점인 ‘0’이 있다. 0은 그 값이 존재하지 않는다를 의미한다. 즉, 모든 값의 시작점이다. 시작점이 동일하다는 것은 측정의 정확성과 객관성을 증가시켜준다. 키, 몸무게, 거주기간, 근무기간 등 [분석] 등간척도와 동일 사회복지통계연구소 http://isws.tistory.com

명목척도와 서열척도는 질적인 영역을 측정하는 척도이다. 등간척도는 질적인 영역을 측정하는 경우가 많지만 질적, 추상적 영역을 계량화 하므로 양적 척도이다. 비율척도는 전형적인 양적 척도이다. 그런데 이런 구분은 종종 그대로 적용되지 않는다. 서열척도의 경우 다수의 척도들을 합산한 후 점수화하여 등간척도처럼 사용 하는 경우가 종종있다. 또한 5점 척도나 4점 척도를 등간척도로 가정하고 평균을 구하기도 한다. 사회복지통계연구소 http://isws.tistory.com

타당도와 신뢰도 측정오류 추상적인 것을 개념화하여 측정하기 때문에 측정값은 실제의 추상적 개념에서 오차가 발생한다. 즉, 실제의 참값은 측정값과 측정오류의 합이라고 할 수 있다. 그러므로 참값을 정확하게 측정하기 위해서는 측정오류를 최소화하여야 한다. 체계적 오류 : 타당도의 문제이다. 측정도구를 만드는 과정에서 발생하는 문제 들이 많다. 즉, 측정하고자 하는 개념과 다른 개념을 측정할 때 나타나는 오류 이다. 설문문항이 잘못 구성되거나 측정되는 과정에 바뀌는 경우에 의하여 발 생한다. 확률적 오류 : 신뢰도의 문제이다. 대체로 측정과정에서 발생하는 오류이다. 응 답자가 부정확하게 응답하거나 기분에 따라 응답하는 등 발생한다. 사회복지통계연구소 http://isws.tistory.com

측정하고자 하는 개념(concept)이나 구성체(construct)가 실제로 측정되었 는지 타당도 측정하고자 하는 개념(concept)이나 구성체(construct)가 실제로 측정되었 는지 또 이 측정이 얼마나 정확하게 이루어졌는지의 문제이다. 즉, 알아내고자 하는 것을 제대로 알아냈는가의 문제이다. 개념화나 조작적 정의가 일관되고 정확하게 구체화되지 않으면 엉뚱한 조 사가 된다. 내용타당도, 구성타당도, 기준타당도 등 여러 가지가 있다. 사회복지통계연구소 http://isws.tistory.com

(1) 내용타당도 content validity 새로 만들고자 하는 측정도구가 측정하고자 하는 개념이나 구성체를 제대로 측정할 수 있도록 구성되었는가에 대한 것이다. 즉, 개념화와 조작적 정의의 중요성이 다른 타당도보다 더 높은 것이라 할 수 있다. 질적척도에서는 배타성, 포괄성, 단일개념성이 중요한 판단기준이 되고, 양적척도에서는 개념을 잘 표현할 수 있는 대표성 있는 측정항목으로 구성되 었는가가 판단기준이 된다. 전문가의 의견과 사전조사 그리고 주관적으로 판단한다. 그래서 어떤 면에서 다른 타당도보다 손쉽게 확인할 수 있다. 표면타당도(안면 타당도 face validity) 또는 논리적 타당도(logical validity)라 고도 한다. 사회복지통계연구소 http://isws.tistory.com

(2) 기준관련 타당도 criterion-related validity 기준관련 타당도(준거 타당도)는 이미 타당도가 있다고 인정된 측정도구에 의 하여 나타난 결과와 새로 만들어진 측정도구에 의하여 나타난 결과의 상관관 계에 따라 타당도를 판단하는 방법이다. 새로운 약식의 측정도구를 개발할 때 많이 사용된다. 예측 타당도와 동시 타당도가 있다. 전제조건: 첫째, 기준이 타당해야 한다. 둘째, 자신이 만들고자 하는 측정도구의 기준이 되는 측정도구를 얼마나 용이 하게 확보할 수 있는가의 문제이다. 사회복지통계연구소 http://isws.tistory.com

요인분석을 통하여 확인하며, 판별 타당도와 집중 타당도가 중요 기준이 된다 (4) 내적 타당도와 외적 타당도 (3) 구성(개념) 타당도 구성(개념) 타당도는 새로 개발된 측정도구가 이미 체계화되고 발전되어진 이 론적 개념의 관점에서 판단하여 적합하게 구성되어 있는지를 파악하는 것이다. 요인분석을 통하여 확인하며, 판별 타당도와 집중 타당도가 중요 기준이 된다 (4) 내적 타당도와 외적 타당도 내적 타당도는 종속변수의 변화가 독립변수에 의한 것인지를 의미한다. 외적 타당도는 대표성 있는 표본을 표집함으로 일반화가 가능한가에 대한 문 제이다. 타당도 높이기 : 개념화와 조작적 정의가 타당하게 이루어져야 한다. 조사설계 논리적 근거를 가져야 한다. 척도의 적용과 질문이 정확하고 충실하게 다루어져야 한다. 사회복지통계연구소 http://isws.tistory.com

즉, 반복 측정해도 같은 결과가 나오는가에 대한 문제이다. 신뢰도를 분석하는 3 경우 응답된 결과들을 정말 신뢰할 수 있는가, 즉, 반복 측정해도 같은 결과가 나오는가에 대한 문제이다. 신뢰도를 분석하는 3 경우 ① 측정하고자 하는 개념이 주사대상자로부터 정확하고 일관되게 측정되었 는가 확인 ② 설문에 응답하는 사람이 정확하고 일관되게 응하였는가 확인 ③ 그 외에 정확성, 정밀성, 일치성 등을 확인 주로 양적연구에 적용되는 개념이다. 질적연구는 반복 측정 자체가 어렵다. 질적연구에서는 신뢰도를 높이는 방안이 더욱 중요한데, 삼각화, 녹음· 녹화 등으로 재확인, 연구자의 전문적 연구수행 능력 등이 신뢰도를 높 이는 방법이다. 사회복지통계연구소 http://isws.tistory.com

최대한 비슷한 두 개의 측정도구를 사용하여 동일한 대상으로 측정하 여 상관관계를 비교하는 방식이다. 신뢰도 측정방법 ① 재검사 기억효과 / 외생변수에 의한 영향력 ② 반분법 충분한 질문 수가 있어야 가능하며, 내적일관성이 있어야 한다. ③ 복수양식법 최대한 비슷한 두 개의 측정도구를 사용하여 동일한 대상으로 측정하 여 상관관계를 비교하는 방식이다. 평행양식법이라고도 한다. ④ Cronbach's Alpha 계수를 활용한 방법 사회복지통계연구소 http://isws.tistory.com

측정도구의 모호성을 줄이고 구체화하여야 한다. 동일한 개념을 나타내는 측정항목을 늘려야 한다. 신뢰도 높이는 방법 측정도구의 모호성을 줄이고 구체화하여야 한다. 동일한 개념을 나타내는 측정항목을 늘려야 한다. 응답자의 수준에 맞는 내용으로 측정해야 한다. 측정항목(하위변수) 구성 시 동일한 개념을 유지해야 한다. 기존에 신뢰도가 있다고 인정된 척도 활용이 유리하다. 낮은 신뢰도 항목을 제거한다. 역점수를 확인한다. 불성실한 응답은 미리 제거한다. 반복측정 시 기억효과를 유의한다. 조사도구나 조사환경에 유념한다. 사회복지통계연구소 http://isws.tistory.com

- 수고하셨습니다 - 사회복지통계연구소 http://isws.tistory.com