제 6 장 신뢰성과 타당성
오 차 사회과학에서 사용되는 변수의 속성을 측정하는 도구는 완벽하기가 어렵다. 따라서 측정상의 오차가 거의 모든 경우에 발생한다. 오차의 원천 - 측정시점에 따라 측정대상자의 상태가 변화 - 측정이 이루어지는 환경적 요인의 변화에 영향 받음 - 측정방법 자체가 가지고 있는 문제 - 측정도구와 측정대상자들의 상호작용 - 측정자와 측정대상자간의 상호작용 사회과학조사방법론의 이해
오 차 체계적 오차 비체계적 오차 - 오차가 항상 일정한 방향으로 발생 - 측정결과가 모두 높거나, 모두 낮아지는 경향 - 항상 일정한 방향으로 작용하는 오차의 편향 비체계적 오차 - 측정대상, 측정과정, 측정수단, 측정자 등에 일관성없이 영향을 미침 - 인위적이지 않고, 체계적이지도 않다(무작위적임) - 오차의 값이 다양하게 분산되어 있음 - 상호상쇄 경향이 있다. 상호상쇄 : 임의적으로 측정치가 높은 사람이 있을때, 측정치가 낮은 사람의 측정치로 상쇄됨. 사회과학조사방법론의 이해
오차와 신뢰성, 타당성의 관계 타당성은 체계적 오차와 관련 신뢰성은 비체계적 오차와 관련 신뢰성과 타당성은 존재개념이 아니라 정도의 개념(matter of degree) 신뢰성과 타당성의 관계 신뢰도가 높다고 반드시 타당성이 높은 것은 아니다. 신뢰성이 없으면 타당성을 말할 수 없다. 신뢰성은 타당성을 위한 필요조건이지 충분조건이 아니다. 사회과학조사방법론의 이해
오차와 신뢰성, 타당성의 관계 사회과학조사방법론의 이해
신뢰성 안정성, 일관성, 예측가능성, 정확성, 의존가능성 등 비교 가능한 독립된 측정방법에 의해 대상을 측정하는 경우 결과가 비슷하게 되는 것 신뢰도 정의 동일한 대상에 대하여 같거나 비교 가능한 측정도구를 사용하여 반복측정할 경우 동일하거나 비슷한 결과를 얻을 수 있음 측정도구가 측정하려고 하는 속성을 얼마나 진실에 가깝도록 측정했느냐? 측정에 있어 측정오차가 얼마나 존재하는지를 파악 신뢰성의 문제는 비체계적 오차에 의해 발생 사회과학조사방법론의 이해
신뢰성 검증 V(t) V(e) V(t)-V(e) R(T)= R(T)= 1- = V(e) V(t) V(t) 재검사법(test-retest method) 동일한 상황에서 동일한 측정도구로 동일한 대상을 시간을 달리하여 두번 측정하여 그 결과를 비교-상관계수-신뢰성의 정도 측정 문제점 동일한 측정도구를 두번 적용함으로써 앞의 측정이 두번째 측정에 영향 – 시간간격의 문제 – 보통 2주내지 4주가 적당 외생변수의 영향 파악 곤란 – 적용시간사이에 조사대상자의 속성변화 측정도구 자체를 직접비교, 적용 간편 사회과학조사방법론의 이해
복수양식법(parallel-forms technique) 신뢰성 검증 복수양식법(parallel-forms technique) 최대한 비슷한 두 가지 형태의 측정도구를 동일한 표본에 차례로 적용하여 신뢰도 측정 문제점 두 개의 동등한 측정도구 개발 난이 반분법(split-half method) 측정도구를 임의로 반으로 나누어 각각 독립된 두개의 척도로 사용함으로써 신뢰도 측정 반분법 이용의 전제조건 측정도구가 같은 개념을 측정 양분된 각 측정도구의 항목수는 그 자체가 완전한 척도를 이룰 수 있도록 충분히 많아야 – 반분된 항목수가 8-10개 이상 사회과학조사방법론의 이해
신뢰성 검증 내적일관성(internal consitency reliability) 동일한 개념을 측정하기 위해 여러 개의 항목을 이용하는 경우 신뢰도를 저해하는 항목을 찾아내어 측정도구에서 제외시킴으로써 신뢰도 제고 Cronbach’s (alpha) 사회과학조사방법론의 이해
신뢰성을 높이는 방법 비체계적 오차를 줄이는 방법 측정도구, 측정대상, 측정상황 등 개발 측정도구의 모호성 제거 측정항목수 증가 면접방식과 태도에 일관성 조사대상자가 잘 모르는 경우 측정하지 않는 것이 좋다. 동일한 질문이나 유사한 질문 2회 이상 신뢰성이 있다고 인정된 측정도구 사용 사회과학조사방법론의 이해
타당성 내적 타당성과 외적타당성 측정타당성 집중타당성 판별타당성 측정도구자체가 측정하고자 하는 개념이나 속성을 얼마나 정확히 반영하였느냐 개념적 정의 – 조작적 정의 여러 개의 조작적 정의를 이용하여 측정하고 측정값간의 상관관계를 조사 측정의 타당성을 평가 집중타당성 동일한 개념을 측정하기 위해 최대한 상이한 두가지 측정방식을 개발 – 측정방식 간의 상관관계가 있어야 함 판별타당성 서로 다른 개념을 측정했을 때 얻어진 값들은 상관관계가 낮아야 한다 사회과학조사방법론의 이해