측정(3) 측정의 타당도와 신뢰도 - 측정의 오류 - 측정의 타당도 - 측정의 신뢰도 - 타당도와 신뢰도의 관계.

Presentation on theme: "측정(3) 측정의 타당도와 신뢰도 - 측정의 오류 - 측정의 타당도 - 측정의 신뢰도 - 타당도와 신뢰도의 관계."— Presentation transcript:

1 측정(3) 측정의 타당도와 신뢰도 - 측정의 오류 - 측정의 타당도 - 측정의 신뢰도 - 타당도와 신뢰도의 관계

2 측정의 오류 1) 체계적 오류 (systematic error)
변수에 일정하게 영향을 주어 측정결과가 모두 높아지거나 낮아지게 되는 편향적 경향을 보이는 어떤 유형화된 오류 자료의 수집방법이나 수집과정에 개입되는 오류 - 우연한 실수 등으로 측정이 잘못되는 것이 아니라 잘못된 측정방법을 채택함으로써 지속적이고 체계적인 오류가 발생 -> 측정하려는 개념이 아닌 다른 개념이 지속적으로 측정되는 결과 초래 발생이 체계적이기 때문에 오류의 근원을 파악함으로써 제거할 수도 있음 체계적 오류의 유형 ① 고정반응(response set) - 일정한 유형의 응답이 연속적으로 부과될 때 나타남 - 예) 우울증 측정하는 척도에서 일정한 유형의 설문항목이 계속될 때 응답자는 극단적인 값을 피하고 중도 값(예: ‘그저그렇다’)를 택하는 경향 있음. 또는 앞의 설문 항목에서 응답한 값(예: ‘그렇다’)을 후속 항목에도 계속 동일하게 응답하는 경우

3 ② 사회적 적절성 편견(social desirability bias)
- 질문자의 의도에 맞추거나 그 사회의 가치기준에 부합한 것을 택하려는 경향 - 예: 더불어 살아가는 사회를 만들기 위해 모두가 조금씩 양보를 필요로 하고 있습니다. 사회복지 재원확보를 위해 주민세를 0.5% 인상하는데 어떻게 생각하십니까? ③ 문화적 차이 편견(cultural gap bias) - 측정의 과정에서 문화적 차이나 인구사회학적 차이가 개입하여 발생하는 오류 - 예: 다민족 사회인 미국사회에서 주류 백인들을 위해 개발한 측정도구를 소수민족(예: 아시아계, 남미계 등)에 적용 2) 무작위 오류(random error), 비체계적 오류 일정한 유형을 갖지 않는 오류들이 비체계적인 양상으로 나타나는 것 - 체계적 오류와 같이 일정한 패턴이 없이 일관적이지 않은 무작위적 오류가 존재하는 경우 예: 측정시의 기압, 날씨 등의 환경이나, 응답자들의 개인 컨디션, 측정 시 사용된 용어나 뉘앙스 등에 의해 발생 무작위 오류는 통제하기가 쉽지 않으나 오랫동안 유사한 측정을 계속해 나가면 무작위적인 것으로 보이던 다양한 환경적 요소들이 체계적인 요소로 확인될 수도 있으므로 무작위적 오류의 범위가 줄어들게 되어 측정의 정확성이 높아질 수 있음. 3) 측정오류의 확인 타당도(validity)와 신뢰도(Reliability)

4 측정의 타당도(Validity) 타당도(validity)
- 측정하려고 했던 것을 측정했는지를 나타내는 것. 측정하고자 하는 개념의 실질적 의미를 충분히 반영하는가의 정도 - 측정의 정확성을 반영하는 개념 - 측정하려고 의도했던 개념을 측정했는지 아니면 다른 것을 결과적으로 측정하게 되었는지를 판단하는 것(만약, 결과적으로 다른 요소를 측정했다면 체계적 오류가 많다는 것) 타당도 확인 방법 1) 내용 타당도(content validity) 해당개념을 측정하는 올바른 질문이나 관찰항목들이 측정도구에 포함되어 있는지를 검토하는 것 예: 아동학대 조사 시 신체적, 언어적, 정서적 학대를 조사하는 내용들이 포함되지 않고 일부 한정된 내용만 포함될 경우 내용타당도가 높지 못함 내용타당도를 측정하기 위해 연구자의 직관이나 해당분야 전문가의 견해를 통해 판단하는 경우가 많음 - 측정도구에 포함된 설문 문항들이나 관찰 항목들에 대해서 주관적 혹은 상호 주관적 판단에 기초하여 적합성 여부를 결정 -> 주관적 판단에 의존하므로 편견이나 오류의 가능성 배제가 어려움 내용타당도는 측정도구의 타당도를 검증하는 방법으로 가장 객관적 검증이 떨어 지는 방법이나 가장 기본적인 방법으로 널리 이용

5 2) 기준타당도 경험적 근거를 통해 타당도를 확인하는 방법 활용하는 경험적 근거는 대부분 유사한 개념에 대한 측정에서 찾음 현재 개발된 측정도구에 의해 산출된 측정 결과들이 비교 기준이 되는 다른 측정 결과들과 높은 연관성을 갖게 될 때 기준 타당도는 높아짐 (1) 동시 타당도 (concurrent validity) 이미 타당도가 검증된 다른 측정도구와 비교하는 방법 - 예: IQ테스트에 관한 질문지를 만드는 경우 새로운 질문지를 통한 IQ점수와 기존의 질문지에 의한 IQ점수와 상관관계를 통해 척도의 타당도를 구함. 새로운 질문지에서 높은 점수를 얻은 학생이 기존의 시험에서도 높은 높은 점수를 얻으면 타당도가 높다고 봄 (2) 예측 타당도(predictive validity) 해당척도와 논리적으로 관련되어 있는 미래의 사건이 외부의 기준으로 사용되는 방법  - 예) 대학입학시험의 타당도를 평가하는 기준은 대학에서의 학업성적 또는 학업성취. 대학입학시험에서 높은 점수를 받은 학생이 대학에서 학업성적이 높을 때 대학입학시험은 타당도가 높다고 봄

6 3) 구성(개념) 타당도(construct validity)
측정 대상 개념이 관련을 맺고 있는 개념들이나 가정들을 토대로, 이론적 틀 속에서 측정도구의 타당성을 경험적으로 검증하는 방법 - 내용타당도와 기준타당도에 비해 상대적으로 이론적, 논리적 측면에 비중을 두고 가능한 범위 내에서 경험적 자료를 통해 도구의 타당성 검증하는 기법 내용타당도의 확인에다 그것을 경험적으로 확인하는 방법을 추가한 것 - 구성타당도는 이론적으로 기대되었던 그러한 내적구조가 경험적으로 확인될 수 있는지를 검사를 통해 검증해 보는 것 - 예: 빈곤 측정 도구의 구성타당도 확인: 먼저, ‘학력이 낮을수록 빈곤의 개연성이 크다’는 이론적 틀 구성 -> 만약, 학력이 낮은 사람일 수록 빈곤층에 속할 개연성이 크게 나타나면 타당도 높으나, 결과가 반대로 나타났다면 측정도구의 구성타당도 의심 가장 높은 수준의 타당도 검증방법 현실적으로 구성타당도를 확인하는 것이 간단하지 않음. 통계학적으로 요인분석 등의 방법 활용

7 측정의 신뢰도(Reliability) 1) 신뢰도의 개념 측정도구가 측정하고자 하는 현상을 일관되게 측정하는 능력을 말함
1) 신뢰도의 개념 측정도구가 측정하고자 하는 현상을 일관되게 측정하는 능력을 말함 -> 측정의 일관성을 의미 측정에 있어 신뢰도가 높다는 것은 동일한 대상에 대한 측정 결과들이 일관성 있게 지속적으로 나타난다는 뜻 예: 저울의 신뢰도가 높으면 동일한 사람 측정 시마다 동일한 무게 산출 (만약, 몸무게 측정했는데, 각각 몸무게가 틀리게 나오면 신뢰도 없음) 신뢰도는 측정의 환경이나 과정 상의 미묘한 차이에서 발생하는 무작위적 오류들과 관련되어 있음 -> 신뢰도가 높을 수록 측정도구에서 무작위적 오류들이 적게 나타난다는 것과 같음 신뢰도는 일관성의 정도만 나타내는 것이지 정확도를 보증하는 것은 아님. 만약 체중계가 항상 몸무게를 10kg 적게 측정한다면 이는 왜곡된 체중계로 인해 체계적인 오류가 발생(타당도의 문제)

8 2) 신뢰도 측정기법(확인방법) (1) 상호관찰자(interobserver reliabiltiy) 기법 관찰에 사용되는 측정도구들의 신뢰도 계산에 많이 사용 두명 이상의 관찰자들이 관찰도구로 관찰한 다음 개별적으로 측정된 관찰값들이 얼마나 일관성(상관관계)이 있는지를 알아봄 관찰자들 간에 측정값의 편차가 작을 수록 측정도구는 신뢰도가 높아짐 (2) 검사-재검사 기법(test-retest) 기법 동일한 측정 대상자들에게 같은 측정도구를 사용하여 측정을 두 번 실시하고, 그에 따른 두 번의 점수들에 대한 상관관계 계산  한계 ① 두 번의 동일한 대상에게 반복 실시하는 문제 - 첫번째 검사에서의 질문을 기억하고 있다면 두번째 검사에서는 이를 자동적으로 반복하여 대답하는 결과 초래 -> 측정된 신뢰도는 실제의 신뢰도보다 훨씬 높게 추정될 가능성이 있음. ② 인간의 속성들은 고정적이지 않으며 계속적으로 유동하는 상태에 있음. 두 번의 테스트를 하는 시간간격을 통해 응답자의 성향이 변화될 수 있음 -> 측정된 신 뢰도가 실제보다 낮게 나타날 수 있음

9 (3) 유사-양식(parallel-forms) 기법
두 가지 유사한 양식의 설문지를 사용하여 신뢰도를 측정하는 방법 동일시험을 두번 시행하여 발생하는 학습 효과 방지: 검사-재검사기법의 한계들을 극복하는데 유용할 수 있음. 문제: 서로 다른 두 양식이 얼마만큼 유사한 것인지를 미리 확인하기 어려움 (4) 반분법/이분절 (spilt-half) 기법 측정도구의 내적 일관성을 확인하기 위한 것 - 내적 일관성 방법: 한 측정도구의 문항들 내에서 일관성이 유지되는 정도를 통해 신뢰도의 크기를 결정하는 것 하나의 측정도구에 포함된 전체 문항들을 무작위적으로 반으로 나누어 각기 독립된 측정도구들로 간주하여 상관관계를 계산해서 신뢰도 산출 - 예: 전체 문항들을 홀수번과 짝수번 문항으로 구분해서 두 세트를 만들고, 동일한 대상에게 두 세트를 적용해서 측정한 후 측정값들이 어느 정도 상관관계가 있는지 구함

10 (5) 알파계수(크론바 알파: Cronbach's α)
내적 일관성 방법에 기준하는 것으로 가장 널리 쓰이는 방법 기본논리: 이분절 기법의 연장. 전체 문항들을 두 집단으로 분류하는데 가능한 모든 조합을 동원하여 보다 포괄적으로 집단군을 만들어 내고 그것들의 상관관계를 알아봄 - 각 조합의 상관관계가 계산되고, 그들의 전체평균이 측정도구의 신뢰도를 나타내는 알파계수 일반적으로 크론바 알파계수가 0.60이상이면 신뢰도에 별 문제 없다고 봄 장점: 통계프로그램을 통해 쉽게 명확한 신뢰도 계수를 산출할 수 있어서 현실적으로 가장 많이 사용. 측정도구를 구성하는 여러 개의 항목들을 분석하여 신뢰도를 저해하는 항목을 제외시킴으로써 신뢰도를 높일 수 있는 방법 3) 신뢰도 제고 방안(비체계적 오류를 줄이는 방법) 측정도구의 내용을 명확하게 함 측정항목수를 가급적 늘림 측정자들의 측정방식이나 태도에 일관성이 있어야 함 동일한 질문이나 유사한 질문을 2회 이상하여 응답자로 하여금 일관성 있는 응답을 유도 일반적으로 신뢰성이 인정되었거나, 이전의 경험에 비추어 신뢰할 수 있는 측정도구 사용

11 타당도와 신뢰도의 관계 타당도와 신뢰도의 관계 타당도와 신뢰도는 다소 복합적으로 상호연계:
(A) (B) (c) 신뢰도 O, 타당도 X 신뢰도 X , 타당도 X 신뢰도 O, 타당도 O 타당도와 신뢰도는 다소 복합적으로 상호연계: - 신뢰도가 높다고 타당도가 반드시 높은 것은 아님 - 타당도가 있는 경우라면 어느 정도 신뢰도가 확보된 것: 정확성을 높이기 위해서는 측정도구가 조사하고자 하는 것을 잘 파악해야 하고, 조사할 때 마다 일관된 결과를 얻어야 하기 때문. 측정에서 타당도와 신뢰도를 동시에 확보하는 것은 매우 중요