제7장 타당도와 신뢰도

Contents 1. 타당도 2. 신뢰도 3. 타당도와 신뢰도의 관계

1. 타당도 1) 타당도 안면 타당도, 액면 타당도, 표면 타당도 내용 타당도 측정하고자 하는 개념이나 속성을 얼마나 정확하게, 실제에 가깝도록 측정했는가 하는 정도 이용된 측정도구가 측정하고자 하는 개념이나 속성을 정확하게 반영하고 있는 것 안면 타당도, 액면 타당도, 표면 타당도 내용 타당도 전문가나 유경험자가 치밀하지 않게 판단하는 타당도로써, 주관적인 전문지식에 근거하여 판단 해당 측정도구가 측정하고자 하는 속성의 구성영역들을 잘 대표할 수 있는 항목들로 구성되었는지를 개괄적으로 살펴보는 것 아동학대 척도 – 신체적 학대, 언어적 학대, 정서적 학대의 세 영역이 모두 포함되어 있는지, 각 문항은 세 영역을 잘 대표하고 있는지 전문가를 통하여 검증 장점 통계적인 절차를 사용하지 않기에 적용이 용이하고 시간 절약 단점 - 오차나 실수가 개입될 수 있음 경우에 따라서는 형식적 행위로 전락할 여지 판단의 기준이 되는 수치적 근거가 없음

1. 타당도 기준 타당도 동시적 타당도 예측적 타당도 이미 경험적으로 입증된 타당도가 있다고 알려진 다른 기준과 비교한 측정도구의 타당도 동시적 타당도 현재 시점적- 기존의 타당도가 검증된 다른 측정도구의 결과와 비교 예측적 타당도 미래 시점적- 척도가 측정하고자 하는 결과가 미래에 발생하는 지 비교검증 동시적 타당도 TOEIC 영어시험 현재 시간경과 입사시험 근무평가 예측적 타당도

1. 타당도 구성개념 타당도 수렴 타당도 판별 타당도 동일한 개념을 측정하는 경우에는 서로 다른 측정방법을 사용하더라도 측정값은 하나의 차원으로 수렴 - 집중 타당도 판별 타당도 서로 다른 개념을 측정하는 경우에는 동일한 측정방법을 사용하더라도 측정값 간에는 차별 - 차별 타당도   언어능력 수리능력 논술형 선택형 언어 능력 1 0.82 수리 0.51 0.57 0.53 0.58 0.78

1. 타당도 구성개념 타당도 1) 측정하고자 하는 변수를 몇 개의 구성개념construct으로 나눈다. 2) 각 구성개념을 측정하는 문항들을 만들어 조사실시 3) 조사결과를 통계적으로 분석하여 변수를 측정하기 위한 구성개념이 적절한 지, 각 구성개념을 측정하기 위한 문항들이 적절한 지 검증 4) 평가방법 : 다중속성-다중측정 방법, 요인분석, 논리적 구성타당도 변수 구성개념 측정문항 측정결과 지능 창조력 문항1 -지능 총점과 각 구성개념 점수 사이에 상관계수가 높아야 하며, 구성개념 총점과 구성개념에 대한 문항점수 사이에 높은 상관관계를 보여야 함(논리적 구성타당도) - 각 구성개념들을 측정하는 문항들 내에서는 수렴타당도가 있어야 하며, 서로 다른 구성들을 측정하는 문항들 사이에는 판별타당도가 있어야 함. (다중속성-다중측정방법, 요인분석) 문항2 문항3 문제해결능력 문항4 문항5 문항6 판단력 문항7 문항8 문항9 순간대처능력 문항10 문항11 문항12

2. 신뢰도 검사-재검사법 2) 신뢰도 측정하고자 하는 현상을 얼마나 일관성 있게 측정했는가의 정도 동일한 개념에 대해 측정을 반복했을 때 동일한 측정값을 얻는 가능성 반복 측정 시 동일 결과가 나타난다면 측정의 안정성이 매우 높기에 안정성stability과도 통하는 개념 일관성consistency, 예측가능성predictability 등의 개념과도 상통 상호관찰자기법 측정도구가 관찰인 경우 두명 이상의 관찰자를 사용하여 관찰자들의 관찰결과 사이에 얼마나 일관성이 있는지 검증 검사-재검사법 동일한 측정도구를 사용하여 동일대상자에게 일정한 시차를 두고 두 번 검사 실시 두 측정결과 사이의 상관관계를 계산, 상관관계가 높으면 신뢰도가 있음 외부사건 등 외생변수의 영향이 있을 수 있음, 검사효과 발생

2. 신뢰도 대안법 반분법 측정도구의 문항을 반으로 나누어 각각의 점수합계를 구하여 상관관계를 계산 반분하는 방법 : 전후법, 기우법, 무작위법 등 외생변수 영향 배제, 검사효과 배제 반분된 측정문항 간의 동등성 보장이 어려움, 반분하는 방법에 따라 결과가 달라질 수 있음 대안법 복수양식법, 유사양식법 유사한 양식의 측정도구를 동일대상자에게 측정하여 상관관계를 계산 시간간격에 따른 외생변수의 영향이나 검사효과를 어느정도 배제할 수 있음 두 척도간의 동등성 보장이 어려움

2. 신뢰도 크로바하 알파 계수 가능한 모든 반분 방법을 시행하여 상관계수를 구한 다음 이를 평균하여 구한 신뢰도 크론바하라는 통계학자가 1951년 제안한 내적 일관성 분석 방법 현재 가장 널리 쓰이는 방법 계산량이 너무 많아 컴퓨터 통계프로그램 보급 이후 널리 사용 0.8이상이면 신뢰도 높음, 0.7이상이면 바람직한 수준, 0.6이상이면 수용할 만한 수준 신뢰도에 나쁜 영향을 주는 문항을 선별하여 제거할 수 있음.

3. 타당도와 신뢰도의 관계 3) 타당도와 신뢰도의 관계

Thank You!