교육평가의 이해 11장 문항분석.

Presentation on theme: "교육평가의 이해 11장 문항분석."— Presentation transcript:

1 교육평가의 이해 11장 문항분석

2 학습과제 문항난이도, 문항변별도, 문항추측도의 개념을 알아본다. 문항반응이론의 개념을 알고 고전검사이론과 비교해 본다.
고전검사이론에 근거하여 문항의 양호도를 검토해 본다. 문항반응이론에 근거하여 문항의 양호도를 검토해 본다. 1 문항제작

3 목 차 1 고전검사이론에 의한 문항분석 2 문항반응이론에 의한 문항분석 3 문항분석 예시 및 요약 2 문항분석

4 고전검사이론에 의한 문항분석 1. 기본 가정 고전검사이론(classical test theory)에 의한 문항분석
고전검사이론에 의한 문항분석 고전검사이론(classical test theory)에 의한 문항분석 : 피험자들의 응답을 문항별로 채점한 후 총점에 의하여 문항을 분석하는 방법 1. 기본 가정 가. 관찰점수 = 진점수 + 오차 점수 나. 진점수는 무수히 반복하여 측정된 점수의 평균값이다. 다. 진점수와 오차 점수의 상관은 0이다. 라. 한 검사의 오차 점수와 다른 검사의 오차 점수의 상관은 0이다. 마. 한 검사의 진점수와 다른 검사의 오차 점수의 상관은 0이다. 바. 관찰 점수의 분산은 진점수 분산과 오차 점수 분산으로 합성된다. 3 문항분석

5 고전검사이론에 의한 문항분석 2. 문항난이도(item difficulty) 가. 총 피험자 수에 의한 문항난이도
고전검사이론에 의한 문항분석 2. 문항난이도(item difficulty) 문항의 어렵고 쉬운 정도를 뜻하며 난이도 지수(P)로, 총 피험자 중 정답을 한 피험자의 비율, 즉 정답률 가. 총 피험자 수에 의한 문항난이도 4 문항분석

6 고전검사이론에 의한 문항분석 나. 추측요인을 고려한 문항난이도 5 문항분석

7 고전검사이론에 의한 문항분석 다. 미달항과 추측요인을 고려한 문항난이도 6 문항분석

8 고전검사이론에 의한 문항분석 라. 서답형 문항의 난이도 7 문항분석

9 고전검사이론에 의한 문항분석 3. 문항변별도(item discrimination) 가. 상하부 지수를 사용한 변별도
고전검사이론에 의한 문항분석 3. 문항변별도(item discrimination) 문항이 피험자의 능력을 변별하는 정도를 나타내는 지수 가. 상하부 지수를 사용한 변별도 8 문항분석

10 고전검사이론에 의한 문항분석 나. 상관 계수를 사용한 문항변별도 9 문항분석

11 고전검사이론에 의한 문항분석 4. 문항추측도 문항의 답을 모르고 추측으로 문항의 답을 맞힌 비율 10 문항분석

12 고전검사이론에 의한 문항분석 5. 문항반응분포(item response distribution)
고전검사이론에 의한 문항분석 5. 문항반응분포(item response distribution) 피험자들이 문항의 답지에 어떻게 반응하고 있는지에 대한 기술 11 문항분석 12

13 고전검사이론에 의한 문항분석 6. 오답지 매력도(attractiveness of distractors)
고전검사이론에 의한 문항분석 6. 오답지 매력도(attractiveness of distractors) 선다형 문항의 경우 피험자가 오답지도 정답처럼 보여 택할 가능성을 의미하며 오답지에 대한 응답비율에 의하여 결정 12 문항분석 13

14 고전검사이론에 의한 문항분석 7. 교수민감도(sensitivity to instruction)
고전검사이론에 의한 문항분석 7. 교수민감도(sensitivity to instruction) 문항이 교수효과를 민감하게 반영하고 있는가 하는 정도 교수·학습을 실시하기 전에 치르는 사전검사문항 정답률과 교수·학습을 실시한 후에 치르는 사후검사문항 정답률을 비교, 검토 하는 방법(pre-to-post difference index: PPDI)을 활용 13 문항분석 14

15 고전검사이론에 의한 문항분석 8. 고전검사이론의 장단점 가. 장점 나. 단점
고전검사이론에 의한 문항분석 8. 고전검사이론의 장단점 가. 장점 : 비교적 간단한 절차에 의해 문항분석과 검사분석을 실시할 수 있다. 우리나라 교육현장에서는 추정방법과 계산이 쉬워 고전검사이론을 사용하고 있다. 나. 단점 ① 문항난이도, 문항변별도와 같은 문항의 고유한 특성이 피험자 집단의 특성에 따라 변화된다. ② 피험자의 능력이 검사도구의 특성에 따라 달리 추정된다. ③ 피험자의 능력을 비교할 때 총점에 근거하므로 정확성이 결여된다. ※ 이상의 문제점을 해결하기 위하여 문항반응이론이 등장하게 된다. 14 문항분석

16 문항반응이론에 의한 문항분석 문항반응이론은 이론적 모형이나 수리적 배경에서 전개되었다고 하기 보다는 경험적 필요에 의하여 전개
문항반응이론에 의한 문항분석 문항반응이론은 이론적 모형이나 수리적 배경에서 전개되었다고 하기 보다는 경험적 필요에 의하여 전개 문항반응이론의 시작 : Binet와 Simom(1916)은 지능을 측정하기 위한 문항을 연령에 따라 문항을 정답한 피험자의 비율을 표시한 점들을 연결하는 곡선을 작성 Richardson(1936)이 고전검사이론에 의한 문항특성 추정과 문항반응 이론에 의한 문항특성 추정의 관계를 처음으로 증명 Lawley(1943)가 문항반응이론과 고전검사 이론과의 관계를 재정립하고 문항특성을 추정하는 모형과 방법을 제안 1980년대에 이르러 컴퓨터를 이용하여 어려운 수리적 계산이 가능 하면서 문항반응이론은 교육측정 분야에서 보편화되기 시작 15 문항분석

17 문항반응이론에 의한 문항분석 기본 가정 2. 문항특성곡선 가. 일차원성(unidimentionality) 가정
문항반응이론에 의한 문항분석 기본 가정 가. 일차원성(unidimentionality) 가정 하나의 검사도구는 인간이 지닌 하나의 특성을 측정해야 한다. 나. 지역독립성(local independence) 가정 어떤 능력을 가진 피험자의 하나의 문항에 대한 응답은 다른 문항의 응답에 영향을 주지 않는다. 2. 문항특성곡선 피험자의 능력에 따라 문항의 답을 맞출 확률을 나타내는 곡선 16 문항분석

18 문항반응이론에 의한 문항분석 3. 문항모수 가. 문항난이도(item difficulty)
문항반응이론에 의한 문항분석 3. 문항모수 가. 문항난이도(item difficulty) 문항이 어느 능력 수준에서 기능하는 가를 나타내는 지수 17 문항분석

19 문항반응이론에 의한 문항분석 나. 문항변별도(item discrimination)
문항반응이론에 의한 문항분석 나. 문항변별도(item discrimination) 문항이 피험자를 능력에 따라 변별하는 정도를 나타내는 지수 18 문항분석

20 문항반응이론에 의한 문항분석 다. 문항추측도(item guessing) 능력이 전혀 없음에도 불구하고 문항의 답을 맞힐 확률
문항반응이론에 의한 문항분석 다. 문항추측도(item guessing) 능력이 전혀 없음에도 불구하고 문항의 답을 맞힐 확률 일반적으로 문항추측도의 범위는 0에서 1/(답지수) 사이이며 사지 선다형 문항에서 일반적으로 문항추측도는 .2를 넘지 않는다. 19 문항분석

21 문항반응이론에 의한 문항분석 라. 문항반응모형(item response model) 문항특성곡선의 특성을 수리적으로 표시한 것
문항반응이론에 의한 문항분석 라. 문항반응모형(item response model) 문항특성곡선의 특성을 수리적으로 표시한 것 · 문항 모수 및 피험자의 능력을 추정함 · 문항반응 모형을 함수관계로 설명하기 위해 정규 모자이브 모형(normal ogive model)과 로지스틱 모형(logistic model)을 사용할 수 있음 · 정규 모자이브 모형은 정규분포를, 로지스틱 모형은 모지스틱 함수 사용 20 문항분석

22 문항분석 예시 및 요약 1. 양호도가 높은 문항 2002학년도 초등임용고시 35번 2. 양호도가 낮은 문항
문항분석 예시 및 요약 1. 양호도가 높은 문항 2002학년도 초등임용고시 35번 2. 양호도가 낮은 문항 2001학년도 중등임용고시 2번 21 문항분석

23 연구문제 1. 문항난이도와 문항변별도는 어떤 관계가 있는지 설명 하시오. 2. 고전검사이론과 문항반응이론과 차이점을 설명하시
3. 문항특성곡선이 그려지는 과정을 설명하시오. 22 문항분석

24 감사합니다