기초학력 진단-보정 시스템 온·오프라인용 문항 및 보충 학습·지도 자료 개발 충남대학교 응용교육측정평가연구소.

Presentation on theme: "기초학력 진단-보정 시스템 온·오프라인용 문항 및 보충 학습·지도 자료 개발 충남대학교 응용교육측정평가연구소."— Presentation transcript:

1 기초학력 진단-보정 시스템 온·오프라인용 문항 및 보충 학습·지도 자료 개발 충남대학교 응용교육측정평가연구소

2 목차 1. 개발의 필요성 및 목적 2. 문항 및 보충 학습ㆍ지도 자료 개발 3. 도달 기준점수 산출
ㆍ2016 기초학력 진단검사 ㆍ2016 기초학력 향상도검사 3. 도달 기준점수 산출 ㆍ검사동등화 ㆍ수정된 Angoff 방법 ㆍ북마크 방법 4. 온라인 시행을 위한 문항과 보충 학습ㆍ지도 자료 DB화 5. 응시생 진단 결과 연계 지도 방안

3 1장 개발의 필요성 및 목적

4 교사의 입장에서

5 1장 개발의 필요성 및 목적 1. 어디까지인가? – 부진학생 선발 학습지진학생이었습니다.” “김00은 학습부진학생인줄 알았는데
1장 개발의 필요성 및 목적 1. 어디까지인가? – 부진학생 선발 “김00은 학습부진학생인줄 알았는데 학습지진학생이었습니다.” 선수학습 내용에 대한 이해가 없어서 본 학습을 수행할 수 없는 학습자들 안에서는 다양한 수준이 존재 학습부진, 학습지진, 특수 장애 등에 대한 교사의 판단이 어려움 교사의 책임 아래 지도가 가능한 학습부진학생의 범위 결정 → 학습부진학생과 학습지진학생에 대한 다른 지도전략 및 기대 되는 성취수준이 다름

6 1장 개발의 필요성 및 목적 2. 어디부터인가? - 출발점 진단 “수준파악만 하다가 한 학기 다 간다.”
1장 개발의 필요성 및 목적 2. 어디부터인가? - 출발점 진단 “수준파악만 하다가 한 학기 다 간다.” 초등학교 고학년, 중학생의 경우 더 심각 지도하는 과정에서 지도 수준을 낮추거나, 높이거나 하는 일들을 반복 → 이미 다른 학생들에 비해 뒤에 있는 학습부진학생들에게 정확하게 부진요소의 출발점을 찾는데 매년 반복적으로 많은 시간을 보내는 것은 매우 비효율적임

7 1장 개발의 필요성 및 목적 3. 무엇으로 지도해야 하나? – 지도 자료 선정 및 개발 교사들이 자료를 제작하거나…
1장 개발의 필요성 및 목적 3. 무엇으로 지도해야 하나? – 지도 자료 선정 및 개발 “시중에서 판매되는 교재 중에서… 교사들이 자료를 제작하거나… 교육청에서 보급되는 자료로… 교육과정평가원 자료로…” 선수학습 부진요소에 대한 하위 학습내용 영역별 진단이 이루어진 후에, 그에 따른 맞춤형 지도자료를 찾기 어려움 → 학습자 학습 단계에 맞는 다양한 수준의 교재 개발이 충분하지 않음

8 1장 개발의 필요성 및 목적 4. 어디서 멈추고 다음으로 진행해야 하나? – 향상도 진단
1장 개발의 필요성 및 목적 4. 어디서 멈추고 다음으로 진행해야 하나? – 향상도 진단 “그냥 쭉 지도하거나… 교재 한 권 끝내거나… 같은 시험지를 또 치르거나….” 눈에 보이는 목표를 설정해 놓고 그곳을 향해 뛰도록 하는 것은 학습동기를 불러 일으킬 수 있음 → 정확한 진단에 따른 학습자 개인별 목표 설정 및 도달여부 확인, 다음 학습계획 수립이 절실히 필요함

9 학생의 입장에서

10 1장 개발의 필요성 및 목적 “악성바이러스, 전염병….” 1. 친구들이 저를 싫어해요 – 학습부진에서 왕따로
1장 개발의 필요성 및 목적 1. 친구들이 저를 싫어해요 – 학습부진에서 왕따로 “악성바이러스, 전염병….” 초등학교는 고학년으로 올라갈수록 학습부진학생들이 교실 내에서 존재감이 없어짐 왕따, 은따로 이어지거나, 자기 방어적 폭력 성향을 가지게 됨 → 학습의욕을 상실하는 것 뿐 아니라, 공부가 좀 뒤쳐진다는 이유로 마음의 상처를 가지게 되는 학생들

11 1장 개발의 필요성 및 목적 2. 선생님은 언제부터 화내실 거예요? – 지치는 교사들 나중에는 막 화내요.”
1장 개발의 필요성 및 목적 2. 선생님은 언제부터 화내실 거예요? – 지치는 교사들 “맨날 선생님은 처음에는 좀 친절했다가 나중에는 막 화내요.” 학생들 각자가 모두 다른 수준, 낮은 학습 의욕…… 지쳐가는 지도 교사의 희미해지는 다짐 → 친구들뿐만 아니라, 선생님들에게도 내쳐짐을 당하는 기분을 느끼는 학생들

12 1장 개발의 필요성 및 목적 3. 너무 멀어요 – 부진의 누적 “지금 2학년 것 해서 언제 5학년까지 와요?”
1장 개발의 필요성 및 목적 3. 너무 멀어요 – 부진의 누적 “지금 2학년 것 해서 언제 5학년까지 와요?” 이미 너무 누적되어버린 학습 부진에 대한 포기 심리 차라리 이제 공부는 관두자는 마음이 생기는 중학생들 → 아무리 노력해도 갈 길이 멀게 느껴지는 학생들

13 학교의 입장에서

14 1장 개발의 필요성 및 목적 1. 3D 업무 – 지원도 좋지만, 과중 업무는 그만
1장 개발의 필요성 및 목적 1. 3D 업무 – 지원도 좋지만, 과중 업무는 그만 “침묵은 금이고, 연설은 업무이다. 3D를 피하라!” 가르치는 본연의 일을 잘 할 수 없게 만드는 일부 업무들 학력 향상을 위한 다양한 지원도 담당한 교사에게는 엄청난 업무 부담 → 교사들의 업무 가중은 양질의 수업을 보장하기 어려움

15 1장 개발의 필요성 및 목적 “대한민국에서 교사로 살아가려면 만능이 되어야….”
1장 개발의 필요성 및 목적 2. 만능교사 – 각각의 영역에서 전문성을 갖춘 인력 지원 “대한민국에서 교사로 살아가려면 만능이 되어야….” 일반 학생들에 대한 학습지도와 생활지도 학습부진에 대한 다양한 문제를 가진 학생들에 대한 상담 및 지도의 어려움 → 학습부진학생들에 대한 차별화된 교수를 위해서는 다양한 분야의 전문성을 지닌 인력 지원 필요

16 1장 개발의 필요성 및 목적 상급 학년으로 올라갈수록 학생들의 누적적 학습결손 심화
1장 개발의 필요성 및 목적 상급 학년으로 올라갈수록 학생들의 누적적 학습결손 심화 학생들이 적시에 교육과정을 적절히 이수하고 있는지를 정확히 진단하고 보정 기초학력 미달 학생들의 수준에 적합한 자료로 지속적, 반복적 맞춤형 진단 보정 개인별 기초학력 수준을 구체적으로 파악하기 어려움 상급학년 부진 학생일수록 개인 학생의 부진 요소 파악 어려움 학생의 부진 출발점에 대한 정확한 진단을 통해 학습 지원 기초학력 도달 기준에 대한 동일한 척도 필요 동일한 학년임에도 불구하고 지역, 학교 등 소속 집단에 따른 기준점 적용 검사동등화, 기준설정 작업을 통해 기초학력 도달 기준 점수 산출

17 2장 문항 및 보충 학습ㆍ지도 자료 개발

18 2장 문항 및 보충 학습ㆍ지도 자료 개발 기초학력 진단-보정 시스템의 기관별 역할 시ㆍ도교육청 교육부 응용교육측정평가연구소
2장 문항 및 보충 학습ㆍ지도 자료 개발 기초학력 진단-보정 시스템의 기관별 역할 - 표집학교 선정 및 시행 - 연구 개발진 선발과 지원 - 기초학력 향상도 검사 온라인 시범시행 결과 피드백 제공 시ㆍ도교육청 - 사업의 기본 방향 제시 - 시도교육청에 대한 행·재정적 지원 - 사업 진행상황 점검 교육부 - 검사동등화, 기준설정 - 문항 DB작업 - 성적산출 프로그램 개발 - 문항 개발, 늘품이 개발 - 표집시행 - 온라인 탑재 문항 및 늘품이 검토 응용교육측정평가연구소 - 기초학력 향상도 검사 온라인 시행 및 자료 활용, 피드백 단위 학교 - 기초학력 향상도 검사 온라인 시스템 구축, 활용 연수 한국교육학술정보원 18

19 2장 문항 및 보충 학습ㆍ지도 자료 개발 기초학력 진단-보정 시스템 개요

20 2장 문항 및 보충 학습ㆍ지도 자료 개발 기초학력 진단-보정 시스템 개요

21 2장 문항 및 보충 학습ㆍ지도 자료 개발 기초학력 향상도 검사의 운영 흐름도

22 2장 문항 및 보충 학습ㆍ지도 자료 개발 2016 기초학력 진단검사 시행 방법 구 분 내 용 오프라인 온라인 유의사항
2장 문항 및 보충 학습ㆍ지도 자료 개발 2016 기초학력 진단검사 시행 방법 구 분 내 용 오프라인 시도교육청에 2월 16일(화)에 검사지와 보정자료(늘품이) CD 제공함 - 인쇄하여 3월 8일 부터 사용 가능함 - 기준점수 확인: 3월 22일 이후 공문을 통해 확인 온라인 시도교육청별 온라인 기초학력 진단-보정 시스템에 검사지 탑재함 - 3월 8일 이후 온라인 사용 가능함 - 기준점수 확인: 3월 24일 이후 확인 가능함 (단, 초등학교 3R’s의 경우는 온라인으로 시행하지 않음) 유의사항 기초학력 진단검사는 2종 검사형(진단, Z형)이 제공됨. 다만, Z형은 동등화용 검사로서 진단 도구용으로 진단검사 문항과 기초학력 향상도 검사 문항의 조합으로 구성되어 있음. 따라서 새로 개발된 진단 도구용(G형) 검사의 활용을 권장함.

23 2장 문항 및 보충 학습ㆍ지도 자료 개발 … C B A 기초학력 진단-보정 시스템 시행 개요 문제은행
2장 문항 및 보충 학습ㆍ지도 자료 개발 기초학력 진단-보정 시스템 시행 개요 기초학력 향상도 검사 개발 검사 동등화 A B C … 문제은행 상시적 시행 향상도(초3~중3) 늘품이로 맞춤형 지도

24 2장 문항 및 보충 학습ㆍ지도 자료 개발 문항 및 늘품이 개발의 절차 1. 검사목적 확인 6. 문항 검토 및 수정
2장 문항 및 보충 학습ㆍ지도 자료 개발 문항 및 늘품이 개발의 절차 B시리즈에서 세 문항을 포함할 수 있는 늘품이 차례 제목을 정함 → 네 자리 수까지의 덧셈과 뺄셈 ‣ 위와 같이 문항 매핑을 하고 유사한 평가요소별로 묶어서 학습내용 목차가 완성되면 교육과정 순서(학습의 논리적 계열)에 따라 내용 차례를 정함 1. 검사목적 확인 2. 평가 장면의 선정 3. 검사명세서 작성 4. 내용분류표 작성 5. 문항 초안 작성 6. 문항 검토 및 수정 7. 검사지 편집 8. 점독 9. 듣기 문항 녹음 10. 검사지 마스터본 확인 11. 늘품이 내용 차례 개발 12. 늘품이 개발 13. 늘품이 검토 14. 늘품이 검수 및 확인 15. 문항-늘품이 DB 작성

25 2장 문항 및 보충 학습ㆍ지도 자료 개발 기초학력 향상도 검사 문항과 늘품이 연계표 과목 학년 검사지 문항 번호 하위 영역
2장 문항 및 보충 학습ㆍ지도 자료 개발 기초학력 향상도 검사 문항과 늘품이 연계표 과목 학년 검사지 문항 번호 하위 영역 평가요소 늘품이 자료명 영어 중1 A01 1 듣기 출신지 묻고 답하는 표현 이해하기 1. 자기 소개하기 2 날씨를 묻고 답하는 표현 이해하기 2. 계절ㆍ날씨 묻고 답하기 3 미래의 계획을 나타내는 표현 이해하기 3. 미래의 계획, 하고 싶은 일에 대해 말하기 4 길을 안내하는 표현 이해하기 4. 길 묻고 답하기 5 대화가 이루어지는 장소 파악하기 5. 장소 파악하기 6 특정 날짜를 나타내는 표현 6. 날짜ㆍ요일ㆍ특정일 묻고 답하기 7 사물의 위치를 설명하는 표현 7. 전치사 활용하기(위치ㆍ시간 표현하기) 8 원인을 말하는 표현 이해하기 8. 이유ㆍ의견 묻고 답하기, 되묻는 표현 익히기 9 좋아하는 것을 묻고 답하는 표현 이해하기 9. 일반 동사의 활용ㆍ부정문ㆍ의문문 10 외모를 묘사하는 표현 이해하기 10. 외모 묘사하기

26 2장 문항 및 보충 학습ㆍ지도 자료 개발 보충 학습ㆍ지도 자료 ‘늘품이’ 소개 ◎ 과목별 목차
2장 문항 및 보충 학습ㆍ지도 자료 개발 보충 학습ㆍ지도 자료 ‘늘품이’ 소개 ◎ 과목별 목차 - 향상도 검사 관련 문항 번호와 평가 요소 및 해당 쪽수로 구성 ◎ ｢늘품이｣ 카드 내용 - 향상도 시스템의 검사 문항을 아우르는 학습 요소로 구성 - 해당 검사형의 관련 문항 번호, [핵심콕콕], [실력다지기]로 구성

27 2장 문항 및 보충 학습ㆍ지도 자료 개발 보충 학습ㆍ지도 자료 늘품이 예시

28 3장 도달 기준점수 산출

29 3장 도달 기준점수 산출: 검사동등화 검사동등화란? 검사동등화 검사간 난이도 차이를 통계적으로 조정하여 능력차이가 아닌
3장 도달 기준점수 산출: 검사동등화 검사동등화란? 검사동등화 검사간 난이도 차이를 통계적으로 조정하여 능력차이가 아닌 난이도 차이에 따라 기준에 도달/미도달 되지 않도록 함 서로 다른 검사에서 얻어진 점수라도 동등화 후에는 점수를 직접 비교 가능

30 3장 도달 기준점수 산출: 검사동등화

31 3장 도달 기준점수 산출: 수정된 Angoff 기준설정
성취수준 및 기초학력 경계선 학생들의 개념 협의 1라운드 2라운드 3라운드 검사 영역 검토 후 기대 정답률 판정 전문가 협의, 기대 정답률 1차 조정 전문가 협의, 기대 정답률 2차 조정 문항별 분할 점수 산출

32 3장 도달 기준점수 산출: 수정된 Angoff 기준설정
기준설정 결과 예시(사회) [ 1B01형 ] [ 1C01형 ] 1라운드 2라운드 3라운드 Rater ID Mean 기준 점수 R01 60.2 18.1 56.5 17.0 55.7 16.7 R02 52.0 15.6 36.3 10.9 45.3 13.6 R03 56.7 59.7 17.9 59.3 17.8 R04 57.0 17.1 54.2 16.3 R05 67.3 20.2 53.5 16.1 52.8 15.9 R06 44.8 13.5 53.3 16.0 53.2 R07 47.3 14.2 62.7 18.8 60.3 R08 58.5 17.6 46.5 14.0 49.2 14.8 R09 54.0 16.2 52.2 15.7 55.3 16.6 R10 48.2 14.5 49.3 R11 26.0 7.8 45.5 13.7 47.8 14.4 R12 41.5 12.5 R13 55.2 55.0 16.5 R14 55.8 16.8 R15 51.3 15.4 51.7 15.5 52.4 1라운드 2라운드 3라운드 Rater ID Mean 기준 점수 R01 54.3 16.3 52.7 15.8 52.2 15.7 R02 55.0 16.5 37.8 11.4 45.7 13.7 R03 60.8 18.3 58.2 17.5 57.5 17.3 R04 56.0 16.8 54.2 R05 62.5 18.8 52.8 15.9 R06 49.7 14.9 52.5 R07 46.5 14.0 59.5 17.9 58.5 17.6 R08 57.7 52.0 15.6 R09 55.5 16.7 54.5 16.4 54.7 R10 59.7 49.5 49.3 14.8 R11 26.5 8.0 44.8 13.5 46.7 R12 36.2 10.9 53.5 16.1 53.8 16.2 R13 55.7 57.0 17.1 56.5 17.0 R14 52.3 R15 47.5 14.3 47.8 14.4 49.8 15.0 51.7 15.5 52.9

33 3장 도달 기준점수 산출: 북마크 기준설정 북마크 기준설정 방법 1라운드 2라운드 3라운드
성취수준 및 기초학력 경계선 학생들의 개념 협의 1라운드 2라운드 3라운드 난이도 순서로 배열된 문항집에 전문가가 표시 전문가 협의, 기대 정답률 1차 조정 전문가 협의, 기대 정답률 2차 조정 문항별 분할 점수 산출

34 3장 도달 기준점수 산출: 북마크 기준설정 기준설정 결과 예시

35 온라인 시행을 위한 문항과 보충 학습ㆍ지도 자료 DB화 4장

36 4장 온라인 시행을 위한 문항과 보충 학습ㆍ지도 자료 DB화 온라인 탑재 및 검수 흐름도
4장 온라인 시행을 위한 문항과 보충 학습ㆍ지도 자료 DB화 온라인 탑재 및 검수 흐름도 검사문항 및 보충 학습 · 지도 자료 개발 온라인 탑재 탑재한 문항 및 보충 학습 · 지도 자료 검토 검토 상의 오류가 발견되지 않을 때까지 이 단계를 반복 문항 및 보충 학습 · 지도 자료 수정 후 시 · 도 교육청 서버로 이관 시 · 도별 온라인 검사 시행

37 4장 온라인 시행을 위한 문항과 보충 학습ㆍ지도 자료 DB화 온라인 탑재 및 검수 흐름

38 4장 온라인 시행을 위한 문항과 보충 학습ㆍ지도 자료 DB화 온라인 탑재 및 검수 흐름

39 4장 온라인 시행을 위한 문항과 보충 학습ㆍ지도 자료 DB화 온라인 탑재 및 검수 흐름

40 4장 온라인 시행을 위한 문항과 보충 학습ㆍ지도 자료 DB화 온라인 탑재 및 검수 흐름

41 4장 온라인 시행을 위한 문항과 보충 학습ㆍ지도 자료 DB화 온라인 탑재 및 검수 흐름

42 4장 온라인 시행을 위한 문항과 보충 학습ㆍ지도 자료 DB화 온라인 탑재 및 검수 흐름

43 4장 온라인 시행을 위한 문항과 보충 학습ㆍ지도 자료 DB화 온라인 탑재 및 검수 흐름

44 응시생 진단 결과 연계 지도 방안 5장

45 5장 응시생 진단 결과 연계 지도 방안 국어 4A03진단 결과표(예)

46 5장 응시생 진단 결과 연계 지도 방안

47 원점수 능력(Θ ) 1 -4.27 11 -2.01 21 -0.59 2 -3.69 12 -1.90 22 -0.30 3 -3.34 13 -1.78 23 0.13 4 -3.09 14 -1.67 24 0.90 5 -2.88 15 -1.56 25 0.94 6 -2.70 16 -1.43 7 -2.54 17 -1.31 8 -2.39 18 -1.17 9 -2.26 19 -1.01 10 -2.13 20 -0.82

48

49

50 5장 응시생 진단 결과 연계 지도 방안 중학교 국어 2A02진단 결과표(예)

51 5장 응시생 진단 결과 연계 지도 방안

52 원점수 능력(Θ ) 1 -4.94 11 -2.22 21 -0.89 2 -4.11 12 -2.09 22 -0.72 3 -3.67 13 -1.97 23 -0.54 4 -3.37 14 -1.84 24 -0.33 5 -3.14 15 -1.72 25 -0.09 6 -2.95 16 -1.59 26 0.20 7 -2.78 17 -1.46 27 0.56 8 -2.63 18 -1.33 28 1.05 9 -2.49 19 -1.19 29 1.88 10 -2.35 20 -1.05 30 1.94

53 THANK YOU 충남대학교 응용교육측정평가연구소
* * Tel: (042)