선택형 및 실험평가 문항 제작 2007 중등 심화 연수 By K.Y Lee 2007-01-24
효과적인 평가 방법 선택 지식 평가 방법 : 지필평가, 구술평가 탐구 능력 평가 방법 : 지필평가, 구술평가, 실기평가, 면담, 관찰 평가의 목표와 내용에 따라 평가 방법 선정
평가 도구의 기준 타당도(validity) 신뢰도(reliability) 객관도 : 채점 기준을 명확히 제시, 사전 교육, 문항별 채점, 여러 명이 채점 실용도 : 검사의 실시와 채점이 용이 난이도(P)와 변별도(DI)
중학교 문항의 양호도 (a)
고등학교 문항의 양호도 (a)
난이도와 배점과의 관계(중학교) (a)
난이도와 배점과의 관계(고등학교) (a)
양호하지 못한 문항의 예 (a)
양호하지 못한 문항의 예 (a)
평가도구 개발 평가목표 분류틀 작성 - 이원분류표 : 행동(behaviour) 내용(content)
이원분류표 행동 내용 과학지식 과학탐구 과학태도 K1 K2 K3 P1 P2 P3 P4 A1 A2
과학 지식 평가 방법 구두 시험 구두 질문 논술형 주관식 단답형 지필 시험 선다형 객관식 연결형 진위형
과학 지식의 범주와 평가 도구 평가도구 지식 범주 구두질문 논술형 단답형 선다형 연결형 진위형 기억 재인 * * * * 회상 평가도구 지식 범주 구두질문 논술형 단답형 선다형 연결형 진위형 기억 재인 * * * * 회상 * * 이해 적용
평가 행동 영역 (지식)-기억 과학 지식의 기억 기억: 학습한 내용을 그대로 재생하는 능력 재인(recognition): 선다형(multiple-choice) 회상(recall) : 단답형(short answer) (예 1) 지각의 8대 구성 원소는 무엇인가? (예 2) 태양까지 거리는 얼마나 되는가?
잠깐 쉬어가기 ! 은 촌 어느 초등학교 문제에 이런 것이 있었다고 합니다. 다음은 ‘한번 마음먹은 것을 오래 유지하지 못하고 금방 포기해버리는 사람이나 행위’를 가리킬 때 쓰는 사자성어입니다. ( ) 속에 적절한 말을 써 넣으시오. 작 ( ) 삼 ( ) 은 촌
평가 행동 영역 (지식)-이해 과학 지식의 이해 이해: 단순한 기억을 넘어서 자료의 의미를 아는 것 새로운 상황에서 학습한 지식을 알아 내는 능력 번역 – 원래의 형태와 다른 형태로 바꿀 수 있는 능력, 글을 다른 글, 그림, 수식 등으로; 또는 역으로 해석 - 자료를 새로운 아이디어 구성체로 재구성할 수 있는 능력 (추리, 개괄, 요약 등) 추론 (외삽) – 경향, 추세를 파악하거나 조건들을 해독하고 이에 입각한 추정 또는 예측을 하는 능력
평가 행동 영역 (지식) 과학 지식의 이해 (예)
평가 행동 영역 이해하기 (지식)-적용 과학 지식의 적용 적용, 분석,종합, 평가 범주 포괄 적용 – 새로운 상황에서 학습한 내용을 활용하는 능력 분석 – 주어진 자료를 구성 부분으로 나누거나, 조직원리를 찾아내는 능력 종합 – 새로운 것을 만들거나 구성하는 능력 평가 – 내적 또는 외적 준거에 의해서 가치 판단을 하는 능력
평가 행동 영역 (지식) 과학 지식의 적용 (예)
과학 탐구 영역 문제 발견 및 해결방안 탐색(P1): 자연 현상이나 사물을 관찰하고, 내재되어 있는 문제를 인식하며, 그 문제를 해결하기 위한 방법을 모색하는 능력이다. 여기에는 가설을 세우고, 가설 검증을 위한 실험의 계획 등과 같은 능력이 포함된다. 자료 수집(P2): 자연 현상이나 사물을 관찰하고 측정하며, 수집한 정보를 특정 기준에 따라 분류하며, 여기에서 얻은 결과를 다른 사람들에게 전달할 수 있는 능력이다. 자료 해석 및 일반화(P3): 실험 계획에 따라 직접 실험을 실시하여 자료를 수집하고, 이를 정리하고 분석 및 해석하여 가설을 검증하고, 수정하며, 일반화하는 능력이다. 실험기구 조작 및 수집(P4): 실험기구를 설치하고 조작하며, 실험에 필요한 식물이나 광물을 수집하는 능력이다. 또한 식물이나 동물을 기르는 능력도 여기에 속한다. 이 하위 영역은 블룸 등에 의한 교육 목표 분류 영역 중에서 신체운동적 영역이다.
평가 행동 영역 (탐구)-P1
평가 행동 영역 (탐구)-P1
평가 행동 영역 (탐구)-P1
평가 행동 영역 (탐구)-P2
평가 행동 영역 (탐구)-P3
평가 행동 영역 (탐구)-P4
과학 태도 영역 과학에 대한 태도(A1): 이 하위 영역은 학생들이 과학을 중요시 여기고, 과학과 과학에 관련된 여러 사항에 대하여 관심을 갖고 좋아하는 경향을 말한다. 과학적 태도(A2): 탐구를 올바로 수행하기 위해서 가져야 할 바람직한 속성을 뜻하며, 객관성, 개방성, 비판성, 협동성, 인내성, 자연 현상에 대한 호기심 등이 여기에 포함된다.
평가 행동 영역 (태도) 과학적 태도 (예)
평가 행동 영역 (태도) 과학에 대한 태도 (예)
평가 문항 제작 Making test item
선다형(multiple-choice) 문항 선다형 문항은 문제부(item stem)과 답지(option)으로 구분된다. 문제부는 불완전 문장, 질문, 상황진술 등으로 구성된다. 불완전 문장이나 단순 질문 형태는 지식 영역의 평가에 주로 사용되며, 상황진술, 그래프 및 도표, 그림은 탐구 능력 평가에 주로 사용된다. 답지는 정답지(key)와 오답지(distractors)로 구분되는데 특히 오답지 진술이 상당한 주의가 요구된다.
선다형 문항의 분류 정답형 다답형 최선답형 합답형 (조합형)
선다형 문항 구성 문항 구성에 따라 단독형(single form)과 복합형(multi-tier)으로 나눌 수 있으며, 복합형은 다시 순차형과 병렬형으로 구분할 수 있다.
평가 목표 파악하기 문항 제작의 출발점은 평가 목표를 정확하게 이해하는 것이다. 평가 목표의 이해에는 내용과 행동의 두 측면이 있다. 내용 이해는 평가에서 중요하게 다루어져야 할 내용이 무엇인지를 명확하게 하는 것이다. 행동 이해는 평가를 통해서 평가하고자 하는 행동 영역이 무엇인지를 명확하게 하는 것이다.
평가 목표 파악 연습 평가 목표의 예 (상대)습도 개념을 일상 생활에서 과학적으로 활용할 수 있다. 내용 : 중학교 과학 3, 물의 순환과 날씨 변화 단원, 대기 중의 물 중단원 내용 중 상대 습도 현재 기온의 포화수증기량에 대한 실제 수증기량의 백분율 기온 변화에 따라 포화수증기량이 달라지므로, 수증기량이 일정해도 상대습도는 달라진다. 행동 : 적용 능력 – 일상의 새로운 상황에서 상대습도를 바르게 활용할 수 있는 능력을 평가한다.
평가 목표에 부합하는 문항 작성 문항 소재 찾기: 문항 소재의 예 일상에서 상대습도와 밀접하게 관련된 학생들에게 상대습도와 관련하여 교실에서 다루지 않은 새로운 상황, 사건은 무엇인가? 문항 소재의 예 겨울철 실내에서 가습기 사용 겨울철 안구 건조증, 또는 피부 건조증 발생 겨울철 자동차 유리에 김이 잘 서리는 현상 아침 이슬이 낮에 사라지는 현상 이불을 덮고 자면 입술이 갈라지는 현상
문항 작성시 유의 사항 명확성
문항 작성시 유의 사항 정확성
문항 작성시 유의 사항 학생 편의성 삼엽충이 번성했던 시기는 언제인가? 삼엽충이 번성했던 시기는 언제인가? 1. 신생대 2. 고생대 3. 중생대 4. 선캄브리아대 삼엽충이 번성했던 시기는 언제인가? 1. 선캄브리아대 2. 고생대 3. 중생대 4. 신생대
문항 작성시 유의 사항 간결성 다음 중 화강암에 대한 설명으로 바른 것은? 다음 중 화강암에 대한 설명으로 바른 것은? 화강암은 주로 석영, 장석, 운모로 이루어진다. 화강암은 마그마가 지표 부근에서 갑자기 식어서 생긴다. 화강암은 색깔이 어두운 편이다. 화강암은 알갱이 크기가 매우 작다. 다음 중 화강암에 대한 설명으로 바른 것은? 색깔이 어두운 편이다. 알갱이 크기가 매우 작다. 주로 석영, 장석, 운모로 이루어진다. 마그마가 지표 부근에서 갑자기 식어서 생긴다.
문항 작성시 유의 사항 평가 준거의 사전 작성 지층과 화석의 조사를 통해서 알 수 있는 것은 무엇인가? (평가준거) 지층이 쌓인 시기를 알 수 있다. 지층이 쌓인 순서를 알 수 있다. 지층이 쌓일 때의 기후를 알 수 있다. 지층이 쌓일 때 살았던 생물의 종류를 알 수 있다. 지층이 쌓일 때 일어났던 주요 사건을 알 수 있다. 지층에 석유나 석탄이 묻혀 있는지 알 수 있다. 지층의 분포를 알 수 있다. 지층의 구조를 알 수 있다. 어느 지층에서 나오는 화석을 조사하여 알 수 있는 것은 무엇인가? (평가준거) 지층이 쌓인 시기를 알 수 있다. 지층이 쌓인 순서를 알 수 있다. 지층이 쌓일 때의 기후를 알 수 있다. 지층이 쌓일 때 살았던 생물의 종류를 알 수 있다. 지층에 석유나 석탄이 묻혀 있는지 알 수 있다.
문항 작성시 유의 사항 추측 가능성 배제
문항 작성시 유의 사항 (연습)
문항 작성시 유의 사항 (연습)
문항 작성시 유의 사항 (연습)
선다형 문항 제작 시 유의점 문제부와 답지는 간결하며 애매하지 않다. 문제부와 답지, 답지들 사이의 문법적 관계에 일관성이 있다. 오답지는 매력적으로 기술되어야 한다. 각 답지의 표현 양식과 길이가 비슷하다. 답지에 ‘언제나’, ‘전혀’ 등으로 정답의 단서가 되는 수식어가 포함되지 있지 않다. 문제부에 일괄해서 모아둘 수 있는 문구가 답지에 반복되어 있지 않다. 문항 내의 답지는 상호 독립적이며, 다른 문항의 답지와도 독립적이다. 문항이 학생의 독해 수준에 맞게 제작되어 있다. 틀린 답과 옳은 답의 근거가 분명하다.
실험 평가 실험(experiment) 기능과제(inquiry skill task) 구름 발생 실험 암영대 관찰 예시) 구름 발생 실험 암영대 관찰 기능과제(inquiry skill task) 예시 1) 자료제시형 지진기록으로부터 진앙찿기 지질 단면도 그리기 수온과 염분 수평/수직 분포도 그리기
V도로 작성된 실험보고서
인터넷 실시간 자료(real-time data)를 이용 - 국립해양조사원(http://www.nori.go.kr/) 자료를 이용한 조석 곡선 그리기 - 한국해양연구원(http://argo.kordi.re.kr/) 자료를 이용한 우리나라 주변 해수의 수온과 염분 분포 특징 탐구 - 세계지진네트워크(http://www.iris.edu/seismon/) 자료를 이용한 각종 지진 관련 탐구 - 실시간태양관측자료제공사이트 (http://sohowww.nascom.nasa.gov/)를 이용한 태양 흑점 분류 및 자전주기 구하기 등
실험 실기 평가 *예시 1. 조작 기능 평가(manipulative test) - 천체 망원경 설치 및 조작법 - 천체 망원경 설치 및 조작법 - 편광 현미경을 이용한 광물의 광학적 성질 - 클리노미터를 이용한 주향 경사 측정 - 간이우량계 제작 및 측정 *예시 2. 판별 기능 평가(identification test) - 물리적 성질을 이용한 광물 구별 - 육안 관찰을 통한 암석 판별 - 편광현미경을 이용한 광물 또는 암석 판별 - 사진을 이용한 구름 유형 분류
실험평가의 채점 채점표(scoring rubrics) 채점 준거(scoring cirteria) 총체적(holistic) 분석적(analytical) 기본특성(primary trait) 점수척도(score points) 점수체계(point system) 비율척도(rate scale) 점검표(checklist)
실험보고서(점수체계법) 평가 분야 점수 채점 기준 관찰의 정확성 2 1 ․과정 2, 5, 6에서 나타나는 색깔 변화를 모두 잘 제시했다. ․과정 2, 5, 6에서 나타나는 색깔 변화를 일부만 잘 제시했다. ․과정 2, 5, 6에서 나타나는 색깔 변화를 모두 잘 제시하지 못했다. 자료해석 ․과정 2와 과정 5의 색깔 변화를 녹말 분해로 잘 설명했다. ․과정 2와 과정 5의 색깔 변화는 잘 지적했으나 녹말 분해로 잘 설명하지 못했다. ․과정 2와 과정 5의 색깔 변화도 지적하지 못하고 녹말 분해로 설명하지도 못했다.
실험실기평가(점검표법) 평가 항목 예 아니오 1. 현미경을 조심해서 다룬다. 2. 렌즈를 적절히 닦는다. 아니오 1. 현미경을 조심해서 다룬다. 2. 렌즈를 적절히 닦는다. 3. 빛을 잘 조절한다. 4. 초점을 잘 맞춘다. 5. 프레파라트를 잘 만든다. ( )