Measurement, Evaluation & ROI 2006 ASTD Int’l Conference 2006/05/08 서울대학교 산업인력개발학 이 찬 교수

Contents 1 Overview 2 Evaluating Training Programs: 4 Levels 3 Aligning Kirkpatrick’s 4 Levels with BSC Summary 4

Measurement, Evaluation, & ROI Performance Improvement Overview Measurement, Evaluation, & ROI Performance Improvement Career Planning & Talent Management

Overview: M.E.R. SU415 Implementing Training Scorecards: Prove That Training Pays Lynn Schmidt M102 Evaluating Training Programs: The Four Levels Donald Kirkpatrick M105 Justify, Manage, Improve a Learning Enterprise With Four Evaluation Events Diederick Stoel M116 Making Evaluation Work Patti Phillips

Overview : M.E.R. (cont’d) M204 Making the Business Case Theresa Seagraves M216 Demonstrate Training Value: Aligning Kirkpatrick's Four Levels With Balanced Scorecards James Kirkpatrick M303 Tomorrow's Evaluation Opportunities Diederick Stoel, Jack Phillips, Donald Kirkpatrick, Jac Fitz-enz, Robert Brinkerhoff

Overview : M.E.R. (cont’d) TU104 Using Needs Assessment to Drive Business Results, Vanda Vieira TU115 Training Impact Evaluations That Senior Managers Believe and Use, Robert Brinkerhoff TU118 See the Organizational Big Picture: An Action-Oriented Evaluation Case Study, Deborah Stone TU204 Evaluation System Design, Rodrigo Lara Fernandez

Overview : M.E.R. (cont’d) TU203 Meaningful Metrics to Measure the Value of Knowledge Management Bruce Aaron TU214 How to Evaluate "Soft" and "Hard" Data Judith Hale TU215 Measuring Human Capital Dennis Kravetz TU303 A Practitioner’s Roadmap for Data-Driven ROI W. Byerly

Overview : M.E.R. (cont’d) TU315 Create the Annual Report for Training and Development Rachelle Verkamp W101 Evaluating Training Programs: The Four Levels Donald Kirkpatrick W114 Take Charge: Design Training for Results and ROI Ron Stone W204 Global Integration of the Learning Function: ASTD/Raytheon Professional Services Study Jeff Lucas

Overview : M.E.R. (cont’d) W205 Demonstrate Training Value: Aligning Kirkpatrick's Four Levels With Balanced Scorecards James Kirkpatrick W310 Leveraging Technology for Practical and Scaleable Learning Analytics Jeffrey Berk

Evaluating Training Programs: 4 Levels 4단계: Final Results Results: 결과 3단계: Change in B.V. Behavior: 행동 2단계: KSA Learning: 학습 1단계: CS Reaction: 반응

Evaluating Training Programs: cont’d 효과적인 프로그램의 조건 Needs Objectives Time Place People Leader Techniques Satisfied Evaluated

Evaluating Training Programs: Why? 프로그램의 지속 여부 Performance Improvement 프로그램의 향상 여부 HRD Pro. 존재 이유

Evaluating Training Programs: 1단계 1 단계 평가 지침: 반응 무엇을 파악하고자 하는지 결정하라 반응을 수량화 할 형태로 설계하라 의견을 적도록 권장하라 100% 즉각적인 응답을 얻어라 바람직하다면, 지연된 반응도 얻어라 수용할 수 있는 표준을 정하라 표준에 상응하는 미래 반응을 측정하라

Evaluating Training Programs: 1단계 반응 평가 양식

cont’d SA: Strongly Agree A: Agree N: Neutral DA: DisAgree SD: Strongly Disagree

Evaluating Training Programs: 1단계 반응 평가 양식 (5x10+4x5+3x3+2x1+1x1) / (10+5+3+1+1)

Evaluating Training Programs: 2단계 2 단계 평가 지침: 학습 교육 전후에 지식, 기술, 태도 등을 측정하라 지식과 태도에 관한 지필 고사를 보라 기술에 관한 실기 고사를 보라 100% 응답을 얻어내라 실질적이라면, 통제집단을 사용하라

Evaluating Training Programs: Scoring Form

Evaluating Training Programs: Scoring Form

Evaluating Training Programs: 3단계 3 단계 평가 지침: 행동 교육 전후에 지식, 기술, 태도 등을 측정하라 행동변화가 일어나도록 3-6개월의 시간적 여유를 줘라 교육생이나 그들의 상사, 부하직원, 그들을 행동을 아는 사람들과 설문이나 인터뷰하라 100% 응답이나 샘플링하라 적당한 시기에 반복하라 통제집단을 사용하라 비용 대비 이익을 고려하라

Evaluating Training Programs: 3단계 행동 변화에 필요한 것들 변하고자 하는 의지 필요한 지식과 기술 알맞은 직무 풍토 격려와 도움 변화를 위한 보상 Job Climate: Preventing – Discouraging – Neutral – Encouraging - Requiring

Evaluating Training Programs: 3단계 행동 변화: 교육 3-6개월 뒤

Evaluating Training Programs: 4단계 4 단계 평가 지침: 결과 교육 전후에 측정하라 가능한 결과를 위해 6-12개월의 시간적 여유를 줘라 적당한 시기에 반복하라 통제집단을 사용하라 비용 대비 이익을 고려하라

Evaluating Training Programs: 4단계 4 단계 평가 지침: 결과

Aligning Kirkpatrick’s 4 Level’s with BSC

Aligning Kirkpatrick’s 4 Level’s (cont’d)

Aligning Kirkpatrick’s 4 Level’s (cont’d)

Aligning Kirkpatrick’s 4 Level’s (cont’d)

Aligning Kirkpatrick’s 4 Level’s (cont’d)

Evaluating Training Programs: 4 Levels 교육 프로그램 평가를 위한 제안 1. 모든 프로그램의 반응을 측정 자신의 양식 개발 자료 수집 수용 가능한 성과 기준 설정 프로그램 향상 2. 평가를 다음으로 확대하라 학습 행동 결과 (ROI포함) 3. 다음을 고려하라 가능한 평가 자원 해당 교육프로그램 빈도 프로그램 비용 평가 비용 임원의 관심과 요구

Thank You ! chanlee@snu.ac.kr