교육평가 및 효과측정 시스템 2004.10.14 POSCO 인재개발원 홍 성 근

Agenda POSCO 소개 교육평가 개관 POSCO 교육평가 사례  On-line  Off-line (HRD컨설팅)

POSCO 소개 1968. 4 포항종합제철㈜ 창립 1973. 7 포항제철소 제1기 준공 1985. 3 광양제철소 제1기 착공 1968. 4 포항종합제철㈜ 창립 1973. 7 포항제철소 제1기 준공 1985. 3 광양제철소 제1기 착공 2000.10 민영화 완료(정부지분 매각) 2002. 3 POSCO로 회사명 변경 매출액: 14조 4천억(2003년) 순이익: 1조 9천억(2003년) 인 원: 19,000명 주 주: 61%(외국인), 10%(자사주), 29%(기타)

POSCO의 교육체계

Terminology Assessment Measurement Evaluation AS IS와 TO BE간의“Gap(=needs)”를 찾아내 조직의 변화/ 개선방안을 제안하는 것 Measurement 변화/개선 노력의 효과를 보기위하여 일정기간에 걸쳐 그 증거를 찾아 내는 것 Evaluation 찾은 증거를 일정한 기준하에 분석하여 제안(intervention)한 것 에 대한 종합적인 판단을 하는 것 TO BE Assessment [Intervention] Gap(=needs) AS IS Measurement

평가는 왜 할까? 평가를 누가 하느냐 또는 평가자료(Data)를 가지고 누가 의사결정을 하느냐에 따라 그 목적이 달라진다. 경영방침에 부합하는 방향으로 직원의 Mind가 이루어 지는가? 실질적인 성과와 연결 되는가? 교육이 효과적인가? 강사는 우수한가? 계속 유지할 것인가? 현업에 도움이 되는가? 나의 역량을 키울 수 있는가? 학습자 교육담당자 경영진 Evaluation 현업부서장 강사 교육받은 직원이 부서의 성과에 기여했는가? 현업의 문제해결능력이 향상되었는가? 제대로 전달했는가? 교수방법과 내용이 좋았는가?

평가의 대가(大家)들은… Kirkpatrick (1994) 장래 교육 프로그램 개선에 도움이 되는 정보를 얻어내고, 교육 프로그램의 지속 여부를 결정하며, 교육부서가 조직 목적과 목표에 기여하는 바를 보여줌으로써 그 존재의 타당성을 정당화 Robinson & Robinson (1989), Phillips (1984) 평가는 교육 프로그램 종료후 하는 것이 아니라 프로그램이 실시되기 전에 교육 프로그램의 체계를 설계할 때 평가계획이 수립되어야 한다.

Evaluation의 종류와 기능 Analysis Design Development Implementation 진단평가(Diagnostic Evaluation) Analysis 학습과 관련된 내용과 수준을 결정 ☞교육을 받기전 학습자의 선수지식이나 일반적 배경을 조사, 분석함으로써 요구나 기대에 부응할 수 있는 학습 구조화를 가능케 한다. Design 형성평가(Formative Evaluation) 학습 목표의 점검 ☞프로그램이 계획된 학습 목표를 달성할 수 있는지 여부를 판단하고 점검함으로써 문제점을 찾아내고 교정을 통하여 의도했던 목표를 달성할 수 있도록 도와주는데 있다. Development Implementation 총괄평가(Summative Evaluation) 교육 목표 달성정도 판단 ☞일정한 교육 프로그램을 이수한 학습자가 주어진 교육 목표 를 어느정도 달성했는지를 판단하는 기초적인 자료를 제공 해 줄 수 있다. Evaluation

ASTD의 최근 주요 주제 (1999-2004) 1999 2000 2001 2002 2003 2004 .e-Learning (23) .Leadership and Management Development(31) .Performance Consulting (17) .Training Fundamental(25) .Innovation (13) .Measuring and Evaluation (17) .Organizational Change (19) .Learning as a Biz Strategy (24) .Personal and Professional Effectveness(15) .Careers: (11) .e-Learning (22) .Leadership and Management Development(30) .Performance Consulting (19) .Training Fundamental(24) .Innovation (13) .Measuring and Evaluation (16) .Organizational Change (20) .Learning as a Biz Strategy (30) .Personal and Professional Effectveness(19) .Careers: (17) Workplace Issues (27) e-Learning (22) Global Issues (19) Measuring & Evaluating Training & Performance (18) Organizational Development (18) Managing the Training/ Learning Function (16) Career Development (16) Human Performance Improvement (15) Training Basics e-Learning (36) Organization Development (29) Workplace Issues (17) Human Performance Improvement (14) Career Development (13) Managing the Training/ Learning Function (13) Global Issues (13) Training Basics (13) Measuring & Evaluating Training & Performance (9) e-Learning (48) Leadership/ Management Development (45) Performance Consulting (34) Training Fundamental s(29) Workplace Issues (29) Measuring & Evaluation (26) Managing Learning Function (25) Leading Change Today (25) Personal & Professional Effectiveness (21) Careers (18) Organization Development (26) e-Learning (20) Workplace Issues (18) Training Basics (17) Measuring & Evaluating Training & Performance (16) Performance Improvement (11) Going Global (9)

Heavyweight Match(2004.Jan) Kirkpatrick Phillips Level 1: Reaction (반응) Level 1: Reat’n, Satisfaction & P/A Level 2: Learning (학습) Level 2: Learning (학습성취도) Level 3: Behavior (행동) Level 3: Application (현업활용도) Level 4: Results (결과) Level 4: Business Impact(경영성과) Level 5: ROI

평가수단: 설문조사 시스템

사례1: Web-Based-Learning 과정명: 안전관리 - 대상: 제철소 현장직원(주임,반장,반원 등) - 목적: 안전관리 기법과 지식을 체계적으로 습득하여 사업장에서 발생할 수 있는 재해로 부터 인명과 재산을 보호 - 학습기간: 6주 - 수료기준: 학습진도율(60%이상) 및 수료평가 점수 평가수준: 1~5수준 평가시기: 2001.3 ~ 2002.1

사례1: 과정개요

사례1: 조사대상 및 자료수집 시기 3~5수준 평가를 위한 설문 회수율: 19.7% (144명/730명) 구 분 1차 2차 구 분 1차 2차 3차 4차 5차 응답자 수료자 수 161명 163명 151명 422명 212명 1,109명 교육종료일 ‘01.3.25 ‘01.5.12 ‘01.7.22 ‘01.9.15 ‘01.11.17 - 조 사 시 기 반응도 646명 학습성취도 현업활용도 ‘01. 7 ‘01. 8 ‘01. 10 ‘01. 12 ‘02.1 144명 경영성과 ROI 평가 3~5수준 평가를 위한 설문 회수율: 19.7% (144명/730명)

사례1: 1수준(반응도) 평가영역: 만족도 (5점 척도) 구 분 설문내용 Mean Std. 학습내용 교육내용은 교육목적에 맞게 편성되 었고 향후 업무수행이나 자기개발에 도움이 될 것이다 4.28 .59 교육방법 교육내용은 배우기에 효과적이었다 4.19 .73 지도강사 지도강사의 활동은 전반적으로 좋았다 4.06 .76 과정진행 과정담당자의 활동은 전반적으로 좋 았다 4.21 .71

사례1: 2수준(학습성취도) 평가영역: 중간평가, 수료평가 점수 (100점 만점) 구 분 최저 최대 평균 표준편차 응답자수 수료점수 64점 100점 86.87점 7.05 1,109명 * 평가영역: 지식 또는 기술습득 측면, 행동 및 수행수준의 변화 (8개 항목)

사례1: 3수준(현업활용도) N=144 구분 설문내용 매우 그렇다 보통 이다 그렇지 않다 전혀 아니다 Mean 학습내용 인지정도 지금도 배운 내용을 기억하고 있다 17 (11.8%) 93 (64.6%) 34 (23.6%) (0%) 3.88 학습내용이 나의 업무와 관련성이 크다 30 (20.8%) 19 (13.2%) 2 (1.4%) 4.05 교육을 받기 전과 비교해 볼 때 안전관리에 대한 지식과 기술이 향상되었다 26 (18.1%) 107 (74.3%) 11 (7.6%) 4.10 교육을 받은 후 안전관리 업무에 자신을 갖게 되었다 86 (59.7%) 32 (22.2%) (0%)) 3.96

사례1: 4수준(경영성과 기여도) 설 문 내 용 그렇다 변화가 없다 아니다 Missing n 교육을 받기 전과 비교할 때, 설 문 내 용 그렇다 변화가 없다 아니다 Missing n 교육을 받기 전과 비교할 때, 교육을 받고 나서 내가 맡고 있는 작업현장의 안전재해(Near miss 포함)가 감소되었다. 76 (52.8%) 59 (41.0%) (0%) 9 (6.3%) 144 안전재해가 감소되었다면, 교육 에 의한 효과라고 보십니까? 72 (50.0%) 32 (22.2%) 10 (6.9%) 30 (20.8%) 교육실시 전후 재해발생 건수 비교분석 결과 구 분 평균 합계 Paired Difference t Sig. (2-tailed) 유의성 검증: Paired t-test Mean Std. 수료 3개월 전 1.02 147건 .67 1.16 6.982 .000 수료 3개월 후 .35 50건

사례1: 5수준(ROI) 측정방법 교육을 수강하기 전 3개월 동안 작업현장에서 일어난 안전사고(Near miss 포함)와 교육을 수료한 후 3개월 후의 안전사고발생 건수를 조사하여 비교. ROI(%) =Net Program Benefits/ Program Costs X 100 Program Costs : 개발비, 인건비, 시스템 감가상각비, Tutor비, Cyber Money Net Program Benefits:안전사고 감소에 따라 감소된 보상비용, 노동부 고용보험 환급금

사례2: 현업부서 교육컨설팅 생산성 향상 현업부서 직원능력개발 자체교육 HRD컨설팅 부서별 전문역량 배양, 과제해결 및 팀웍향상을 위한 자체교육 지원 현업부서의 다양한 요구에 부응할 수 있는 맞춤형 교육 서비스 강화

현업부서 교육컨설팅 제도 교육컨설팅 유형 교육 컨설팅 내용 Needs조사 컨설팅 현업부서 자체 교육Needs 조사분석 방법 과정개발 컨설팅 교육Needs에 의한 과정개발 방법 현업 맞춤형 교육과정 공동개발 사내외 교육프로그램,강사,교육장 정보제공 교육실시 컨설팅 교육방법, 교수기법, 교육진행기법 등 교보재 지원 및 사용방법 등 평가 및 사후관리 컨설팅 교육실시후 평가방법, 설문서 작성 및 분석 교육관련 법규에 대한 안내

컨설팅추진 내용 생산성 향상 직원능력개발 조직진단 변화가속 광 프로그램 양 열 연 부 Interview 직무역량 향상 직무별,작업분야별 맞춤교육 실시 조직진단 변화가속 프로그램 광 양 열 연 부 생산성 향상 직원능력개발 교육Needs조사 학습조직 구축 Interview 자율적으로 배우고,진화하는 학습분위기 창출

컨설팅 프로세스 Stages Steps Process Title Define 1 Step HRD컨설팅 실시계획 수립 Task Force Team 구성 3 Step 조직진단, 교육Needs조사 설계 Measure 4 Step 조직진단, 교육Needs조사 실시 5 Step 조직진단, 교육Needs조사 분석 Explore 6 Step 열연부 인재육성 Master Plan수립 Develop 7 Step 교육 프로그램 개발 Implement 8 Step 교육운영(1~2수준 평가) 9 Step 현업활용도 평가 10 Step 경영성과 기여도 평가(ROI)

인재육성 Road Map 인재육성 Master Plan수립 - 전문인으로 성장할 수 있는 Course Path 설정 - 직무 맞춤과정 편성 - 학습조직 운영방안 수립 열연전문인 경영의식향상 직무맞춤과정 학습조직운영 자기개발혁신 직무별 필수과정 Education Day 벽없는조직W/S OJT과정재정립 현장문제점 해결 현업활용도 평가

POSCO Dashboard 조직문화 BSC 생산지표

Dashboard(1): BSC

Dashboard(2): 생산지표

격주 토요일 Education Day운영(’03.1~6월) Dashboard(3): 조직문화 구 분 ’01.6~’02.7 ’02.8~’03.8 비 고 IT자격 취득율 8.0% 88.1% 56.2% (포항’03.8) 특허 출원율 15.4% 61.9% 29.0% (전사 ’02) 우수제안 176건 253건 144% 향상 조업신기록 5회 35회 700% 향상 기능장 합격자 31명(‘03.10최종합격 기준) *포항 10명 학습조직 활동 격주 토요일 Education Day운영(’03.1~6월) 각종 표창 수상 회장, 임원표창 77회 *35회(포항)

컨설팅 추진 경과 -기술과 인재의 조직 Video 의식전환, IT기술력 확보 경영의식, IT자격 기술가치 중심으로 변화 컨설팅 추진 경과 -기술과 인재의 조직 의식전환, IT기술력 확보 경영의식, IT자격 기술가치 중심으로 변화 특허출원, 우수제안 분야별 전문 열연인 양성 학습자 중심의 맞춤형 교육 작업표준의 지속적 개선 표준 재정립, Education Day Video (4’18”)

ROI 측정 프로세스 PGM’ 금전적 가치로 PGM’ 효과분리 ROI평가 목표수립 평가계획, Data설정 금전적 가치로 전환 ROI평가

ROI: Return On Investment 실수율 향상에 따른 금전적 이익 종합 열량 원단위 절감 ROLL원단위 절감 주문외 입고량 감소 포상금 제안보상금 증가분 II. 재무적 지출 노무비(교육에 투입된 시간외 수당) 교육훈련비(과정개발, 운영 및 평가) III. ROI