최신 교육훈련평가 모형을 활용한 교육성과 분석 - 최종보고 - 2012. 11. 06 Copyright ⓒ 2012 by /KMPLUS CONSULTING Inc. All Rights Reserved. Tel : 070-7727-9445 / Fax : 02-455-9445 / www.kmplusc.co.kr

C ontents Ⅰ 서 론 Ⅱ 교육훈련프로그램 효과성 평가 개념 및 모형 Ⅲ 교육훈련프로그램 효과성 평가 우수 사례 Ⅳ 교육훈련프로그램 효과성 평가 모형 개발 Ⅳ 교육훈련프로그램 효과성 평가 결과 Ⅴ 평가결과 활용방안 제언 Ⅵ

서 론 Ⅰ 교육훈련프로그램 효과성 평가 개념 및 모형 Ⅱ 교육훈련프로그램 효과성 평가 우수 사례 Ⅲ 교육훈련프로그램 효과성 평가 모형 개발 Ⅳ 교육훈련프로그램 효과성 평가 결과 Ⅴ 평가결과 활용방안 제언 Ⅵ

결과중심 인적자원개발 패러다임으로의 전환* 사업 추진 배경 I. 서론 최근 교육훈련은 단순히 교육훈련 활동 자체에 초점을 두기 보다는 교육훈련을 통해 도출된 결과에 초점을 두는 결과 중심 인적자원개발 패러다임으로 전환되었으며, 이에 따라 교육훈련의 평가 역시 단순 지식과 기술의 증가 보다는 실제 변화된 행동과 재무적 결과에 대한 관심이 증대 결과중심 인적자원개발 패러다임으로의 전환* 교육훈련 (Training Program) 교육훈련 결과 (Program Results) - 지식의 증가 - 스킬의 증가 - 인식의 변화 사업결과 (Business Results) Activity based HRD Result Driven - 작업 수행 향상 - 서비스 품질 향상 - 매출 증가 - 판매 비용 절감 * Robison & Robinson (1989). Training for Impact. How to link training to business needs and measure the result.

농촌진흥청 역량개발과 교육훈련의 결과 중심 교육훈련 평가 모형 개발 및 교육성과 분석 사업 추진 목적 I. 서론 이러한 교육훈련 패러다임 전환은 농촌진흥청을 포함한 공무원 교육훈련 기관 역시 같은 맥락이며 이로 인해 다양한 요구가 발생함에 따라 농촌진흥청 역량개발과 교육훈련의 결과 중심 교육훈련 평가 모형과 도구 개발, 이를 활용한 교육 성과 분석을 사업목적으로 설정 외부적 요구 1 2 3 결과중심 인적자원개발 패러다임으로의 전환 공무원 교육훈련기관 평가 항목 중 평가 영역 지표 강화 농업인 및 농촌진흥 공무원의 학습전이 및 결과평가의 관심 증대 체계적 교육훈련 평가 모형 개발 요구 교육훈련의 현업적용도 검증 요구 교육훈련의 재무적 성과 검증 요구 교육훈련 평가 컨설팅 농촌진흥청 역량개발과 교육훈련의 결과 중심 교육훈련 평가 모형 개발 및 교육성과 분석 내부적 요구 농촌진흥청 역량개발과 교육훈련의 현업적용도 측정모형 개발 및 분석 농촌진흥청 역량개발과 교육훈련의 성공사례기법(SCM)을 활용한 평가 모형 개발 및 분석 농촌진흥청 역량개발과 교육훈련의 투자대비수익율(ROI) 평가모형 개발 및 분석 본 사업의 목적

농촌진흥청 역량개발과 교육훈련의 결과 중심 교육훈련 평가 모형 개발 및 교육성과 분석 사업 주요 범위 및 내용 I. 서론 본 사업의 범위는 농촌진흥청 역량개발과 교육훈련의 결과 중심 교육훈련 평가 모형 개발 및 교육성과 분석을 위해 4개 교육훈련 과정(농기계분야 2과정, 농촌진흥공무원 전문교육 2과정)의 현업적용도 평가 모형 개발 및 분석, SCM 평가 모형 개발 및 분석, ROI 평가 모형 개발 및 분석으로 설정 현업적용도 평가모형 개발 및 분석(4개 과정) SCM 모형 개발 및 분석(1개 과정) ROI 평가모형 개발 및 분석(3개 과정) 농촌진흥청 역량개발과 교육훈련의 결과 중심 교육훈련 평가 모형 개발 및 교육성과 분석 현업적용도 선행연구 분석 및 벤치마킹 현업적용도 평가모형 및 도구 개발 - 영향요인 규명 및 모형 설정 - 평가지표 및 요소 도출 - 질문지, 인터뷰지 개발 현업적용도 평가자료 수집 현업적용도 평가자료 분석 SCM 선행연구 분석 및 벤치마킹 SCM 모형 및 도구 개발 - 교육효과모델 개발 SCM 평가자료 수집 - Success 선정 설문조사 - Success 심층 인터뷰 SCM 평가자료 분석 ROI 선행연구 분석 및 벤치마킹 ROI 평가모형 및 도구 개발 - 평가항목(성과항목/비용항목) 설정 - 평가항목별 평가방법 구안 ROI 평가자료 수집 ROI 평가자료 분석 - 향상도, 품질지수, 성과지수, 시행이익, 시행비용, ROI 등 계산

사업 추진 절차 및 방법 I. 서론 농촌진흥청 역량개발과의 결과 중심 교육훈련 성과 분석을 위해, 현황분석, 현업적용도 평가모형 개발 및 분석, SCM 모형개발 및 분석, ROI 평가모형 개발 및 분석, 결과보고 및 제언의 5단계 연구단계에 따라 본 사업을 추진하였음. 산출물 현황분석 보고서 현업적용도 평가모형 현업적용도 평가도구 현업적용도 측정 결과 SCM도 평가모형 SCM 평가도구 SCM 측정 결과 ROI 평가모형 ROI 평가도구 ROI 측정 결과 최종 보고서 현황분석 Phase I 현업적용도 평가 모형 개발 및 분석 Phase II ROI 평가 모형개발 및 분석 Phase IV 결과보고 및 제언 Phase V 단계 SCM 평가 모형개발 Phase III 선행연구 분석 -교육훈련 평가모형 분석 (현업적용도, SCM, ROI 평가 관련 문헌 분석) -사례분석 및 벤치마킹 평가이슈 및 요구분석 -농촌진흥청 관계자 평가 관련 요구분석 평가대상 프로그램 현황 분석 현업적용도 모형 설계 - 협업적용도 영향요인 및 측정요인 도출/모형설계 현업적용도 영향요인 측정도 구 개발 현업적용도 측정도구 개발 현업적용도 측정 - 현업적용도 및 영향요인 측정 현업적용도 측정 결과 분석 SCM 평가모형 설계 SCM 측정도구 개발 SCM 측정 SCM 측정 결과 분석 ROI 평가모형 설계 - 평가영역 및 요소 도출 - 측정항목 및 모형 개발 ROI 측정도구 개발 ROI 측정 - 교육 성과 및 비용 관련 자료 수집 ROI 측정 결과 분석 평가결과 보고 -현업적용도 평가결과 보 고 -SCM 평가결과 보고 -ROI 평가결과 보고 평가결과 활용방안 제언 -프로그램 개편방안 제언 -평가 개선방안 제언 세부활동 Main Process

Ⅰ 서 론 Ⅱ 교육훈련프로그램 효과성 평가 개념 및 모형 효과성 평가의 개념 및 관련 모형 현업적용도 개념 및 측정 방법 SCM 개념 및 측정 방법 ROI 개념 및 측정 방법

교육훈련프로그램 효과성 평가 개념 (1) II. 교육훈련프로그램 효과성 평가 개념 및 모형 교육훈련프로그램 효과성 평가는 교육훈련 프로그램의 목적이 성취된 정도나 이익을 평가하여 프로그램의 타당성을 정당화하는 과정으로서 주로 투입이나 과정 보다는 산출물, 결과 평가에 초점을 두고 있음. 교육훈련 프로그램 효과성의 개념 교육훈련프로그램 평가의 개념 사전적 의미 목표달성의 정도(효과성) Kirkpatrick (1994) 교육훈련프로그램 개선 관련 정보를 얻어내고 프로그램의 지속여부를 결정하며 교육훈련부서가 조직 목적과 목표에 기여하는 바를 보여줌으로써 그 존재의 타당성을 정당화함 Noe(2009) 교육훈련을 통해 조직과 교육훈련생이 얻은 이익 (the benefit that the company and trainees receive from training) Mcardle (1990) 교육훈련이 참여자, 조직, 교육담당자에게 미치는 유용성을 측정하기 위해 행해지는 일련의 활동 Tai(2006) 교육훈련의 목적이 성취된 정도 (the extent to which the training objectives are achieved) Noe(2009) 일반적으로 교육훈련 프로그램의 효과성 평가는 투입, 과정보다는 산출물(Output), 결과(Outcome) 평가에 초점 교육훈련프로그램 운영을 통한 산출물 및 결과 등을 측정하여 프로그램의 목적 달성 여부 및 한 이익 수준을 확인함으로써 교육훈련프로그 램의 기여하는 바와 향후 지속 또는 개선사항을 규명하는 과정

효과성, 효율성 및 경제성의 개념적 구분(Metcalfe & Richards, 1987) 교육훈련프로그램 효과성 평가 개념 (2) II. 교육훈련프로그램 효과성 평가 개념 및 모형 효과성과 유사한 개념으로서 효율성, 생산성, 경제성, 효용성, 유용성, 영향 등이 있을 수 있음. 단, 개념의 주요 초점에 따라 효과성은 유사 개념과 다소 차이가 있으며, 결과 자체에 보다 직접적으로 관련되어 있다는 특징을 가지고 있음. 효과성, 효율성 및 경제성의 개념적 구분(Metcalfe & Richards, 1987) 범주 세부내용 효율성(Efficiency) 들인 노력과 얻은 결과의 비율이 높은 특성(사전적 의미) 공공행정분야에서는 생산성과 같은 개념으로 이해 되기도 함. 생산성(Productivity) 최소의 투입으로 최대의 산출을 기하되, 그 산출이 설정한 목표에 비추어 얼마나 기대했던 효과를 얻게 되었는가의 정도(Metcalfe & Richards, 1987) 효용성 (Utility) 쓰임새에 대한 활용자의 기대와 욕망을 얼마나 만족시키고 있는가의 정도(김봉환 외, 2007) 단순한 활용도 평가 뿐 아니라 특정 사업의 추진 계획, 과정 및 결과까지 포함한다고 보는 견해도 있음(이동임 외, 2006) 유용성(Usefulness) 어떤 도구나 인간이 만든 물건, 서비스를 어떤 특정 목적을 달성하기 위해 사용할 때에 어느 정도 사용하기 쉬운가의 정도(사전적 의미) 영향 (Impact) 사업의 일반적 목표 및 특수 목표 달성 정도 및 관련 성과(European Commission, 1997) 투입(실제) 산출(실제) 투입(계획) 산출(계획) 효율성(Efficiency) 경제성 (Economy) 효과성 (Effectiveness) 효과성: 당초 계획했던 산출 수준과 실제 달성된 산출 수준 간의 관계 효율성: 실제 사용된 투입과 실제 생산된 산출 간의 관계 경제성: 당초 계획했던 투입 수준과 실제 이루어진 투입 수준 간의 관계 효과성은 결과 자체에 초점을 두는 한편, 효율성(생산성)은 투입과 산출의 비율에 초점을 두고 있으며, 결과의 활용에 초점을 두는 효용 성의 개념 또한 효과성과 다소 차이가 있음 효과성은 산출의 달성 정도와 관련되어 있는 반면, 경제성은 투입을 어느 정도 절약하였는지와 관련되어 있음 이 외 유용성, 영향 등의 개념 또한 효과성과 다소 차이가 있음

교육훈련프로그램 효과성 평가 관련 모형 II. 교육훈련프로그램 효과성 평가 개념 및 모형 교육훈련프로그램 효과성과 관련된 평가모형은 접근 방법에 따라 교육훈련 전 과정을 평가하는 과정지향적 모형과, 교육훈련 결과를 평가하는 결과지향적 모형으로 구분됨. 접근 방법 특징 대표적인 평가모형 과정지향적 모형 교육훈련 전 과정을 평가하는 모형 결과평가 모형은 프로그램의 결과에만 초점을 두고 평가를 하여 프로그램의 수정 및 보 완이 불가능하다는 비판 IPO 모형 (Input – Process – Output ) CIPP 모형 (Context - Input - Process -Product) CIRO 모형 (Context - Input - Reaction - Outcome) 결과지향적 모형 교육훈련 결과를 평가하는 모형 교육훈련프로그램의 결과를 학습자 개인 수준과 조직 수 준으로 평가 Kirkpatrick 4단계 모형 (Reaction - Learning - Behavior - Result) Phillips 5단계 모형 (Reaction & Planned Action - Learning - Job Application – Business Impact - ROI)

교육훈련프로그램 효과성 평가 관련 모형 ① IPO 모형 II. 교육훈련프로그램 효과성 평가 개념 및 모형 Bushnell(1990)은 교육훈련과정에의 투입 요소(Input), 과정(Process), 산출(Output) 등을 평가하는 모형으로서 각 하위 영역을 교육훈련프로그램의 특성을 고려하여 범주화 한 후 총체적인 평가를 수행하는 모형을 제시함. 범주 세부내용 투입 평가 (Input) 교육훈련 프로그램의 총체적인 효과성에 기여할 수 있는 요소 범주화 및 평가 - 교육훈련생 자격 요건, 교수자 경험, 교재 유용성, 장비 및 시설 직절성, 교육훈련 비용 등 과정 평가 (Process) 교육훈련 과정에 대한 평가로서 교수목적, 설계기준, 교수전략, 교재 개발 및 선정 등을 평가 산출 평가 (Output) 단기적인 효과로서 교육훈련생 반응, 학습된 지식 및 스킬, 개선된 직무 성과 등을 평가 ※ 기업의 근본적인 향상과 관련된 비교적 장기간에 걸친 성과를 평가하는 결과(Outcome) 평가와는 달리 산출(Output) 평가에서는 교육훈련의 단기 이익 혹은 효과를 평가함 결과 평가 (Outcome) 교육훈련이 조직에 미친 장기적인 효과에 대한 평가로서 이익, 고객만족, 생산성 등을 평가 투입물(Input) 과정(Process) 결과물(Output) 성과(Outcomes) 시스템 성과 지표 - 교육훈련생 자격요건 - 교재 유용성 - 교수자 경험 - 교육훈련비용 가치 부가 활동 - 교육훈련생 반응 - 학습된 지식 및 스킬 - 개선된 직무성과 - 이익 - 고객만족 - 생산성 계획 설계 개발 전달 Feedback Feedback

교육훈련프로그램 효과성 평가 관련 모형 ② CIPP 모형 II. 교육훈련프로그램 효과성 평가 개념 및 모형 Stufflebeam(1973)은 평가가 의사결정에 필요한 정보를 설계, 획득, 제공하는 과정이라는 정의를 바탕으로 CIPP(Context-Input-Process-Product) 평가 모형 제안하였음. 이 모형은 의사결정의 내용과 성격에 관심을 두고 그에 대응하는 평가의 역할을 강조함. 범주 상황평가 투입평가 과정평가 성과평가 목표 기관의 맥랑 정의 대상집단 확인/요구평가 요구충족기회탐색 체제의 역량(system capabilities) 대안적 프로그램 전략 전략 실행을 위한 과정설계 예산 스케줄을 확인하고 평가 프로세스 확인 및 평가 과정설계/실행단계에서의 단점 사전에 계획된 결정들에 대한 정보 제공 과정상의 사건과 활동에 대한 기록과 판단 결과에 대한 판단 및 기술 수집 목표, 맥락, 투입, 과정 간의 연관 가치 해석 방법 체제분석 조사연구 문헌 검토 공청회 인터뷰 진단검사 델파이 기법 이용 가능한 인적․물적 자원 목록작성 및 분석 해결 전략 과정 설계 실행가능성  및 경제성 분석 문헌연구 시범 프로그램 답사 advocate teams pilot trials 잠재적 장애와 예상하지 않은 경고를 확인 계획된 결정에 대한 세부적인 정보 획득 실제 과정 기술 운영 직원과의 계속적 상호작용 및 활동 관찰 결과 기준의 조직적 정의 및 측정 이해관계자들로부터 결과에 대한 판단을 수집 질적/양적 분석 변화과정에서 의사결정과의 관련 요구된 변화를 기획하기 위한 환경, 요구 충족하는 목적, 기회이용, 문제해결과 연관된 목표 등 결정 결과판단 기준 제공 변화활동을 구성하기 위한 지원 자원, 해결 전략, 과정 설계 등을 선택 실행에 대한 판단 기준 제공 효과적으로 과정을 조절하기 위한 프로그램 설계와 과정의 실행 및 개선 결과를 해석하기 위한 실제 과정의 log 제공 변화 활동을 계속할 것인지, 끝낼 것인지, 수정할 것인지, 초점을 다시 맞출 것인지를 결정 결과에 대한 명확한 기록 제시(의도한 것과 의도하지 않은 것, 긍정적인 것과 부정적인 것)

(Reaction evaluation) 교육훈련프로그램 효과성 평가 관련 모형 ③ CIRO 모형 II. 교육훈련프로그램 효과성 평가 개념 및 모형 Warr, Bird와 Rackham(1970)에 의해 개발된 CIRO모형은 C (Context, 상황)에 대한 평가, I(Input, 투입)에 대한 평가, R(Reaction, 반응)에 대한 평가, O(Outcome,성과)에 대한 평가로 프로그램이 도입된 상황과 반응, 성과를 종합적으로 평가 범주 세부내용 상황평가 (Context evaluation) ▪ 프로그램의 목표 설정 ▪ 프로그램 도입의 필요성 확인 등 투입평가 (Input evaluation) ▪ 프로그램에서 사용되는 방법에 대한 장점 분석 ▪ 프로그램을 실시했을 때 얻을 수 있는 효과 분석 ▪ 실시 시간 분석 ▪ 프로그램 시행에 관련된 각 기관들의 상하관계나 조직구조 분석 ▪ 발생할 수 있는 문제에 대한 해결점들을 모색 반응평가 (Reaction evaluation) ▪ 프로그램에 참여한 사람들이 프로그램의 실시 과정에서 가지고 있었던 반응들을 수집하고 분석함   (프로그램의 교육효과나 차후 프로그램의 수정 및 보완에 활용하려는 목적) 결과평가 (Outcome evaluation) ▪ 프로그램의 실시 결과 획득된 산출물들이 프로그램의 목표에 얼마나 부합되는지를 평가 ▪ 목표에 적합한 측정방법의 선정 및 개발 여부 ▪ 프로그램의 측정시기 ▪ 산출물 평가결과의 프로그램 개선에 대한 활용 방법 등

현업적용도(Learning Transfer) 교육훈련프로그램 효과성 평가 관련 모형 ④ Kirkpatrick 모형 II. 교육훈련프로그램 효과성 평가 개념 및 모형 Kirkpatrick(1994)의 4단계 평가모형은 1959년과 1960년대 발표된 것으로 현재까지 교육훈련프로그램 평가에 가장 널리 사용 교육훈련프로그램의 성과를 반응(Reaction), 학습(Learning), 행동(Behavior), 결과(Result)의 4단계로 제시 사용용어 질문의 예 초점 준거 단계 경영성과 비용 감소, 품질 개선, 양적 증가의 관점에서 확인 가능한 성과는 무엇인가? 교육훈련 참가자에 의해 얻게 된 성과 결과 (Results) Level. 4 현업적용도 교육에서 학습한 내용을 직무 상황에 적용하고 있는가? 학습한 내용의 현업적용 행동(Behavior) 현업적용도(Learning Transfer) 학업성취도 원리, 요소, 기법들을 기억/이해 하였는가? 지식, 기술, 태도, 행동의 습득 학습 (Learning) 만족도 교육훈련 참가자는 프로그램에 만족하였는가? 교육훈련 참가자의 만족 반응 (Reaction) Level. 3 Level. 2 Level. 1 조직평가 개인평가 Key Implication Kirkpatrick 모형은 실제 기업이나 공공조직에서 쉽게 활용할 수 있고, 각 평가단계별 논리적이고 실제 적용 가능하도록 제시되었다는 점에서 가장 널리 이용 다만, 각 수준 간에 인과적인 연결이 되지 못하고, 교육훈련의 비용과 이익간의 비교를 할 수 없을뿐더러 교육훈련 결과의 금전적인 가치를 증 명해내지 못한다는 점에서 비판을 받고 있음

교육훈련프로그램 효과성 평가 관련 모형 ⑤ Phillips 모형 II. 교육훈련프로그램 효과성 평가 개념 및 모형 Phillips의 평가모형은 Kirkpatrick의 4단계 평가모형에서 5단계로 발전된 모형으로 ROI(Return On Investment)에 초점을 두어, Kirkpatrick의 4단계 결과(Result)평가를 교육의 사업성과에 대한 기여도(Business Impact)와 ROI로 분리하여 언급 교육의 결과가 사업에 미치는 영향을 측정 사업결과 (Business Impact) Level. 4 교육프로그램 결과에 대한 현업의 행동변화를 측정 현업적용도 (Job Application) 학습자의 지식, 기술, 태도 변화를 측정 학습 (Learning) 교육프로그램에 대한 학습자의 반응을 측정하고 결과를 실행하기 위한 구체적인 계획을 수립 반응 및 실천계획 (Reaction and Planed Action) Level. 3 Level. 2 Level. 1 교육프로그램에 대한 재정적인 결과의 가치와 소요된 비용을 측정 투자회수율 (ROI: Return On Investment) Level. 5 단계 내용 Kirkpatrick 모형과 비교 결과 (Results) 행동 (Behavior) 반응 (Reaction) - Key Implication Phillips는 평가단계를 개별적으로 보지 않고 진정한 교육효과가 일어나기 위해서는 일련의 단계를 순서적으로 거쳐야 한다고 주장 교육훈련프로그램의 투자에 대한 성과를 강조. 교육훈련프로그램의 경제적 효과를 증명하지 못한 기존의 모형을 보완한 모형

교육훈련프로그램 효과성 평가 관련 모형 ⑥ 그 외 결과지향적 평가 모형 II. 교육훈련프로그램 효과성 평가 개념 및 모형 결과지향적 평가모형은 대표적인 형태인 Kirkpatrick모형과 Phillips의 모형 외에 Bell 모형, Xerox 모형, IBM 모형, Seratoga 모형 등 회사별 특징을 살린 독자적인 모형으로 구성되며, 결과에 따라 평가단계를 구분하고 있음. 평가단계 Kirkpatrick Phillips Bell Xerox IBM Seratoga 1단계 Reaction (반응) Reaction & Planned Action (반응 및 실천계획) Reaction Outcomes (반응결과) Entry Capability (교육준비 정도) Training Satisfaction (교육만족) 2단계 Learning (학습) Capability Outcomes (역량결과) End of Course Performance (교육직후 수행) Testing (시험) Learning Change (학습변화) 3단계 Behavior (행동) Job Application (현업적용) Application Outcomes (응용결과) Mastery job Performance (현업수행) Application (응용) Behavior Change (행동변화) 4단계 Result (결과) Worth Outcomes (가치결과) Organizational (조직차원의 업무수행) Business Result (사업결과) Organization Change (조직변화) 5단계 - ROI (교육투자결과)

(Reaction and Planed Action) 교육훈련프로그램 효과성 평가 관련 주요 모형 종합 II. 교육훈련프로그램 효과성 평가 개념 및 모형 대다수의 평가모형은 효과성 평가를 위한 하위 평가 영역을 포함한 형태의 모형으로서 효과성 평가에 있어 반응, 학습, 현업적용도, 사업결과, 투자회수율(ROI) 등을 고려할 필요가 있음을 시사 IPO 모형 투입 (input) 과정 (process) 산출 (output) 결과 (outcome) CIPP 모형 상황 (context) 투입 (input) 과정 (process) 성과 (product) CIRO 모형 상황 (context) 투입 (input) 반응 (reaction) 결과 (outcome) Kirkpatrick 모형 반응 (reaction) 학습 (learning) 행동 (behavior) 결과 (result) Phillips 모형 반응 및 실천계획 (Reaction and Planed Action) 학습 (learning) 현업적용도 (Job Application) 사업결과 (Business Impact) 투자회수율 (ROI) 은 일반적인 효과성 평가 영역 Key Implication 다양한 평가 모형에서 효과성 평가를 위한 영역을 포함하고 있으며, 특히 결과지향적 평가 모형(Kirkpatrick, Phillips)이 효과성 평가 영역과 거의 유사하게 구성되어 있음 효과성 평가에 있어, 반응, 학습, 현업적용도(행동), 사업결과, 투자회수율 등을 고려할 필요가 있음

종합 및 시사점 II. 교육훈련프로그램 효과성 평가 개념 및 모형 교육훈련프로그램 평가모형 및 단계에 대한 관련 자료를 고찰해 본 결과, 농촌진흥청 교육훈련프로그램 현업적용도 및 ROI 평가를 위해서는 효과성 평가의 접근 방향 설정, 결과지향적 평가방법 수행, 교육훈련프로그램 투자에 대한 성과 강조, 평가단계에 적합한 평가방법 및 조건 고려 등이 요구됨 내용 종합 Implication 효과성 평가 개념 1 평가란, 교육훈련 전 과정에 걸쳐 데이터를 수집하고, 데이터를 의미 있는 정보로 전환하기 위한 체계적인 프로세스 효과성 평가는 과정 보다는 결과 중심에 초점을 두고 있음 효과성 평가의 접근 방향 설정 1 효과성 평가는 결과 평가에 초점을 둔 개념으로서, 과정 지향적 평가 모형 보다는 결과지향적 평가모형을 활용하여 모형을 설정할 필요가 있음. 평가모형 구분 2 과정지향적 모형과 결과지향적 모형으로 구분 결과지향적 모형에서 교육훈련프로그램 결과는 학습자 개인 수준과 조직수준으로 구분 결과지향적 평가방법 수행 2 농촌진흥청 교육훈련프로그램 현업적용도 및 ROI 평가는 효과성 평가로서 결과지향적 평가관점 및 모형 등을 고려하여 수행 세부 평가모형 3 CIPP 모형: 의사결정에 관심을 두고 평가의 역할 강조 CIRO 모형: 프로그램이 도입된 상황과 투입, 반응, 성과를 포괄적으로 평가 Kirkpatrick 모형 : 결과지향적 모형, 교육훈련 결과의 금전적 가치를 증명하지 못한다는 비판 받음 Phillips 모형 : ROI에 초점을 두고 있으며, 교육프로그램의 투자에 대한 성과 강조 교육훈련프로그램 투자에 대한 성과 강조 3 농촌진흥청 교육훈련프로그램 평가는 기존의 만족도, 학습성취도 위주의 평가에서 향상된 현업적용도 및 교육결과의 금전적 가치를 증명할 수 있는 대안적 평가를 지속적으로 고려할 필요가 있음 프로그램 평가 단계 4 학습자 만족도, 학습성취도, 현업적용도, 경영성과 기여도, ROI의 5단계로 구분 각 단계에 따라 평가방법, 조건, 정보가치, 고객참여 등은 차별적 평가단계에 적합한 평가방법 및 조건 고려 4 현업적용도 및 ROI 평가에 적합한 평가방법 및 평가조건 등을 사전에 고려하여 평가계획 수립

Ⅰ 서 론 Ⅱ 교육훈련프로그램 효과성 평가 개념 및 모형 효과성 평가의 개념 및 관련 모형 현업적용도 개념 및 측정 방법 SCM 개념 및 측정 방법 ROI 개념 및 측정 방법

교육훈련프로그램을 통해서 습득한 지식, 기술, 태도를 실제 직무에 효과적으로 적용하는 과정 또는 적용하는 정도를 평가하는 것 현업적용도 개념 II. 교육훈련프로그램 효과성 평가 개념 및 모형 현업적용도란 교육훈련 프로그램을 통하여 습득한 지식, 기술 및 태도를 실제 직무(현장)에 얼마나 잘 적용하고 있는지에 대한 평가로서 일반적으로, 학습전이(Learning Transfer) 평가를 말함. 교육훈련프로그램을 통해서 학습되고 파지된 것을 일반화(generalization)하고 유지(maintenance)하는 것 -일반화: 학습한 내용을 현실생활 또는 직무수행상황에서 실제로 적용하여 변화를 가져오는 것을 의미 Baldwin & Ford (1988) 교육훈련프로그램을 통해서 습득한 지식, 기술, 태도를 실제 직무에 효과적으로 적용하는 과정 또는 적용하는 정도를 평가하는 것 Robinson & Robinson (1989) 학습자가 교육훈련에서 획득한 지식, 기술, 태도를 현장에 적용하는 것 Tesluk(1995) 특정 목적을 위한 교육훈련이 의도된 상황 내에서 교육훈련으로부터 획득된 지식, 기술, 태도 등이 활용되는 수준 특정 목적을 위해 학습된 내용이 원래 목표로 했던 상황과 전혀 다른 상황에 적용되는 일반화(Training Generalization)와는 다소 차이가 있을 수 있음 김진모(1997) 교육훈련을 통해서 학습된 지식 및 정보를 현업에서 적용하여 변화된 행동 및 태도를 평가하는 것

현업적용도 모형 ① Noe의 모형 II. 교육훈련프로그램 효과성 평가 개념 및 모형 Noe(1986)는 학습의 전이에 영향을 미치는 동기적 요인과 학습자의 반응, 조직의 환경적 요인 간의 관계를 설명하는 모델을 개발·제시하였음. 이 모형은 실증연구를 통해 조직환경의 효과는 증명하지 못하였다는 한계점이 있음. 조직의 환경에 대한 지각 전이 동기 기대 자기효능성 학습동기 학습 전이 직무태도 훈련에 대한 반응 학습자의 능력 요인 외 학습동기, 훈련에 대한 반응, 전이 동기 등을 통해 전이에 영향을 미칠 수 있음을 밝혔음 자기 효능성, 기대, 동기, 조직 풍토와 같은 요인들의 이론적인 근거가 되었음 Key Implication

현업적용도 모형 ② Baldwin과 Ford(1988)의 모형 II. 교육훈련프로그램 효과성 평가 개념 및 모형 Baldwin과 Ford(1988)은 훈련 투입(training input) 변인, 훈련 성과(training output) 및 전이 상태(transfer condition)로 구분한 모형을 통해 전이 과정을 설명하고자 하였음. 이 모형은 최근까지도 여러 후속 연구들의 이론적 배경이 되는 대표적인 모형임. 요인들간의 영향력 교육훈련 투입 요인 교육훈련 성과 요인 전이상태 번호 효과 설명 직접 전이설계는 학습과 파지에 직접적으로 영향을 준다. 간접 전이설계는 학습과 파지에 영향을 주면서, 일반화와 유지에 간접적인 영향을 미친다. 학습자의 특성은 학습과 파지에 직접적으로 영향을 준다. 학습자의 특성은 학습과 파지에 영향을 주면서, 일반화와 유지에 간접적인 영향을 준다. 작업환경은 학습과 파지에 직접적인 영향을 준다. 작업환경은 학습과 파지에 영향을 주면서, 일반화와 유지에 간접적인 영향을 준다. 학습자의 특성은 교육 동안의 학습이나 학습된 행동의 파지에 관계없이 일반화와 유지에 직접적으로 영향을 준다. 작업환경은 교육 동안의 학습이나 학습된 행동의 파지에 관계없이 일반화와 유지에 직접적인 영향을 준다. 학습의 파지는 일반화와 유지에 직접적으로 영향을 준다. 기술은 전이되기 위해 학습되어야 한다. 학습자의 개인특성 (능력/성격/동기) 4 1 2 2 교육훈련 설계 (학습원리/절차/교육내용) 1 학습과 파지 일반화 및 유지(전이) 6 3 4 작업환경 (상사/동료지원 사용기회/전이풍토 3 5 5 6 학습자의 특성, 교육훈련설계, 조직환경 등의 영향 요인 영역을 잘 분류하여 교육훈련의 투입요소로 설정하고 있음. 각 영역에 대한 하위 요인을 설정하여 산업 조직 내 교육의 전이과정에 대한 전반적인 이해에 큰 도움을 주고 있음. Key Implication

현업적용도 모형 ③ Holton(1998)의 모형 II. 교육훈련프로그램 효과성 평가 개념 및 모형 Holton(1998)이 제시한 Learning Transfer System Inventory(LTSI) 모형은 현업적용도(학습전이)에 영향을 미치는 16개 요인을 추출하여 개념화함으로써, 현업적용도에 영향을 미치는 다양한 요인들에 대한 포괄적인 이해가 가능하도록 구성되어 있음. 학습자 특성 (2차적 요인) 수행에 대한 자기효능감 학습자 훈련준비도 전이동기 전이노력-수행기대 수행-성과기대 동기 피드백/수행지도 동료의 지원 상사의 지원 변화 가능성 개인의 긍정적 성과 개인의 부정적 성과 상사의 제재 작업환경 성과 학습 개인의 수행 조직의 수행 능력 훈련내용의 유효성 전이설계 개인의 전이능력 훈련내용 활용기회 교육훈련에서의 학습이 개인의 수행으로 전이되는데 영향을 미치는 요인들만 포함한 모형으로 교육생의 전이능력, 전이동기, 전이환경 의 구성요소들을 포괄적으로 규명하고, 이들 요인들이 개인의 수행에 어떠한 영향을 미치는지 설명 Key Implication

학습자 또는 팀의 개입(intervention) 현업적용도 모형 ④ Holton과 Baldwin(2003) 의 모형 II. 교육훈련프로그램 효과성 평가 개념 및 모형 Holton과 Baldwin(2003)이 제시한 전이시스템 모형은 훈련과정에서 특정 시점별로 학습전이의 예측변인들이 다를 수 있다는 기본가정을 전제훈련 프로그램의 진행과정에서 특정 시점에서 어떤 변인들이 학습전이와 관련되는지에 대한 체계를 보여줌. 전이거리 모형에 따른 근전이와 원전이 개념 조직의 개입(intervention) 학습상태 또는 과정 내용 설계 학습자 또는 팀의 개입(intervention) 학습자 또는 팀 능력 동기 개인차 사전경험 개인 또는 팀의 성과 근전이(near transfer) 원전이(far transfer) 사전조건 준비 유지 지원 1 2 3 4 5 단계 내용 1 교육을 통해 획득된 지식 2 지식을 활용하는 방법에 대해 학습 즉, Know-how에 해당하는 지식 습득 3 연습(실천)을 통한 수행능력 형성 4 직무상황에서 구체적인 숙달을 위한 활용 가장 유사한 직무나 당초에 교육에서 목적으로 삼았던 직무에 적용 5 활용의 반복과 유지 6 전혀 예상하지 않았던 다른 상황의 직무에도 지식을 변형하여 활용 일반화된 전이 예측변인으로서 학습자, 학습프로그램, 조직환경의 세 영역의 틀을 유지하면서 훈련이 실시되는 전체 과정을 훈련이전부터 전이까지 5개의 시점으로 구분하여 보다 세밀하게 훈련 프로그램의 진행과정을 분류한 후 각 시점별로 개인특성변인과 조직 환경 변인의 예측관계를 설명하고자 함. Key Implication

현업적용도 영향요인 II. 교육훈련프로그램 효과성 평가 개념 및 모형 현업적용도에 영향을 미치는 요인은 다양하며, 프로그램 참여자, 프로그램 설계 및 실행, 프로그램 내용, 적용하는데 미치는 변화, 조직적 상황 등의 5개 요인들이 작용함. 구분 내용 관련 모형 Noe(1986) Baldwin & Ford(1988) Holton(1998) Holton & Baldwin(2003) 교육훈련 프로그램 참여자 개인적 경험, 다양한 배경, 학습에 대한 동기수준, 태도 및 가치관의 차이 등이 교육훈련프로그램에 반영됨 ● 교육훈련 프로그램 설계 및 실행 현업적용도(학습전이)를 위해 교육훈련프로그램을 설계하고 수행하는 과정의 한 부분으로써 교육훈련프로그램 전략 및 기법들을 포함시킬 수 있음 교육훈련 프로그램 내용 교육훈련프로그램 활동을 통해 습득할 수 있는 지식, 기술, 태도 및 신념이 교육훈련프로그램의 내용을 구성함 - 학습한 내용을 적용하는데 요구되는 변화 교육훈련프로그램에서 학습한 내용을 적용하기 위해서는 학습을 적용하는 사람, 직무(전문적인 활동), 조직, 공동체 및 사회 등에서의 변화를 고려 하여야 함 조직적 상황 조직적 상황은 구조적 요인들, 정치적 풍토, 조직의 문화적 환경으로 구성되며 이는 현업적용도(학습전이)를 지원할 수도 방해할 수도 있음 ◐

현업적용도 향상 전략 II. 교육훈련프로그램 효과성 평가 개념 및 모형 현업적용도를 향상시키기 위해서는 교육 시기 즉, 교육 전, 중, 후에 이르는 각 시기에 따라 교육훈련 이수자, 교육훈련 담당자, 교육훈련 지원자(스폰서) 등의 협조적인 역할이 중요함. 교육훈련 시기 관계자 역할 교육훈련 이수자 교육훈련 담당자 교육훈련 지원자 교육 전 프로그램 계획 시 참여한다 무엇이 적용되어야 하는지 명백히 규명해둔다 적용하고자 하는 활동(Activity)을 미리 예상한다 무엇이 성공적인 현업적용을 가능하게 하는가에 대해 함께 정의한다 자신과 다른 사람의 현업적용을 기대한다 조직의 경영전략적 계획과 교육과정을 연계시킨다 지원자, 이수자와 함께 교육을 계획한다 교수를 체제적으로 설계한다 교육훈련생의 참여동기를 파악한다 현업적용의 맥락을 이해한다 이수자들의 준비도를 키운다 프로그램 설계 시 현업적용과 관련된 요소를 포함시킨다 프로그램과 그 추후 활동에 협동학습 요소를 설계한다 성공적인 현업적용의 의미를 토의 또는 협상한다 교육 목표를 확인한다 교육과정에 대한 교육훈련생의 준비를 지원한다 프로그램 계획에 교육생을 참여시킨다 학습의 현업적용을 상사의 수행 수준으로 높인다 긍정적인 교육환경을 제공한다 교육훈련생을 신중하게 선택한다 교육 중 학습활동에 참여한다 지원자 집단을 형성한다 교육경험ㅇ르 자신이 적용할 상황에 연결시켜본다 적용되어야 하는 것을 응용하는 능력을 개발한다 적용과정을 정밀하게 숙고한다 적용과정에 대한 지원과 방해물을 예상한다 현업적용 계획을 세운다 적용가능한 목표를 세운다 실제 사례에 일반적인 원리를 연결한다 적용되어야 하는 것의 관련성, 장점, 그리고 실행가능성을 탐구한다 현업적용을 강화하는 방법을 사용한다 지원자 집단에 기회를 제공한다 현업적용에 방해가 되는 것에 대한 계획을 수립한다 현업적용을 도울 수 있는 보조물을 제공한다 교육훈련 이전으로 다시 돌아가지 않도록 계획하고 실행한다 방해물을 예방한다 현업적용을 촉진하는 것을 파악한다 현업적용 계획의 개발에 참여한다 교육훈련 참여를 모니터링한다 현업적용의 평가를 계획한다 프로그램에 대한 관리적 차원의 지원을 전달한다 교육 후 현업적용의 기회를 물색한다 교육내용과 학습된 기술을 리뷰한다 교육생 간의 모니터링을 실시한다 다른 이수생과의 관계를 유지한다 현업적용을 위한 지원을 찾는다 현업적용과정과 그 효과에 대한 평가 피드백을 제공한다 추후 도움을 제공한다 평가조사를 하고, 피드백을 제공한다 문제해결기간을 제공한다 미래계획에 평가 결과를 사용한다 새 지식 또는 기술을 연습할 기회를 제공한다 업무에 대한 중압감을 덜어준다 긍정적인 강화를 제공한다 동료에게 이수자들이 교육훈련 내용을 프리핑 할 수 있는 시간을 제공한다 연습/실습 기간을 배정한다 현업적용 계획의 수행을 촉진한다 필요한 자원을 제공한다 이수자에게 코치와 멘토를 제공한다 현업적용의 평가에 참여한다

현업적용도 평가 지침 II. 교육훈련프로그램 효과성 평가 개념 및 모형 Kirkpatrick은 현업적용도 평가에 대한 지침으로 직무성과에 근거한 체계적인 측정, 다양한 대상자 활용, 사전-사후비교, 평가시기, 통제집단 활용 등의 내용을 제시하였음. 1 사전-사후 현장에서의 직무성과에 근거한 체계적인 측정을 해야 한다. 2 다음에서 제시된 하나 혹은 그 이상의 그룹으로부터 측정을 해야 한다(대상이 많을 수록 좋음) 교육훈련 이수자 교육훈련 이수자의 상사 교육훈련 이수자의 부하직원 교육훈련 이수자의 동료 또는 이수자의 직무성과를 잘 알고 있는 자 3 사전-사후 성과비교와 변화된 것에 대한 교육훈련 과정과의 연계 등이 통계적으로 분석되어야 한다. 4 교육훈련 이수자에게 교육받은 내용을 업무에 적용할 수 있는 기회를 주기 위하여 사후평가는 3개월 또는 3개월 이상 경과 후에 이루어져야 한다. 5 가능하다면, 교육훈련을 받지 않은 통제집단도 활용되어야 한다. 농촌진흥청 교육훈련프로그램 현업적용도 평가는 사전-사후비교, 학습자 및 상사 평가, 교육훈련 이수 후 3개월 경과 후 평가 등을 통해 체계적인 평가방법 적용 필요 Key Implication

종합 및 시사점 II. 교육훈련프로그램 효과성 평가 개념 및 모형 교육훈련프로그램 현업적용도 개념 및 평가방법에 대한 관련 자료를 고찰해본 결과, 농촌진흥청 교육훈련프로그램 현업적용도 평가 시 현업적용도의 다각적인 측정, 현업적용도 영향요인 고려, 사전-사후비교, 평가 시기 등 체계적인 수행이 필요한 것으로 나타남. 내용 종합 Implication 현업적용도 개념 1 교육훈련프로그램에서 학습자가 학습한 내용의 현업 적용 정도에 대한 평가 교육훈련 효과 측정의 필요성에 따라 평가수행 현업적용도의 다각적 측정 1 현업적용도의 측정을 일반화된 문항을 활용하여 측정하는 방법과 대상 교육과정의 관련 업무를 중심으로 특화된 문항을 개발하여 활용하는 방법이 모두 활용될 필요가 있음. 현업적용도 모형 2 현업적용도에 영향을 미치는 요인(학습자 개인특성, 교육훈련 설계, 작업환경 등)에 대한 개념적 설명 교육훈련프로그램의 진행과정에서 특정 시점에서 어떤 변인들이 영향을 미치는지 설명 현업적용도 영향요인 고려 2 농촌진흥청 교육훈련프로그램 현업적용도에 영향을 미치는 다양한 변인을 현업적용도 모형과 영향요인을 고려하여 선정 현업적용도 영향요인 3 현업적용도 영향요인은 참여자, 프로그램 설계, 프로그램 내용, 적용에 요구되는 변화, 조직상황, 사회적 영향력 등 다양 각 영향요인이 상황에 따라 방해요인 또는 촉진요인으로 작용 사전-사후비교, 평가시기 등 체계적인 수행 3 체계적인 평가수행을 위하여 사전조사, 교육훈련 이수 후 3개월 경과 후 평가시행, 학습자 및 상사 평가 등의 방법을 활용 현업적용도 평가지침 4 현업적용도 측정을 위해서는 사전-사후비교, 평가시기, 통제집단 활용 등을 고려해야 함

Ⅰ 서 론 Ⅱ 교육훈련프로그램 효과성 평가 개념 및 모형 효과성 평가의 개념 및 관련 모형 현업적용도 개념 및 측정 방법 SCM 개념 및 측정 방법 ROI 개념 및 측정 방법

< Brinkerhoff(2008)의 교육훈련 전이관련 연구결과 > SCM 개념 II. 교육훈련프로그램 효과성 평가 개념 및 모형 Success Case Method(이하 SCM)은 교육훈련 종료 후 우수한 현업적용도 또는 직무성과 개선을 보이는 교육훈련 참가자의 경험을 분석하여 교육의 효과와 성패요인을 분석하는 교육훈련프로그램 평가 방법을 말함. 기본 가정 Pareto Principle 전체 결과의 80%가 전체 원인의 20%에 일어나는 현상 즉, 교육훈련 종료 후 현업에 복귀하여 실제 큰 성과를 창출하는 인원은 교육훈련생 중 약 15% A B C 15% 70% 15% 전혀 활용하지 않음 일부 활용하고 있으나 성과 향상에 영향이 없음 업무에 적용하여 명확한 경영성과 창출 < Brinkerhoff(2008)의 교육훈련 전이관련 연구결과 > 개념 교육훈련생 중 탁월한 현업적용이나 직무성과 향상을 보인 15%를 추적하여 이들이 말하는 교육훈련 성과 창출의 개인적 또는 조직적 영향요인을 분석하는 기법 목적 구분 내용 교육훈련 효과성 입증 교육훈련을 홍보하거나 프로그램의 가치를 설득하기 위한 성공사례를 만든다. 교육훈련이 의도한 결과를 얻었는지 확인하기 위해 효과의 특성과 범위를 증명한다. 교육훈련의 실제 효과를 입증하여 회의론자들의 우려를 진정시킨다. 교육훈련을 실행할 것인지의 결정을 내리기 전에 파일럿 프로그램의 효과를 산정한다. 교육훈련의 ROI를 산정한다. 교육훈련 개선 교육훈련의 실제 성과를 산정하여 계속 운영할 것인지 여부를 결정한다. 실제로 교육훈련 참가자의 경험에 근거하여 프로그램을 정비하고 개선한다. 성공적인 현업적용 과정이나 혁신의 성공적인 적용을 지원하거나 방해하는 환경적 요인을 인식시킨다. 직원들이 학습을 적용해 성과를 낼 수 있게 적극적인 지원 역할을 수행할 수 있는 가이드 라인을 만든다. 기타 미래의 참가자들에게 동기와 가이드를 제공하기 위해 초기 참가자들의 교육을 적용하여 얻은 결과 등을 문서화한다.

교육효과모델 개발 (Training Impact Model) SCM 절차 II. 교육훈련프로그램 효과성 평가 개념 및 모형 SCM은 1) SCM 계획, 2) 교육효과모델 개발, 3) 우수 교육훈련 전이자 선정 설문 조사, 4) 우수 교육훈련 전이자 심층 면담, 5) 결론 도출 등 총 5단계의 절차를 통해 수행됨. 단계 내용 SCM 계획 SCM의 목적을 달성하는 데 가장 효과적인 설계를 위한 계획을 수립하는 단계 목적, 주요 이해관계자, 대상 교육훈련, 모집단 및 표본 추출요소, 교육 후 설문 수행까지의 기간, 일정, 가용한 자원, 성공사례 전략 등 8가지 요소를 주로 고려 교육효과모델 개발 (Training Impact Model) 교육훈련의 계획된 효과를 확인하는 데 사용되는 이론적 틀(교육효과모델) 개발 교육훈련 이수 후 얻게 되는 지식과 기술, 학습의 결과가 현업에 적용되는 주요한 방식, 현업 적용의 결과, 학습이 기여하게 되는 부문, 회사 차원에서의 경영성과 등을 주로 고려 우수 교육훈련 전이자 선정 설문 조사 우수 전이사 선정 기준 마련 (※ SCM 목적에 따라 융통성 있게 적용) 설문조사를 통하여 교육훈련 종료 후 뛰어난 현업적용을 보인 우수 교육훈련 전이자 선발 학습의 결과를 현업에 적용하고, 나아가 성과까지 낸 교육훈련생의 비율 산정 우수 교육훈련 전이자 심층 면담 교육훈련을 통한 학습 결과를 현업에 적용하는 데 있어 영향을 미치는 개인적/조직적 특성 요인 도출 교육훈련의 효과를 입증할 수 있는 근거 마련 SCM을 수행한 목적에 따라 설득력 있는 결론 도출 예: 학습 내용의 현업 적용 수준, 시업 성과의 범위 또는 가치, 비용 대비 이익 (ROI) 등 결론 도출

SCM 방법 ① 교육효과모델 개발 시 고려 사항 II. 교육훈련프로그램 효과성 평가 개념 및 모형 SCM의 2단계인 교육효과모델 개발 단계에서 주로 고려되는 사항은 경영 목표, 주요 성과, 결정적 행동, 프로그램 특성 등으로서 이를 파악하기 위하여 관계자 인터뷰, 관련 보고서 및 문헌 자료, 프로그램 목표/교재 등의 검토 등이 요구됨 구분 내용 경영 목표 프로그램의 가치를 정의하고 증명하기 위해 최상위 목표를 정함 프로그램 개발자 및 리더와의 인터뷰 가능한 모든 이해관계자를 대상으로 질문 경영진과 리더와의 대화 사업계획과 전략 백서를 분석 연간보고서 검토 회사 웹사이트 검토 주요 성과 성과측정도구와 직무기술서 검토 프로그램 참가자의 상사와의 인터뷰 학습목표 분석 및 학습목표로부터 현업 적용 추정 프로그램 사례연구 및 예제 검토 가능한 프로그램 참가자와의 인터뷰 결정적 행동 프로그램 목표 분석 가능한 프로그램 참가자 인터뷰 및 상사 방문 직무기술서, 직무 모델, 역량모델 검토 프로그램 특성 실행중인 프로그램의 참관 프로그램 교재 검토

교육훈련의 성과를 가장 잘 나타낼 수 있는 매우 극적인 사례 입증 SCM 방법 ② 우수 교육훈련 전이자 선정 시 고려 사항 II. 교육훈련프로그램 효과성 평가 개념 및 모형 SCM의 3단계인 우수 교육훈련 전이자 선정 설문조사 단계에서 주로 고려되는 사항은 SCM이 활용되는 목적으로서, SCM 목적에 따라 우수 교육훈련 전이자 선정 기준을 차별화하는 것이 필요함. 목적 예시 우수 전이자 선정 기준 설정 방향 교육훈련의 성과를 가장 잘 나타낼 수 있는 매우 극적인 사례 입증 1 설문조사에서 상대적으로 최고 점수를 받은 교육훈련 이수자를 집중적으로 면담 교육훈련 성과를 촉진하는 성공 요인 탐색 2 각각 매우 높은 점수를 받은 이수자를 우수성과자로 선정하여 심층 면담을 통해 성과 도출이 가능했던 핵심적인 성공요인을 도출 각기 다른 팀 또는 직급에서의 효과 분석 3 성공 및 실패 이수자를 구분한 후 심층 면담 면담 내용 분석 시 인구 통계학적 특성, 직무, 직급, 팀 등으로 분류한 후 분석 최종적인 직무상의 성과를 낸 응답자 비율 분석 4 설문조사의 결과를 분류하여 성공이나 적용의 다양한 수준을 정의

SCM 방법 ③ 우수 교육훈련 전이사 심층 면담 내용 II. 교육훈련프로그램 효과성 평가 개념 및 모형 SCM의 4단계인 우수 교육훈련 전이자 심층 면담 단계에서는 우수 전이자를 대상으로 현업 적용 방법, 시기, 환경, 성과와 관련 요인 등에 대해 직접 또는 전화 인터뷰를 수행함 구분 내용 적용 방법, 시기, 환경 교육훈련을 통해 학습한 것을 어떻게 적용하였는가? 누구와 함께 사용했는가? 언제? 어떠한 상황과 환경에서 사용했는가? 궁극적인 성과 교육훈련이 도움이 되어 얻은 가치 있는 결과는 무엇인가? 이 결과가 왜 중요한가? 어떤 경영목표에 기여했는가? 어떤 측정 가능한 변화가 있는가? 변화가 일어났음을 어떻게 알 수 있는가? 그들이 말한 성과가 정말로 성취되었음을 어떻게 증명할 수 있는가? 결과는 얼마나 가치(금전적인 혹은 기타)가 있는가? 성과창출 유발요인 및 저해요인 개인의 레퍼토리나 환경에서 무엇이 도움이 되었는가? 인센티브, 보상, 직업적 목표의식, 작업 요구사항 등 성공에 기여한 특별한 것이 있는가? 상사의 지원(혹은 지원부족)이 도움이 되거나 방해가 되었는가? 그들이 활용한 도구, 정보 자원, 혹은 job aids는 무엇인가? 그들은 왜, 그리고 어떻게 교육훈련에 참가하게 됐는가? 그들의 성공에 원동력이 되는 우선순위, 긴급사항, 다른 참고할 수 있는 환경은 무엇인가? 기타 제안 인터뷰 대상자가 성공을 위해 제안한 것은?(추가적인 프로그램 자료, 도구, 보상, 추가 교육 등) 인터뷰의 개선을 위해 제안을 한다면?

종합 및 시사점 II. 교육훈련프로그램 효과성 평가 개념 및 모형 SCM 개념 및 평가방법에 대한 관련 자료를 고찰해본 결과, 농촌진흥청 교육훈련프로그램 현업적용도 평가 시 SCM을 활용할 경우, SCM의 활용 목적 우선 정립, 적절한 우수 전이자 선정 필요, 고도의 심층 인터뷰 수행 등이 요구됨 내용 종합 Implication SCM 개념 1 교육훈련 종료 후 우수한 현업적용도 또는 직무성과 개선을 보이는 교육훈련 참가자의 경험을 분석하여 교육의 효과와 성패요인을 분석하는 교육훈련 프로그램 평가 방법 교육훈련 효과성 입증, 교육훈련 개선, 성공적인 현업적용의 가이드 라인 마련 등의 목적을 위해 수행 명확한 SCM 목적 정립 1 본 과제의 SCM 목적은 교육훈련 프로그램의 성과를 증명할 수 있는 사례를 발굴하고, 우수성과자의 핵심성공요인을 밝혀 향후 교육과정 개선을 위한 시사점을 도출하는데 있음. SCM 절차 2 SCM 계획, 교육효과모델 개발, 우수교육훈련 전이자 선정 설문 조사, 우수 교육훈련 전이자 심층 면담, 결론 도출 등 5단계를 거쳐 수행 적절한 우수성과자 선정 필요 2 SCM이 우수성과자와의 인터뷰를 통하여 교육훈련 프로그램의 효과성을 입증하고, 성공적인 현업적용 과정을 파악하는 데 주요 목적이 있으므로 우수 전이사 선정을 위한 현업 적용 측정 도구 개발 및 적용, 전이자 선정 기준 정립 및 적용 등을 심도있게 수행할 필요가 있음 SCM 방법 3 교육효과 모델에 있어 경영목표, 주요 성과, 결정적 행동, 프로그램 특성 등을 고려 우수 교육훈련 전이자 선정 설문조사 후 SCM이 활용되는 목적을 고려하여 전이자 선정 기준 정립 필요 우수 교육훈련 전이자 심층 면담은 교육내용의 적용 방법, 시기 및 환경, 현업 적용의 궁극적인 성과, 성과창출 유발 및 저해요인, 기타 교육훈련 및 조직에의 개선사항 등을 포함하여 이루어지는 것이 바람직 고도의 심층 인터뷰 수행 필요 3 인터뷰를 통한 질적 자료에 전적으로 의존하는 방법으로서 보다 심화된 심층 인터뷰가 이루어질 필요가 있음

Ⅰ 서 론 Ⅱ 교육훈련프로그램 효과성 평가 개념 및 모형 효과성 평가의 개념 및 관련 모형 현업적용도 개념 및 측정 방법 SCM 개념 및 측정 방법 ROI 개념 및 측정 방법

BCR(Benefit-cost Ratio) ROI(Return on Investment) II. 교육훈련프로그램 효과성 평가 개념 및 모형 ROI(Return on Investment: 투자회수율)은 프로그램의 순 이익과 프로그램 비용을 비율을 산출한 값으로서 교육훈련의 결과 평가 영역 중 하나임. ROI는 교육훈련의 순 이익만을 고려하는 값으로 교육훈련의 이익 전체를 고려하는 BCR과는 차이가 있음. BCR(Benefit-cost Ratio) ROI(Return on Investment) 이익원가 비율 프로그램의 이익을 프로그램 비용(원가)으로 나눈 것 투자회수율 프로그램의 순 이익을 프로그램 비용(원가)으로 나눈 것 BCR = 프로그램이 창출한 이익 프로그램에 투입된 비용 ROI(%) = 프로그램이 창출한 순이익(총 이익-비용) 프로그램에 투입된 비용 × 100 ROI와 BCR의 개념 비교 < 이익 산출 시 고려사항 > 이익(benefits)은 조직이 교육훈련프로그램을 통해 어떠한 가치를 얻었는 가를 의미 교육훈련비용은 직접, 간접 비용을 포함함 직접비용: 교육훈련 참가자/교수자(강사)/상담자/프로그램 개발자 경비, 프로그램 자료 및 공급 비용, 장비 또는 교실 대여 비용, 구입비, 여행경 비 등을 포함 간접비용: 교육훈련 프로그램의 설계ᆞ개발ᆞ운영과는 직접적인 관련은 없는 비용으로, 사무실 비용, 시설 및 장비 관련 비용, 프로그램에 직접 적으로 들지 않은 여행 경비 및 비용, 교육훈련 부서의 관리비용, 교육훈 련 프로그램과 관련이 없는 직원의 급여, 행정 및 직원 지원 급여 등을 포함 이익원가비율(BCR)은 프로그램의 이익을 원가로 나눈 값으로서 교육결과 예측되는 이익이 교육투자 비용(원가)을 초과하는지 평 가하는 데 초점을 두고 있음 반면, 투자회수율(ROI)은 교육훈련에 든 비용과 교육훈련을 통해 얻어진 순이익의 비율만을 고려함으로써 교육훈련을 통한 금전 적 이익이 어느 정도였는지 평가하는 데 초점을 두고 있음

ROI 프로세스 모형 ① Phillips(1997)의 모형 II. 교육훈련프로그램 효과성 평가 개념 및 모형 교육훈련에 대한 이익 평가는 현실적인 측면에서 비용적 가치를 화폐 가치로 표현하기 어렵다는 단점을 가지고 있음. 이를 보완하기 위하여 Phillips(1997)는 ROI 산출에 필요한 절차를 단계별로 접근하여, 교육훈련 프로그램의 효과를 측정하는 ROI 프로세스 모델을 제시하였음. 자료 수집 계획 단계 1 평가목적, 도구, 단계 및 시기 등 주요 4가지 요인을 고려하여 자료 수집 계획 수립 및 방법 개발 자료수집 프로그램의 효과 분리 자료의 금전적 가치 환산 ROI 산출 평가 도구 평가 목적 평가 시기 평가 단계 프로그램 비용 산출 무형의 이익 확인 1 2 3 4 6 5 7 구분 내용 평가 목적 평가 범위 및 도구, 자료 유형 및 수집 방법 등을 결정하는 주요 기준 일반적으로 1 개 교육훈련에 대해 다수의 평가 목적 설정 평가 도구 ROI 산출 초기에 적절한 평가 도구 개발 또는 선정 조직 풍토 및 평가 환경 고려 평가 단계 ROI는 5단계 평가로서 앞서 반응(1단계), 학습(2단계), 행동(3단계), 결과(4단계) 평가에 영향을 미치게 되는 연쇄과정을 종합적으로 확인 평가 시기 사전/사후 평가 시기를 고려한 자료수집 시기 결정 사전 측정 자료를 구할 수 없는 경우, 일정기간 동안 추수 측정 실시대체로 교육훈련 종료 후 3~6개월로 권장) 자료 수집 단계 2 ROI 평가의 핵심 단계 Hard Data(비용, 시간, 품질 등)와 Soft Data(작업습관, 분위기, 태도 등)을 모두 수집 서베이법, 관찰법, 인터뷰법, 핵심집단 추적법, 교유내용 분석법, 성과모니터링법 등 시행 가능 프로그램 효과 분리 단계 3 대체로 간과되거나 생략되는 단계 교육훈련과 직접적으로 관련이 있는 성취를 판단할 수 요인 규명 통제집단 이용법, 라인분석법, 예측기법, 참가자 평가법, 참가자 직속상관 평가법, 부서장 평가법, 전문가평가법, 고객평가법 등 시행 가능

ROI 프로세스 모형 ① Phillips(1997)의 모형 (계속) II. 교육훈련프로그램 효과성 평가 개념 및 모형 자료의 금전 가치 환산 단계 4 최고 경양자의 주 관심이 되는 주요한 단계 반응, 학습, 행동 및 결과 평가를 통해 수집된 자료를 통해 프로그램의 비용과 비교가 가능하도록 금전적인 환산 시행 다음의 10가지 전략 활용 ROI 산출 단계 6 순이익을 원가로 나누어 ROI 값 산출 일반적으로 ROI는 매우 높게 조사되는 편 대체로 판매 교육, 감독자 교육, 관리자 교육 등에서는 판매실적, 고객만족지수, 이직율 감소 등 누구나 인정할 수 있는 계량지표의 활용이 가능하여 상대적으로 높게 나타남(100% 이상) 단, 기술 및 운영자 교육의 ROI는 상대적으로 낮게 나타남 프로그램 비용 산출 단계 5 프로그램과 관련된 모든 비용 점검 및 계산 다음의 사항들을 필수적으로 포함 무형의 이익 확인 7 대부분의 교육훈련은 금전적 가치와 같은 유형의 효과와 금전적 가치를 밝히기 어려운 무형의 효과를 산출 이 단계에서는 금전적 가치로 전환되지 않는 다음의 항목을 규명하여 제시할 수 있도록 함 자료의 산출 참가자 분석 품질개선에 의한 비용 절감 직속상사 분석 시간 절감 경영진 분석 역사적 원가 교육담당자 분석 전문가 의견 청취 외부연구 의뢰 프로그램 설계 비용 교육생 교통비 프로그램 개발 비용 교육생 숙식비 교육자료 비용 교육생 급여 강사 비용 교육생 복리후생비 퍼실리테이터 비용 교육 관련 관리비 시설 사용료 각종 간접비 등 교육훈련 진행 비용 업무 만족도 증가 조직 기여도 증가 팀웍 향상 고객서비스 개선 불평 불만 감소 갈등 감소 등

ROI 프로세스 모형 ② 고윤석(2005)의 모형 II. 교육훈련프로그램 효과성 평가 개념 및 모형 고윤석(2005)의 ROI 프로세스 모델은 5단계 15과정으로 Phillips ROI 프로세스 모델보다 세분화되어 있으며, 요구분석과 평가프로젝트를 수립하는 평가준비 단계에서 평가완료 단계까지를 체계적으로 제시 1 2 3 4 학습자 반응 학습 성취도 현업적용도 기여성과 1 2 3 4 요구 분석 평가 프로 젝트 수립 HR 프로 그램 목표 수립 자료 수집 계획 ROI 분석 계획 보고 계획 개발 시행 계획 HR 프로 그램 시행전 자료 수집 HR 프로 그램 시행중 자료 수집 HR 프로 그램 시행후 자료 수집 자료 분석 ROI 8스텝 무형적 효과 추정 결과 보고 반응 분석 및 피드백 평가준비 평가계획 자료수집 ROI 계산 평가완료 Phillips 모델과의 차이점으로 ROI 분석을 위한 전체 프로세스를 도식적으로 제시하였음. 그 외에도 공식화된 계산 방식과 프로그램 유형별 ROI 계산 방법을 제시하여 자료 분석의 신뢰성과 용이성을 높임. Key Implication

ROI 평가 지침 II. 교육훈련프로그램 효과성 평가 개념 및 모형 효과적인 ROI 프로세스를 시행하기 위해서는 이해당사자인 교육 담당자, 경영자 또는 관리자, 조사자 등 세 집단의 요구를 만족시킬 필요가 있음. 이를 충족하기 위해서는 단순성, 경제성, 신뢰성, 이론적 건전성, 다른 요인들에 대한 고려, 적절성, 유연성, 적용가능성, 비용포함, 성공적인 실적 등이 고려되어야 함. 단순성 복잡한 식이나 긴 공식, 복잡한 방법론은 사용해서는 안됨 통계적으로 완벽성을 추구하다가 결국 너무 복잡해져서 대부분의 ROI가 사용할 수 없게 되었음 적절성 ROI 프로세스는 다양한 HR 프로그램에 적절하게 활용될 수 있어야 함. 이상적으로는 ROI는 모든 HR프로그램에 적용 가능해야 함 유연성 HR 프로그램의 시행 전 뿐만 아니라 시행 후에도 적용 가능하도록 ROI는 유연성을 가지고 있어야 함 경제성 쉽게 적용해야 하고, 특별한 자원을 투입하지 않고서 가능해야 함 적용가능성 결과,품질,비용, 시간과 같은 소프트 데이터 뿐만 아니라 직무만족도, 고객만족, 결근, 이직, 분규, 소송 등 하드 데이터에도 적용할 수 있어야 함 신뢰성 ROI를 계산하기 위한 가정, 방법론, 결과는 반드시 신뢰할 수 있어야 함 논리적이고 방법론적인 절차 필요 비용의 포함 ROI 프로세스는 반드시 비용이 포함되어야 함. 비용은 가능한 모든 항목을 포함하도록 하며, 생략하거나 축소 반영하게 되면 ROI의 신뢰성을 떨어짐 이론적 건전성 ROI 프로세스는 반드시 이론적으로 건전해야 하며, 일반성을 확보해야 함 다른 요인들에 대한 고려 결과에 영향을 미치는 다른 요인들에 대해서도 고려해야 함. 즉, 경영성과에 영향을 미친 다른 요인의 효과를 구별하여 HR 프로그램의 공헌도를 정확하게 나타내야 함 성공적인 실적 다양한 사례 적용을 통한 성공적인 실적이 있어야 함. 효과적인 ROI 프로세스의 적용을 위해서는 시행착오의 과도기가 필요하며, 사용자들에게 효용성을 입증해야 함

ROI 신뢰도 제고방안 II. 교육훈련프로그램 효과성 평가 개념 및 모형 교육훈련프로그램 ROI 평가의 신뢰도를 제고하기 위하여 자료선택 및 계산방식에서 보수적인 접근방법을 취하며, 향상도는 신뢰수준 비율로 조정하거나, 신뢰도를 고려하여 금전적 가치를 조정하도록 함 1 자료를 제공하지 않는 참가자들의 경우에 이들은 보고할만한 성과향상이 없다고 가정한다. 이 경우는 매우 보수적인 접근이다. 2 가장 신뢰할 수 있는 자료원을 사용하여 평가한다. ROI 분석에는 하드데이터를 사용하고, 가능할 경우에 한해 소프트데이터를 활용한다. 3 가치는 현실성, 유용성, 가시성으로 확인할 수 있어야 하고 극단의 가치는 분석대상에서 제외한다. 4 향상도가 연간수치화 되기 때문에 단기 프로그램의 경우 1년 이후에는 교육훈련에 따른 효과가 없다고 가정한다. 5 향상도는 신뢰수준의 비율을 곱하여 조정한다. 신뢰수준은 달리 말하면 참가자가 제시한 오차 비율이다. 보수적으로 낮은 수치를 사용한다. 즉, 신뢰도를 성과향상에 따른 금전적 가치에 곱한다. 6 직접 신뢰도를 곱하여 성과향상에 따른 금전적 가치를 조정한다. 신뢰도를 곱하여 계산된 금전적 가치가 프로그램 총 이익이 된다. 7 소집단이나 일부 참가자를 대상으로 분석을 실시하여 프로세스의 정확성을 높인다. ROI 산출 또는 평가에 있어 자료의 선택 및 분석(계산)방식에서 보수적인 접근방법을 취하며, 신뢰도를 고려하여 금전적 가치를 조정할 필요가 있음. Key Implication

종합 및 시사점 II. 교육훈련프로그램 효과성 평가 개념 및 모형 교육훈련프로그램 ROI 개념 및 측정방법에 대한 관련 자료를 고찰해본 결과, 농촌진흥청 교육훈련프로그램 ROI 평가 시 교육훈련 결과의 금전적 가치 평가 필요, ROI를 활용하기 위한 사전조건 충족, 체계적이고 신뢰로운 ROI 평가 수행 등이 요구됨. 내용 종합 Implication ROI 개념 ROI는 교육훈련에 든 비용과 금전적 이익을 비교하는 것으로, 교육훈련프로그램이 창출한 순이익을 투입된 비용으로 나눈 값 비용에는 직접비용, 간접비용을 모두 포함 1 교육훈련 결과의 금전적 가치 평가 필요 1 농촌진흥청 교육훈련프로그램 평가는 교육훈련 투자의 금전적 가치를 증명할 수 있는 ROI의 지속적인 평가 필요 ROI 활용조건 2 ROI를 활용하기 위한 조건은 단순성, 경제성, 신뢰성, 이론적 건전성, 다른 요인들에 대한 고려, 적절성, 유연성, 적용가능성, 비용포함, 성공적인 실적 등 10가지 조건을 가짐 2 ROI를 활용하기 위한 사전조건 충족 농촌진흥청 교육훈련프로그램 ROI 평가는 이를 활용하기 위한 단순성, 논리적인 절차, 무형적 요인 고려, 비용포함 등의 조건을 충족하도록 시행 ROI 프로세스 모델 ROI 프로세스 모델은 수행과정(준비-계획-자료수집-자료분석- 보고)에 따라 세부 과정으로 구성 절차적 ROI 프로세스 모델은 공식화된 계산방식을 제시하고 있어 자료분석의 신뢰성을 높임 3 3 체계적이고 신뢰로운 ROI 평가 수행 ROI 프로세스 모델과 신뢰도 제고방안을 고려하여 농촌진흥청 교육훈련프로그램에 적합한 ROI 평가모형 설계 공식화된 계산방식(ROI 8스텝)을 준수하여 ROI 계산 ROI 신뢰도 제고방안 4 자료선택 및 계산방식에서 보수적인 접근방법을 취하며, 신뢰도를 고려하여 금전적 가치를 조정

Ⅰ 서 론 Ⅱ 교육훈련프로그램 효과성 평가 개념 및 모형 Ⅲ 교육훈련프로그램 효과성 평가 우수 사례 국가 및 공공기관 교육훈련 평가 우수 사례 민간기업 교육훈련 평가 우수 사례 종합 및 시사점

행정안전부 사례 III. 교육훈련프로그램 효과성 평가 우수사례 행정안전부는 중앙부처 공무원 교육훈련기관의 현업적용도 평가 확산을 위해 현업적용도 평가 모형과 도구 활용 방법을 개발하여 활용하고 있음. 이 모형의 경우 다양한 영향요인을 함께 구성하여 현업적용도 결과의 원인을 파악할 수 있는 구조로 제시되어 있음. 현업적용도 평가모형 평가도구 평가 특징 현업적용도동기 현업적용도 영향요인 문항 수 자기효능감 4 현업적용도 동기 메타인지 교육내용의 직무 관련성 3 현업적용도 설계 상사지원 5 동료지원 현업적용도 현업적용도를 측정하기 위한 일반화된 문항을 제시하여 각 공무원 교육훈련기관에서 활용할 수 있도록 표준화 되어 있음. 7개의 현업적용도 영향요인을 함께 구성하여 현업적용도 결과의 원인 해석이 가능함. 도구의 문항 수를 최소화 하여 활용도를 높임. 메타인지 자기효능감 현업적용도 현업적용도설계 교육내용의 직무관련성 상사의 지원 동료의 지원 현업적용도 평가 모형에 현업적용도와 영향요인을 함께 구성하여 원인 파악을 가능케 함. 영향요인의 구조가 제공되지 않으며, 각 변인의 개념이 어려워 분석 결과를 활용하는데 제한점이 있음. Key Implication

중앙공무원교육원 사례 III. 교육훈련프로그램 효과성 평가 우수사례 중앙공무원교육원은 Kirkpatrick의 4단계 평가모형에 따라 반응(Level 1), 학습(Level 2), 행동(Level 3), 결과(Level 4) 평가를 실시하였음. 현업적용도 평가는 사전사후 설문조사를 통해 실시하였으며, 결과 평가는 기본 교육과정에 대해 1인당 교육비를 산출하여 투자효과를 분석하였음. 평가 단계 평가도구 및 방법 평가 특징 Level. 4 기본교육과정별 1인당 교육비 산출 분석 투자효과 분석 교육과정별 3-4단계 평가 과정을 선정하고, 현업적용도 및 투자효과 분석 현업적용도 평가를 위해서 과정별 기대행동에 대해 사전/사후 설문조사 실시 투자효과분석은 기본교육과정에 대해서 1인당 교육비를 산출 Level. 3 과정별 기대행동 도출을 통하여 현업에서의 적용도 평가 일부 과정(예: HRD 담당자 과정)에 대해서 실시 현업적용도 평가 Level. 2 과정별 지필검사 실시 학업성취도 평가 Level. 1 집합과정에 대한 만족도 설문조사 실시 과정 만족도 평가 현업적용도 평가(Level 3)는 과정별 기대행동을 도출하여 현업에서의 적용도를 평가하기 위한 사전/사후 설문조사 실시 결과 평가(Level 4)는 기본교육과정에 대해서 1인당 교육비를 산출하여 분석 Key Implication

지식경제공무원교육원 사례 III. 교육훈련프로그램 효과성 평가 우수사례 지식경제공무원교육원은 Phillips의 5단계 평가모형에 따라 반응(Level 1), 학습(Level 2), 행동(Level 3), 결과(Level 4), 투자회수율(Level5) 평가를 실시하였음. 현업적용도 평가는 사전사후 진단을 통해 실시하였으며, 경영성과 및 ROI 평가는 성과 지표를 산정하여 일부 과정에 대해 선택적으로 실시하였음. 평가 단계 평가도구 및 방법 평가 특징 Level. 5 교육훈련을 통한 성과에 대한 ROI 평가 실시 매년 평가 실시 중 ROI 평가 기존의 4단계 평가를 5단계로 확장하여 평가 실시 전이행동요소를 추출하여 평가문항을 개발하여 현업적용도 측정 4, 5단계 평가는 일부 과정을 대상으로 평가 실시중 Level. 4 ROI 평가와 함께 경영성과 기여도 평가 실시 매년 평가 실시 중 경영성과 기여도 평가 Level. 3 사전/사후 진단(교육 전/직후/3-6개월 후) 실시 행동사례 도출, 역할영역 설정, 학습목표 설정, 전이 행동 요소 추출의 단계에 따른 평가문항 활용 현업적용도 평가 Level. 2 학습목표, 필수학습요소 도출을 통한 지필 평가 실시 학습 성취도 평가 Level. 1 집합교육 만족도 평가(강사별 만족도, 총괄) 실시 사이버교육 만족도 평가 실시 학습자 만족도 평가 현업적용도 평가(Level 3)는 전이행동 요소를 도출하고, 사전 및 사후 검사를 통해 학습전이 평가 ROI 평가(Level 4, 5)는 교육훈련을 통한 성과 지표를 산정하여 일부 과정에 대한 시범 평가 실시 Key Implication

교육과학기술연수원 사례 III. 교육훈련프로그램 효과성 평가 우수사례 교육과학기술연수원은 현업적용도(Level 3) 평가에 초점을 두고 만족도, 학습, 현업적용도 및 직무성과 향상도를 평가하였음. 현업적용도 평가를 위하여 서베이 외 SCM, 심층 인터뷰 방법 등이 활용되었음. 평가 단계 평가도구 및 방법 평가 특징 참가자에 의한 추정방법 활용 설문조사 및 심층 인터뷰 실시 성과항목 선정→역량향상도 측정→해당성과의 업무 기요도 측정 →답변에 대한 신뢰도 측정 등의 절차를 통해 개발 직무성과 향상도 평가 Level. 4 현업적용도 평가를 위하여 1) 정량적 평가를 위한 서베이 방법과 2) 정성적 평가를 위한 SCM 활용 직무성과향상도 산출에 있어 Phillips(2002)의 방법을 수정·보완하여 적용 현업실무와 연관성이 높은 프로그램을 대상으로 실시 학습경험 실무 활용도, 직무수행능력향상도, 직무성과 향상도, 주변 평판도, 교육훈련 내용과 업무 간의 관련성, 업무도움도, 학습경험 적용상의 장애 및 촉진요인 등 평가 사전사후 설문조사, FGI, 실행계획서 작성 및 분석 방법 활용 현업적용도 평가 Level. 3 학업 성적 평가와 학업 향상도 평가로 구분 학업 성적 평가: 학습평가, 연구활동 평가, 학습참여 또는 활동 평가 학업향상도 평가: 사전사후평가 학습평가 Level. 2 과정별 만족도 조사 실시 교육프로그램 운영 중 또는 종료 직후 원격교육의 경우, 온라인을 통한 조사 실시 만족도 평가 Level. 1 양적 및 질적 방법을 동시에 활용하여 다양한 형태의 자료 수집 및 분석이 가능하도록 함 직무성과향상도 평가에 있어 조직이 처한 상황과 조건을 고려함 Key Implication

보건복지인력개발원 사례 III. 교육훈련프로그램 효과성 평가 우수사례 보건복지인력개발원은 Kirkpatrick 모형을 조직의 상황에 맞추어, 교육만족도, 현업적용도 및 고객만족도 평가를 실시하였음. 평가 단계 평가도구 및 방법 평가 특징 전 교육과정을 대상으로 실시 표본추출 후 직접방문 서면설문조사 실시 PCSI모델에 따른 조사내용 구성 고객만족도 단계 3일 이상 소요되는 교육과정을 대상으로 실시 매 분기 종료 후 1~3개월 후 표본추출 후 전화 면접 조사 실시 교육을 통한 실제적 업무 적용도, 업무성과 기여도, 지식향상 정도 등 조사 현업적용도 평가 매 교육훈련과정 종료 직후 서면설문조사/전수조사 교육효과성, 교육과정 적절성 등 조사 만족도 평가 Level. 4 Level. 3 Level. 1 평가의 전문성 및 객관성 담보 수행 전문성: 외부기관 위탁, 자체평가 설문지 외부전문가 검수 등 객관성: 독립된 평가전담 부서 수행 각 평가 단계의 목적 및 특성을 고려한 차별적인 평가 설계 직접방문 등 조사의 회수율 제고 노력 각 평가단계에 따른 평가 설계 구체화 및 실행 평가의 전문성 및 객관성 확보 전략 실행 Key Implication

중소기업연수원 사례 III. 교육훈련프로그램 효과성 평가 우수사례 중소기업진흥공단 중소기업연수원은 서베이법과 SCM을 혼용하여 교육훈련과정의 현업적용도 평가를 실시하였음. 또한, 중소기업연수원은 현업적용도 평가 시 관련 영향 요인을 규명·조사하여, 평가 결과를 심층적으로 해석하고, 현업적용도를 제고하고자 하는 방안을 제시할 수 있었음. 전문가 FGI를 통한 체계적인 조사 도구 개발 과정 양적 방법과 질적 방법을 동시에 고려하여 다양한 평가 자료 수집 현업 적용도 제고를 위한 평가 설계(관련 영향요인 규명 등) Key Implication 평가도구 및 방법 평가 특징 현업적용도 평가를 위하여 1) 정량적 평가를 위한 서베이 방법과 2) 정성적 평가를 위한 SCM 활용 현업적용도 평가 시, 현업적용도에 영향을 미치는 각종 요인에 대한 조사를 실시하여 심도 있는 분석이 가능하도록 함 서베이법 1 SCM 2 대상 교육프로그램 개설 빈도, 총 수료생 수, 교육프로그램 지속성, 경영진 요구, 현업적용도 측정가능성, 평가지원 가능성 등을 고려하여 현업적용도 평가가 가능하다고 판단되는 교육훈련과정의 이수자(교육운영자와 협의) 방법 이메일 조사 도구개발 현업적용도 평가(서베이) 결과 최상위 그룹 3명 및 최하위 그룹 3명 전화인터뷰 실시 현업에서 실질적으로 활용한 교육내용 현업적용에 도움이 되는 개인, 조직 및 기타 요인 등 조사내용

Ⅰ 서 론 Ⅱ 교육훈련프로그램 효과성 평가 개념 및 모형 Ⅲ 교육훈련프로그램 효과성 평가 우수 사례 국가 및 공공기관 교육훈련 평가 우수 사례 민간기업 교육훈련 평가 우수 사례 종합 및 시사점

LG 인화원 사례 III. 교육훈련프로그램 효과성 평가 우수사례 LG 인화원은 Kirkpatrick의 4단계 평가모형에 따라 반응(Level 1), 학습(Level 2), 행동(Level 3), 결과(Level 4) 평가 실시 평가 특징 LGWay를 조직KPI로 설정 현재 모든 계층 교육과정을 LGWay 중심으로 개편 현업적용도에 대한 기존 360평가의 평가 오류를 극복하기 위하여 SRT(Situational Reaction Test; 상황 반응 검사) 형태의 평가 툴 개발 및 활용 평가 단계 평가도구 및 방법 LG인화원 주관으로 LGWay 체화도를 학습자 대상으로 진단 LGWay 체화도 Level. 4 과정별 기대행동 도출을 통하여 현업에서의 적용도 평가 상황반응검사를 통한 self test 현재 1급 진급 과정에서만 실시 1-4급 과정별 학습전이 평가 1~4급 과정별 지필검사 실시 사전/사후 테스트 과정별 학습 평가 8개 영역에 대한 만족도 조사 실시 과정별 만족도 평가 Level. 3 Level. 2 Level. 1 현업적용도 평가는 과정별 기대행동을 도출하여 현업적용도를 평가하고, 기존 오류를 극복하기 위한 고유의 평가 툴을 개발하여 활용 결과 평가는 그룹 연수원 차원의 조직 KPI를 설정하고, 교육훈련에 따른 성과 도출 Key Implication

삼성전자 리더십 개발 센터 사례 III. 교육훈련프로그램 효과성 평가 우수사례 삼성전자 리더십 개발 센터는 Kirkpatrick의 4단계 평가모형에 따라 반응(Level 1), 학습(Level 2), 행동(Level 3), 결과(Level 4) 평가 실시 평가 단계 평가도구 및 방법 평가 특징 Level. 4 전사 차원의 진단 실시 GWP 지수 GWP지수를 삼성전자 리더십 개발센터의 중요 KPI로 설정 GWP 진단 결과에 따라 개선을 위한 피드백/ 컨설팅 활동을 수행 리더십 개발 프로그램은 GWP의 5개 영역과 철저히 Align Level. 3 GWP의 6가지 영역에 따라 각 리더십 교육과 연계된 기대행동을 도출하여 평가 360도 평가 GWP 기대행동 Level. 2 BLC, TLC, SLC 영역별 지필고사 실시 사전/사후 테스트 BLC, TLC, SLC 학습평가 Level. 1 과정별 만족도 조사 과정별 만족도 평가 현업적용도 평가(Level 3)는 교육목표와 연계된 기대행동을 도출하고, 학습자/상사/동료들을 대상으로 360도 평가를 실시 결과 평가(Level 4)는 전사 차원에서 지수를 설정하고, 교육훈련에 따른 경영성과를 도출 Key Implication

CJ 인재원 사례 III. 교육훈련프로그램 효과성 평가 우수사례 CJ 인재원은 Phillips의 5단계 평가모형에 따라 반응(Level 1), 학습(Level 2), 행동(Level 3), 결과(Level 4), 투자회수율(Level5) 평가 실시 평가 단계 평가도구 및 방법 평가 특징 Level. 5 교육훈련을 통한 경영성과 및 이윤에 대한 ROI 평가 실시 ROI 평가 CJ 가치경영체계에 대한 핵심가치 실천도를 개발하여 평가 실시 교육훈련을 통한 ROI 평가 실시 HR 성과(Level 4, Level 5)와 연계된 교육과정 평가를 위해 평가 툴 및 도구 개발 교육과정의 목적과 특성에 맞는 차별적 평가전략 계획 Level. 4 CJ 핵심가치 실천도 개발 및 측정 CJ 가치 체계화 Level. 3 기대행동 도출을 통해 사전/사후 진단 실시 교육 전 2주, 교육 수료 후 1-3개월 후 측정 학습전이 평가 Level. 2 과정별 지필검사 실시 사전/사후 테스트(교육 직전, 종료 직후) 지필 테스트 Level. 1 교육과정 종료 직후 과정 전체 및 모듈 단위 만족도 조사 실시 반응(만족도) 평가 현업적용도 평가(Level 3)는 기대행동을 도출하고, 사전 및 사후 검사를 통해 학습전이 평가 ROI 평가(Level 4, 5)는 교육훈련을 통한 경영성과 및 이윤에 대한 ROI 지표를 산정하고 평가 Key Implication

포스코 연수원 사례 III. 교육훈련프로그램 효과성 평가 우수사례 포스코 연수원은 현업적용도(Level 3) 평가에 초점을 두고 반응(Level 1), 학습(Level 2), 행동(Level 3) 평가 실시 평가 단계 평가도구 및 방법 평가 특징 POSCO 가치교육에 대한 현업적용도 평가 실시 180도, 270도 평가 과목별/대상자별 측정 결과 비교 현업적용도 평가 과정별 지필검사 실시 사전/사후 테스트 학습평가 과정별 만족도 조사 만족도 평가 Level. 3 Level. 2 Level. 1 현업적용도 측정을 위해 핵심가치별 지향점, 행동요소, 행동지표 도출 현업적용도는 과목별/대상자별 측정 후 측정결과를 활용하여 향후 과정 개선에 활용 그룹의 궁극적 지향점에 따라 핵심가치와 그룹 인재상을 평가에 반영 현업적용도 평가(Level 3)는 핵심가치별 지향점, 행동요소, 행동지표를 도출하고, 학습자와 상사를 대상으로 180도/270도 평가를 실시 Key Implication

Ⅰ 서 론 Ⅱ 교육훈련프로그램 효과성 평가 개념 및 모형 Ⅲ 교육훈련프로그램 효과성 평가 우수 사례 국가 및 공공기관 교육훈련 평가 우수 사례 민간기업 교육훈련 평가 우수 사례 종합 및 시사점

종합 및 시사점 III. 교육훈련프로그램 효과성 평가 우수사례 국가 교육훈련기관 및 기업 연수원의 현업적용도 및 ROI 평가 사례를 분석한 결과, 현업적용도 평가 시 사전/사후 평가, 학습자/상사의 다면평가를 실시하고, ROI 평가 시 전체 교육훈련 체계 속에서 HRD의 경영기여 성과를 도출할 필요가 있음. 내용 종합 Implication 평가 단계 국가 교육훈련기관 및 기업 연수원에서 최소한 Level 3 (현업적용도) 평가를 실시 조직의 KPI에 따라 교육훈련의 성과에 대한 ROI 평가 실시 1 현업적용도 및 ROI 평가 지속적 수행 1 농촌진흥청 교육훈련프로그램 평가는 현업적용도 및 ROI 평가를 지속적으로 수행함으로써 교육훈련의 경영 기여 성과를 도출해야 함 평가도구 2 현업적용도 평가 : 기대행동 도출을 통한 사전/사후 검사 실시, 일부 기관에서는 SCM 활용 ROI 평가 : 교육훈련을 통한 성과 지표 산출 2 사전/사후 검사를 통한 평가 정교화 교육 전, 교육 종료 3개월 후 등 검사 시기를 다양화하여 교육훈련 프로그램의 성과를 정교하게 측정해야 함 평가방법 사전/사후(교육 직전, 교육 종료 후, 교육 종료 3개월 후) 검사를 통한 현업적용도 측정 정교화 학습자/상사/동료 등 평가 대상자 다양화 3 3 평가 대상자를 다양화하여 신뢰도 증진 기존의 학습자만을 대상으로 한 평가 이외에 상사, 동료 등에 대한 평가를 실시하여, 교육훈련 프로그램의 효과성에 대한 평가 결과의 신뢰도를 높일 필요가 있음 평가결과 활용 기업 연수원에서는 그룹의 핵심가치에 따라 교육체계를 설정하고, 교육훈련 프로그램에 대한 현업적용도 및 ROI 평가를 통해 HRD 성과 도출 4

Ⅰ 서 론 Ⅱ 교육훈련프로그램 효과성 평가 개념 및 모형 Ⅲ 교육훈련프로그램 효과성 평가 우수 사례 Ⅳ 교육훈련프로그램 효과성 평가 모형 개발 Ⅳ 현업적용도 평가 모형 개발 SCM 모형 개발 ROI 평가 모형 개발

현업적용도 평가모형 IV. 교육훈련프로그램 효과성 평가 모형 개발 4개 교육훈련 프로그램의 현업적용도 평가모형은 현업적용에 직접 또는 간접적으로 영향을 미치는 요인과 교육훈련 프로그램 이수 후 현업적용도를 측정하는 요인으로 구분됨. 여기서 영향요인은 개인특성, 교육과정, 조직환경 요인으로 구분되었으며, 현업적용도는 전체 현업적용, 업무별 현업적용으로 구분되었음. 현업적용도 영향요인 현업적용도 측정요인 특징 과정참여도 개인특성 요인 1 교육훈련프로그램 개선사항 도출을 위해 현업적용도 자체만으로 측정하는 것이 아니라 현업적용도 측정요인과 영향요인을 동시에 측정 업무활용도 과정이해도 전체 현업적용도 능력향상도 적용자신감 성과향상도 업무관련성 교육과정 요인 평판향상도 업무도움도 2 현업적용도 측정은 공통 과정요인(전체 현업적용도) 이외에 교육 대상자의 실제 업무 수행에 관한 업무별 현업적용도 측정 강사적절성 업무별 현업적용도 교육과정별 관련 업무별 현업적용도 적용기회 조직환경 요인 상사지원 동료지원

현업적용도 측정도구 ① 영향요인 IV. 교육훈련프로그램 효과성 평가 모형 개발 현업적용도 영향요인은 4개 교육과정 이수 후 현업적용에 영향을 미치는 변인과 관계된 요인들로서, 개인특성 요인, 교육과정 요인, 조직환경요인으로 구분됨. 각 요인의 특성을 고려하여 개인특성, 교육과정 요인은 교육직후, 조직환경 요인은 교육 종료 3개월 후에 측정함. 영역 지표 문항 측정시기 개인특성 요인 과정참여도 해당 교육훈련 프로그램에 적극적으로 참여하였다 교육 종료 3개월 후 과정이해도 해당 교육훈련 프로그램에서 교육 받은 내용을 잘 이해하였다 적용자신감 해당 교육훈련 프로그램에서 교육 받은 내용을 적용하는데 자신감이 생겼다 교육과정 업무관련성 해당 교육훈련 프로그램의 교육내용은 실제 업무와 관련성이 높았다 업무도움도 해당 교육훈련 프로그램의 교육내용은 실제 업무수행에 도움이 되었다 강사적절성 해당 교육훈련 프로그램의 강사는 실제 업무에 적용 가능한 내용을 알려주었다 조직환경 적용기회 해당 교육훈련 프로그램에서 교육 받은 내용을 활용할 기회가 주어졌다 상사지원 상사는 해당 교육훈련 프로그램에서 교육 받은 내용을 업무에 활용할 수 있도록 지원한다 동료지원 동료들은 해당 교육훈련 프로그램에서 교육 받은 내용을 업무에 적용하는 것에 지지를 보내준다

현업적용도 측정도구 ② 전체 현업적용도 IV. 교육훈련프로그램 효과성 평가 모형 개발 현업적용도 측정도구는 선행연구 분석을 통해 전체 현업적용도 측정도구와 특정 교육훈련 프로그램 현업적용도 측정도구로 이원화하여 개발하였음. 이 중 전체 현업적용도는 일반화된 현업적용도 측정도구를 활용하여 각 4개 교육훈련 프로그램 전반에 걸쳐 적용할 수 있도록 개발, 반면 특정교육훈련 프로그램 현업적용도 측정도구는 각 교육훈련 프로그램의 내용을 고려하여 별도 개발 현업적용도 측정도구 이원화 1 전체 현업적용도 측정도구 연구자 현업적용도 측정도구 특징 이도형(1995), 최창환(2008), 한안나(1999) 등 일반화된 현업적용도 측정도구 대개 4-5개 문항 리커트 척도로 구성 김진모 외(2006), 나승일 외(2007), 박영용(2006), 이성(2004) 등 행동관찰척도형 측정도구 교육훈련프로그램의 학습목표와 필수학습 요소를 바탕으로 추출 항목 문항 업무활용도 해당교육과정에서 교육 받은 내용을 업무에 활용하였다. 능력향상도 해당교육과정을 통해 직무수행능력이 향상되었다. 성과향상도 해당교육과정을 통해 업무성과가 향상되었다. 평판향상도 해당교육과정을 통해 상사나 동료로부터 업무수행이 향상되었다는 이야기를 들었다. 전체 현업적용도 측정도구 업무별 현업적용도 측정도구

현업적용도 측정도구 ③ 업무별 현업적용도 (2) IV. 교육훈련프로그램 효과성 평가 모형 개발 2 업무별 현업적용도 측정도구 과정 ① 지도회계실무 교육훈련 프로그램 국공유 재산관리 지방계약제도 해설 농촌지도사업 예산 편성 요령 지방재정법 농민 지원 관련 조세특례제한법 해설 출납실무교육 보조금 관련 법률 이해 회계감사 지적사례 건축물 인허가 추진 및 사례 <과목> <현업적용도 행동지표> 1 국‧공유재산의 의의 및 관리체계에 대해 설명할 수 있다. 3 지방계약 과정에 따르는 절차와 요령을 습득하여 지방계약을 체결‧이행할 수 있다. 5 부가가치세 영세율 적용 대상 및 범위를 구별할 수 있다. 7 부가가치세 환급 대상 및 범위를 구별할 수 있다. 9 면세유 적용 대상 농민과 농업기계를 구별할 수 있다. 11 세입업무 절차와 절차별 요령을 습득하여 관련 업무를 처리할 수 있다. 13 세입‧세출 외 현금관리 절차와 절차별 요령을 습득하여 관련 업무를 처리할 수 있다. 15 회계감사 적발 사례를 이해하여 부적정 회계집행 사례를 방지할 수 있다. 16 건축법을 이해하여 관련 상황에 적용할 수 있다. 2 국‧공유재산 침해 시 관련 소송사례에 대해 이해하여 재산 침해 사례를 방지할 수 있다. 4 예산 과정에 따르는 관련 주요 시기와 수행 방법을 습득하여 예산을 편성‧심의‧집행할 수 있다. 6 부가가치세 영세율 부정 적용 시 추징세액을 계산할 수 있다. 8 부가가치세 부정 환급 시 추징세액을 계산할 수 있다. 10 면세유 적용 대상에 대해 면세절차를 진행할 수 있다. 12 세출업무 절차와 절차별 요령을 습득하여 관련 업무를 처리할 수 있다. 14 보조금 관련 법률을 이해하여 각종 보조사업을 추진할 수 있다.

현업적용도 측정도구 ③ 업무별 현업적용도 (3) IV. 교육훈련프로그램 효과성 평가 모형 개발 2 업무별 현업적용도 측정도구 과정 ② 농산업용 기계기술 교육훈련 프로그램 (1) <과목> <현업적용도 행동지표> 1 나는 유압장치 관련 기본 이론 및 원리를 설명할 수 있다. 산업용 기계 유압회로 점검 2 나는 유압장치의 유압기호를 설명할 수 있다. 농산업용기계 안전사고 예방 3 나는 유압장치 회로도를 해독할 수 있다. 산업기계 등록 및 사후 관리 4 나는 굴삭기를 활용하여 굴삭작업을 수행할 수 있다. 굴삭기 구조 및 기능 5 나는 굴삭기를 활용하여 적재 및 운반작업을 수행할 수 있다. 굴삭기 취급 조작 및 정비 기술 6 나는 굴삭기를 활용하여 파쇄작업을 수행할 수 있다. 7 나는 굴삭기를 활용하여 정지작업을 수행할 수 있다. 굴삭기 자격 취득 관련 8 나는 굴삭기를 활용한 굴삭작업 조작방법을 지도할 수 있다. 스키드 로더 취급 및 정비 기술 9 나는 굴삭기를 활용한 적재 및 운반작업 조작방법을 지도할 수 있다. 지게차 취급 및 정비 기술 10 나는 굴삭기를 활용한 파쇄작업 조작방법을 지도할 수 있다. 산업기계 방청유 취급 기술 11 나는 굴삭기를 활용한 정지작업 조작방법을 지도할 수 있다. 농산용 기계 운영관리 사례 12 나는 스키드로더를 활용하여 적재 및 운반작업을 수행할 수 있다.

현업적용도 측정도구 ③ 업무별 현업적용도 (4) IV. 교육훈련프로그램 효과성 평가 모형 개발 2 업무별 현업적용도 측정도구 과정 ② 농산업용 기계기술 교육훈련 프로그램 (2) <과목> <현업적용도 행동지표> 13 나는 스키드로더를 활용하여 파쇄작업을 수행할 수 있다. 산업용 기계 유압회로 점검 14 나는 스키드로더를 활용하여 정지작업을 수행할 수 있다. 농산업용기계 안전사고 예방 15 나는 스키드로더를 활용한 적재 및 운반작업 조작방법을 지도할 수 있다. 산업기계 등록 및 사후 관리 16 나는 스키드로더를 활용한 파쇄작업 조작방법을 지도할 수 있다. 굴삭기 구조 및 기능 17 나는 스키드로더를 활용한 정지작업 조작방법을 지도할 수 있다. 굴삭기 취급 조작 및 정비 기술 18 나는 지게차를 활용한 적재 및 운반작업을 수행할 수 있다. 19 나는 지게차를 활용한 적재 및 운반작업 조작방법을 지도할 수 있다. 굴삭기 자격 취득 관련 20 나는 농산업기계의 각종 문제를 점검할 수 있다. 스키드 로더 취급 및 정비 기술 21 나는 농산업기계의 문제 원인에 따라 적절히 대처할 수 있다. 지게차 취급 및 정비 기술 22 나는 작업현장에서의 농산업기계 불안전요인을 파악할 수 있다. 산업기계 방청유 취급 기술 23 나는 작업현장에서의 농산업기계 안전관리대책을 수립할 수 있다. 농산용 기계 운영관리 사례 24 나는 작업현장에서의 농산업기계 안전관리대책을 실시할 수 있다.

현업적용도 측정도구 ③ 업무별 현업적용도 (5) IV. 교육훈련프로그램 효과성 평가 모형 개발 2 업무별 현업적용도 측정도구 과정 ③ 기계화영농사 교육훈련 프로그램 <과목> <현업적용도 행동지표> 교통안전 교육 1 나는 경운기를 운전·조작 할 수 있다. 2 나는 경운기를 정비·점검할 수 있다. 3 나는 이앙기를 운전·조작 할 수 있다. 4 나는 이앙기를 정비·점검할 수 있다. 5 나는 트랙터를 운전·조작 할 수 있다. 6 나는 트랙터를 정비·점검할 수 있다. 7 나는 콤바인을 운전·조작 할 수 있다. 9 나는 농용굴삭기를 운전·조작 할 수 있다. 11 나는 주요 농기계의 불안전요인을 파악할 수 있다. 8 나는 콤바인을 정비·점검할 수 있다. 10 나는 농용굴삭기를 정비·점검할 수 있다. 12 나는 주요 농기계의 안전관리대책을 수립·시행할 수 있다. 주요농기계 안전수칙 및 안전사고 예방교육 주요 농기계 취급조작 및 정비·점검 이앙기 취급요령 및 정비·점검 트랙터 취급요령 및 정비·점검 콤바인 취급요령 및 정비·점검 야간 친환경 농업(특강) 건강관리 상식(특강)

Ⅰ 서 론 Ⅱ 교육훈련프로그램 효과성 평가 개념 및 모형 Ⅲ 교육훈련프로그램 효과성 평가 우수 사례 Ⅳ 교육훈련프로그램 효과성 평가 모형 개발 Ⅳ 현업적용도 평가 모형 개발 SCM 모형 개발 ROI 평가 모형 개발

SCM 평가 모형 IV. 교육훈련프로그램 효과성 평가 모형 개발 SCM 평가는 교육효과모델 개발, 현업적용도 설문조사, 우수성과자 선정, 우수성과자 면담, 핵심 성공요인 도출, 결론 도출 등의 6단계로 이루어지며 각 단계별 주요 내용 및 방법은 다음과 같음. 단계 내용 교육훈련의 계획된 효과를 확인하는 데 사용되는 이론적 틀(교육효과모델) 개발 교육훈련 이수 후 얻게 되는 지식과 기술, 학습의 결과가 현업에 적용되는 주요한 방식, 현업 적용의 결과, 실제 현업적용도에 영향을 주는 주요한 변인들 확인 교육 효과모델 개발 1 현업적용도 설문조사 2 우수성과자 선정 3 우수성과자 면담 4 결론 도출 6 핵심성공요인 도출 5 현업적용도 및 현업적용도 영향요인 측정 도구 개발 설문조사를 통한 현업적용도 및 영향요인 측정 자료 수집 우수 전이사 선정 기준 마련 설문조사를 통하여 교육훈련 종료 후 뛰어난 현업적용을 보인(상위 15%) 우수성과자 선발 신뢰도 검증 및 인터뷰를 통한 최종 우수성과자 선정 교육훈련을 통한 학습 결과를 현업에 적용하는 데 있어 영향을 미치는 개인/교육과정/조직환경 특성 요인 도출 교육훈련의 효과를 입증할 수 있는 근거 마련 우수성과자 면담결과와 설문조사 결과를 토대로 질적, 양적 근거에 기반한 핵심성공요인 도출 핵심성공요인별 구체적 근거 제시 우수성과자의 핵심 성공요인 규명 및 이에 따른 교육과정 개선 방안 제시 해당 교육과정 외 교육훈련을 위한 시사점 제시

SCM 평가 실행단계별 세부방법 (1) 교육 효과모델 개발 IV. 교육훈련프로그램 효과성 평가 모형 개발 교육 효과모델 개발 SCM 평가모형 역시 앞서 제시한 현업적용도 평가 모형과 같이 현업적용에 직접 또는 간접적으로 영향을 미치는 요인과 교육훈련 프로그램 이수 후 현업적용도를 측정하는 요인으로 구분됨. 여기서 영향요인은 개인특성, 교육과정, 조직환경 요인으로 구분되었으며, 현업적용도는 전체 현업적용, 업무별 현업적용으로 구분되었음. 현업적용도 영향요인 현업적용도 측정요인 특징 과정참여도 1 교육훈련프로그램 개선사항 도출을 위해 현업적용도 자체만으로 측정하는 것이 아니라 현업적용도 측정요인과 영향요인을 동시에 측정 개인특성 요인 업무활용도 과정이해도 전체 현업적용도 능력향상도 적용자신감 성과향상도 업무관련성 평판향상도 교육과정 요인 업무도움도 2 현업적용도 측정은 공통 과정요인(전체 현업적용도) 이외에 교육 대상자의 실제 업무 수행에 관한 업무별 현업적용도 측정 강사적절성 업무별 현업적용도 교육과정별 관련 업무별 현업적용도 적용기회 조직환경 요인 상사지원 동료지원

SCM 평가 실행단계별 세부방법 (2) 현업적용도 설문조사 IV. 교육훈련프로그램 효과성 평가 모형 개발 현업적용도 설문조사 현업적용도 영향요인은 교육과정 이수 후 현업적용에 영향을 미치는 변인과 관계된 요인들로서, 개인특성 요인, 교육과정 요인, 조직환경요인으로 구분됨. 각 요인의 특성을 고려하여 개인특성, 교육과정 요인은 교육직후, 조직환경 요인은 교육 종료 3개월 후에 측정함. 영역 지표 문항 측정시기 개인특성 요인 과정참여도 해당 교육훈련 프로그램에 적극적으로 참여하였다 교육 종료 3개월 후 과정이해도 해당 교육훈련 프로그램에서 교육 받은 내용을 이해하였다 적용자신감 해당 교육훈련 프로그램에서 교육 받은 내용을 적용하는데 자신감이 생겼다 교육과정 업무관련성 해당 교육훈련 프로그램의 교육내용은 실제 업무와 관련성이 높았다 업무도움도 해당 교육훈련 프로그램의 교육내용은 실제 업무수행에 도움이 되었다 강사적절성 해당 교육훈련 프로그램의 강사는 실제 업무에 적용 가능한 내용을 알려주었다 조직환경 적용기회 해당 교육훈련 프로그램에서 교육 받은 내용을 활용할 기회가 주어졌다 상사지원 상사는 해당 교육훈련 프로그램에서 교육 받은 내용을 업무에 활용할 수 있도록 지원한다 동료지원 동료들은 해당 교육훈련 프로그램에서 교육 받은 내용을 업무에 적용하는 것에 지지를 보내준다

SCM 평가 실행단계별 세부방법 (3) 현업적용도 설문조사 IV. 교육훈련프로그램 효과성 평가 모형 개발 현업적용도 설문조사 현업적용도 측정도구는 선행연구 분석을 통해 전체 현업적용도 측정도구와 특정 교육훈련 프로그램 현업적용도 측정도구로 이원화하여 개발하였음. 이 중 전체 현업적용도는 일반화된 현업적용도 측정도구를 활용하여 각 교육훈련 프로그램 전반에 걸쳐 적용할 수 있도록 개발, 반면 특정교육훈련 프로그램 현업적용도 측정도구는 각 교육훈련 프로그램의 내용을 고려하여 별도 개발 현업적용도 측정도구 이원화 1 전체 현업적용도 측정도구 연구자 현업적용도 측정도구 특징 이도형(1995), 최창환(2008), 한안나(1999) 등 일반화된 현업적용도 측정도구 대개 4-5개 문항 리커트 척도로 구성 김진모 외(2006), 나승일 외(2007), 박영용(2006), 이성(2004) 등 행동관찰척도형 측정도구 교육훈련프로그램의 학습목표와 필수학습 요소를 바탕으로 추출 항목 문항 업무활용도 해당교육과정에서 교육 받은 내용을 업무에 활용하였다. 능력향상도 해당교육과정을 통해 직무수행능력이 향상되었다. 성과향상도 해당교육과정을 통해 업무성과가 향상되었다. 평판향상도 해당교육과정을 통해 상사나 동료로부터 업무수행이 향상되었다는 이야기를 들었다. 전체 현업적용도 측정도구 업무별 현업적용도 측정도구

SCM 평가 실행단계별 세부방법 (4) 현업적용도 설문조사 IV. 교육훈련프로그램 효과성 평가 모형 개발 현업적용도 설문조사 업무별 현업적용도 측정도구는 교육훈련 프로그램의 학습목표와 학습요소를 바탕으로 추출한 행동관찰 척도형 측정도구로, 과목별 강사 인터뷰, 교육계획서 분석, 교재 분석 등을 통해 개발 업무별 현업적용도 측정도구 박과채소심화 교육훈련 프로그램 <과목> <현업적용도 행동지표> 문제기반학습의 이해 1 박과채소의 연작장해 원인을 파악할 수 있다. 2 박과채소의 연작장해 원인별 해결안을 마련할 수 있다. 첫 번째 문제연구: 연작장애 3 박과채소의 병해충 관련 문제의 원인을 파악할 수 있다. 4 박과채소의 병해충별 해결안을 마련할 수 있다. 두 번째 문제연구: 병충해 5 박과채소의 품질 저하 원인을 파악할 수 있다. 세 번째 문제연구: 품질향상 6 박과채소의 당도를 높이기 위한 방안을 마련할 수 있다. 7 박과채소의 생리장해 원인을 파악할 수 있다. 네 번째 문제연구: 생리장해 8 박과채소의 생리장해 원인별 해결안을 마련할 수 있다. 다섯 번째 문제연구: 민원처리 9 민원처리 시 발생하는 주요 문제를 해결할 수 있다.

Ⅰ 서 론 Ⅱ 교육훈련프로그램 효과성 평가 개념 및 모형 Ⅲ 교육훈련프로그램 효과성 평가 우수 사례 Ⅳ 교육훈련프로그램 효과성 평가 모형 개발 Ⅳ 현업적용도 평가 모형 개발 SCM 모형 개발 ROI 평가 모형 개발

ROI 평가모형 IV. 교육훈련프로그램 효과성 평가 모형 개발 3개 교육훈련프로그램의 ROI 평가는 교육훈련프로그램의 성과를 공유하고, 농촌진흥청 역량개발과 교육훈련 운영의 확대 발전을 위하여 평가영역을 업무 영역과 조직파급 영역으로, 평가요소를 효율성과 효과성으로 구분하여 평가하였음 평가영역 평가요소 특징 1 교육훈련프로그램 성과 공유 지도회계실무 농산업용기계 기술 기계화영농사 교육관련 업무 효율성 업무영역 시간절약 비용감소 교육내용실무업무 조직적응 조직파급 영역 2 2012년 농촌진흥청 역량개발과 교육훈련 운영의 확대발전 기술전파 효과성 각종 사고 감소 업무 오류 감소 업무 부정 행위 감소 고객만족

ROI 평가 실행모형 IV. 교육훈련프로그램 효과성 평가 모형 개발 3개 교육훈련프로그램의 ROI 평가는 요구 분석 및 평가 이슈 도출, 평가계획 수립, 평가데이터 수집, ROI 계산, 무형적 효과 추정,평가결과 보고 및 피드백 등 8단계에 걸쳐 수행 요구분석 및 평가이슈 도출 1 비즈니스 요구분석 개인 요구분석 (관리자, 학습자 등) 과제(주요 업무) 분석 ROI 평가모형 설계 평가계획 수립 2 성과/비용측정 항목 설정 수집할 자료항목 결정 교육프로그램 효과 분리 방법 결정 금전적 가치 환산전략 결정 평가단계별 자료수집 일정표 작성 평가데이터 수집 3 평가도구 개발 프로그램 실행 중 자료수집 프로그램 실행 후 자료수집 ROI 계산 (ROI 8스텝) 4 성과항목 선정 프로그램 향상도 계산 품질지수 계산 성과지수 계산 환산연간평균금액 계산 시행이익 계산 시행비용 계산 ROI 값 계산 무형적 효과 추정 5 무형적 효과 계산 평가결과 보고 및 피드백 6 평가결과 보고서 작성 평가결과 보고 반응분석 및 피드백

ROI 평가 실행단계별 세부방법 (1) 요구분석 및 평가이슈 도출 3가지 요구분석 영역에 따른 5가지 요구분석 기법 적용 IV. 교육훈련프로그램 효과성 평가 모형 개발 요구분석 및 평가이슈 도출 3가지 요구분석 영역에 따른 5가지 요구분석 기법 적용 구분 내용 요구분석 영역 조직분석 해당 직무와 관련된 조직의 요구(성과) 분석 교육과 사업전략과의 연계성 검토 개인분석 낮은 성과의 이유가 개인의 지식, 기술 부족에 기인하는지 또는 환경요인(동기, 업무설계)에 기인하는지 판단 교육이 필요한 대상과 준비상태 확인 과제분석 성과창출을 위해 학습자가 알아야 할 지식, 기술 규명 요구분석 기법 관찰 (장)근무환경에 적합한 데이터 획득, 업무방해 최소화 (단)시간소모 큼, 숙련된 관찰자 필요 설문지 (장)소요비용 저렴, 많은 데이터 습득 및 정리 용이 (단)시간소모, 질문에 대한 해답만 얻을 수 있음 인터뷰 (장)다양한 정보 취득, 새로운 이슈 발견 가능 (단)시간소모 큼, 분석 어려움, 숙련된 인터뷰 담당자 필요 FGI (장)다양한 정보 취득, 의견 합의 가능, 균형 잡힌 의견 획득 (단)운영의 어려움, 상급자에 의한 의견정리 가능성 발생 문헌조사 (장)객관적 데이터, 신규직무에 적합 (단)전문용어 이해의 어려움, 최신 자료 확보가 관건

< 교육훈련프로그램 효과 분리 방법 > ROI 평가 실행단계별 세부방법 (2) IV. 교육훈련프로그램 효과성 평가 모형 개발 평가 계획 수립 및 데이터 수집 다음의 방법 및 전략을 고려하여 평가계획 수립 후 데이터 수집 < 교육훈련프로그램 효과 분리 방법 > < 금전적 가치 환산전략 결정 > 방법 내용 실험집단과 통제집단 두 집단 간의 차이를 비교하여 프로그램의 효과 측정 추세선 ( time lines) HR 프로그램 미시행 시의 결과를 추정하여 시행 후의 실제 결과와 비교 예측 모형 투입과 산출 변인의 수치적 관계를 이용하여 HR 프로그램 효과 분리 참가자에 의한 추정 프로그램 참가자들이 HR 프로그램과 관련된 성과 향상의 정도 추정 감독자에 의한 추정 감독자들이 측정된 산출량에 대한 HR 프로그램의 영향 추정 경영층에 의한 효과 추정 경영층이 측정된 산출량에 대한 HR 프로그램의 영향 추정 고객 의견 상품이나 서비스를 사용하려는 의사결정에 HR 프로그램이 미친 영향에 대한 정보 제공 전문가에 의한 추정 프로세스, 프로그램, 상황에 맞는 지식을 보유한 전문가를 선정하여 경영성과 창출과 관련하여 HR 프로그램 효과 추정에 필요한 요인 선정 기타 영향요인 기타 요인이 HR 프로그램에 영향을 미친 정도를 추정하거나 계산 방법 내용 산출된 결과자료를 이윤 창출분으로 환산 증가된 산출결과의 가치를 추가적인 생산단위, 증가된 서비스 수익 등으로 환산하여 금전적 가치로 전환 품질비용 계산 품질의 향상(또는 결함률 감소)에 의해 확보된 결함 시 처리비용의 절감을 금전적 가치로 전환 직원의 시간비용 계산 직원들의 절약된 시간을 평균 급여 및 후생비용을 기초로 금전적 가치로 전환 과거 비용 활용 과거에 결함으로 인하여 지불된 비용으로부터 금전적 가치를 추출 내·외부 전문가 의견 활용 내·외부 전문가가 제시하는 단위당 비용을 적용 외부 데이터베이스 활용 해당 항목에 관한 연구내용이 포함된 외부데이터를 활용 참가자에 의한 추정 참가자들이 해당 교육프로그램으로 인해 향상된 가치를 비용으로 추정하도록 하는 방식 감독자에 의한 추정 참가자들의 감독자들에게 교육프로그램으로 인행 향상된 가치를 비용으로 추정하도록 하는 방식 고위 경영층에 의한 추정 해당 교육프로그램에 관심이 있는 고위 경영진이 인식하는 교육프로그램의 효과, 가치를 비용으로 추정하도록 하는 방식 HR 담당자에 의한 추정 해당 교육프로그램에 대하여 가장 잘 알고 있는 담당자가 교육프로그램의 효과, 가치를 비용으로

ROI 평가 실행단계별 세부방법 (3) ROI 계산 IV. 교육훈련프로그램 효과성 평가 모형 개발 ROI 계산 ROI를 계산하는 절차를 시스템적으로 명시해 놓은 ROI 8스텝(고윤석, 2005) 활용 성과항목 선정 향상도 계산 품질지수 계산 성과지수 계산 환산연간 평균금액 계산 시행이익 계산 시행비용 계산 ROI 계산 ROI 8스텝 기본 유형 (Type 1) 향상도 단위별 가치환산 유형 (Type 2) 기여성과금액 직접산출 유형 (Type 3) 성과항목 선정 O 향상도 계산 X 품질지수 계산 △ 성과지수 계산 환산연간 평균금액 계산 시행이익 계산 시행비용 계산 ROI 계산 주 1) O 적용, △ 필요 시 적용, X 적용안함 2) 교육프로그램 유형(Type 1-3)에 따라 방법에 차이가 있음. 첫째, 기본유형(Type 1) 은 향상도의 변화량이 기간에 따라 일정한 방향성을 갖는 일반적인 경우에 적용함. 둘째, 향상도 단위별 가치환산 유형(Type 2)은 향상도의 변화량이 측정기간에 따라 일정한 방향성이 없거나 향상도 단위별 금액가치 환산이 용이한 경우에 적용함. 마지막으로 기여성과금액 직접산출 유형(Type 3)은 HR 프로그램 시행 전후의 가치가 비용이나 이익 등과 같이 금액으로 직접 도출되는 경우에 적용함.

ROI 평가 실행단계별 세부방법 (4) ROI 계산 IV. 교육훈련프로그램 효과성 평가 모형 개발 ROI 계산 ROI 계산에 있어 투입비용(지출)과 성과비용(이익) 산정은 보수적인 접근을 취하여 실시하였음. 투입비용 산정에서의 고려사항 구분 세부항목 학습자비용 급여 교육출장비 교수자비용 내부강사 급여 외부강사 강의료 외부강사 원고료 교육프로그램 운영비 교재비 관리시설비 시설관리비 기자재비 학습자의 인건비 항목을 개개인의 호봉을 고려한 실제 인건비 기준으로 평균 금액 산정 1 학습자의 교육출장비 항목을 개개인의 지역과 식비, 숙박비 등을 고려한 실제 출장비 기준으로 평균 금액 산정 2 평균 강사비 기준이 아닌 내부강사 개개인의 시간당 급여액 중 강의시간에 해당하는 급여만을 산정 3 평균 강사비 기준이 아닌 각 교육훈련 프로그램 운영 상에서 실제로 지급된 외부 강사 강의료 적용 4 평균 원고료를 일괄적으로 적용하지 않고, 교육훈련 프로그램 운영 상 실제로 지급된 원고료 적용 5 교육기자재 비용 뿐 아니라 전기세, 수도세, 난방비 등 교육훈련 프로그램 운영 상에서 발생 가능한 모든 관리시설비 고려 6 기자재 총액이 아닌 내구연한, 전체 사용가능시간을 고려하여 실제 교육훈련 프로그램 운영 상에 소요된 비용 만을 산정 7

ROI 평가 실행단계별 세부방법 (5) ROI 계산 IV. 교육훈련프로그램 효과성 평가 모형 개발 ROI 계산 ROI 계산에 있어 투입비용(지출)과 성과비용(이익) 산정은 보수적인 접근을 취하여 실시하였음. 성과비용 산정에서의 고려사항 성과항목 산정 교육과 연관된 성과이익을 고려하기 위하여 각 교육훈련 프로그램의 학습 내용 적용에 따른 교육목적 달성도(예: 안전사고 감소율, 회계오류 감소율 등)과 업무 효율성을 고려하였음 1 산정된 성과항목에 따라 교육훈련 프로그램 이수에 따른 업무 효율성, 효과성 등의 향상도를 계산하는 단계로서 학습자 자기 보고가 아닌 상사의 관찰 의견을 수렴하여 자료의 객관성 확보 2 향상도 계산 향상도 발생 원인에 대해 인센티브, 조직환경, 동료지지 등 관련 요인의 영향력을 배제하여 순수 교육훈련 프로그램의 기여도만을 파악하는 단계로서 학습자 뿐 아니라 관리자의 의견을 동시에 수렴하여 자료의 객관성 확보 3 품질지수 계산 향상도와 품질지수(교육훈련프로그램 기여도만 고려)를 곱한 값으로 계산하여 각 성과항목에 대한 순수 교육훈련프로그램에 의한 성과(성과 지수) 산정 4 예) 향상도 산정 단계에서 농업기계 수리시간 감소율이 30.00%라 할 지라도 품질지수 산정 단계에서 안전사고 감소에 영향을 미친 다양한 요인 중 교육프로그램의 비중이 25%를 차지한다면, 안전사고 감소율에 대한 성과지수는 7.50 (30.00 x 0.25) 가 됨. 성과지수 계산 환산연간평균금액 계산 학습자가 조직으로부터 받은 급여 및 후생 비용 중 해당 성과항목(업무)에 해당하는 비용을 산정함. 여기서는 학습자에게 주어지는 급여 외에 후생비용까지 적용함. 5 학습자에게 주어지는 급여 및 후생 비용(교육 전후 변화 없음) 중 해당 성과항목(업무)에 해당하는 비용에 앞서 구한 성과지수(교육 전후 변화한 성과에 대한 지수 값임)를 곱하여 교육 성과의 금전적 가치를 확인함. 6 시행이익 계산

Ⅰ 서 론 Ⅱ 교육훈련프로그램 효과성 평가 개념 및 모형 Ⅲ 교육훈련프로그램 효과성 평가 우수 사례 Ⅳ 교육훈련프로그램 효과성 평가 모형 개발 Ⅳ 교육훈련프로그램 효과성 평가 결과 Ⅴ 박과채소심화 과정 SCM 결과 지도회계실무 과정 현업적용도 및 ROI 결과 농산업용기계기술 교육과정 현업적용도 및 ROI 결과 기계화영농사 교육과정 현업적용도 및 ROI 결과

교육과정 개요 V. 교육훈련프로그램 효과성 평가 결과 본 과정은 “박과채소심화” 교육으로서 청·도원 ·시군 농촌진흥공무원의 박과채소의 병해충, 품질향상, 시설환경관리, 연작장해, 민원 등에 대한 업무수행역량을 강화하는 것을 목적으로 3일(21시간) 동안 운영되었으며, 주로 활용된 교육방법은 강의법, 실습법이었음. 구분 내용 교육목적 박과채소(수박, 참외, 멜론)분야의 실사례 중심의 문제기반학습 과정을 제공하여 병해충, 품질향상, 시설환경관리, 연작장해, 민원 등 5가지 공통업무수행역량을 강화하고자 함 교육목표 수박, 참외, 멜론의 최고품질 저해요인을 분석하고 해결능력을 향상 시킨다. 박과채소에 대한 현장애로기술을 습득하고 활용할 수 있다. 채소에 대한 민원해결 및 대처 능력을 키울 수 있다. 교육일시 및 시간 2012. 07. 09 ∼ 2012. 07. 11 3일 21시간 교육대상 및 인원 청·도원·시군 농촌진흥공무원 총 25명(계획30명의 83%) 교육장소 농촌진흥청 농촌인적자원개발센터 교육방법 강의 , 실습 교육내용 문제기반학습의 이해 첫 번째 문제연구(연작장애) 두 번째 문제연구(병충해) 세 번째 문제연구(품질향상) 네 번째 문제연구(생리장해) 다섯 번째 문제연구(민원처리)

만족도 평가 결과 V. 교육훈련프로그램 효과성 평가 결과 교육만족도는 전반적으로 높은 수준에서 나타났으며(4.48점), 교육운영 만족도(4.48점), 교육시설 만족도(4.41점) 모두 비교적 높은 수준에서 나타났음. 한편, 교육 이수 후 교육내용이 직무수행에 도움이 되었는지에 대해서는 4.48점의 높은 수준으로 인식하고 있는 것으로 나타남. 종합적인 만족도 직무수행 도움정도 ※ 종합만족도: 4.48점(5점 만점) ※ 직무수행 도움정도: 4.48점(5점 만점) 교육운영 만족도 교육시설 만족도 (4.28점) (4.36점) (4.58점) ※ 교육운영 만족도: 4.48점(5점 만점) ※ 평균 교육시설 만족도: 4.41점(5점 만점)

현업적용도 평가 결과 (1) V. 교육훈련프로그램 효과성 평가 결과 박과채소심화 교육훈련 프로그램의 전체 현업적용도는 4.26점으로 높은 수준으로 나타났음. 하위 영역별로 업무활용도, 능력향상도, 성과향상도는 높은 수준이며, 평판향상도도 높은 수준이나 다른 영역에 비해 다소 낮게 나타났음. 전체 현업적용도 구분 학습자 측정치 상사 측정치 전체 현업적용도(평균) 평균 표준편차 업무활용도 4.50 0.673 4.32 0.716 4.41 0.610 능력향상도 4.45 0.858 4.23 0.612 4.34 0.625 성과향상도 0.685 4.27 0.631 4.25 0.529 평판향상도 3.86 0.468 4.18 0.853 4.02 0.499 전체 현업적용도 4.26 0.412 0.518 0.427 주1) 학습자 + 상사 = 학습자 측정치(50%) + 상사 측정치(50%)의 가중치로 계산한 값 주2) 척도 : 5점 척도(1: 매우 미흡, 2: 미흡, 3: 보통, 4: 향상, 5: 매우 향상) 주3) 측정시기 및 대상 : 교육훈련 프로그램 종료 3개월 후 학습자와 상사를 대상으로 측정

현업적용도 평가 결과 (2) V. 교육훈련프로그램 효과성 평가 결과 박과채소심화 교육훈련 프로그램의 업무별 현업적용도는 3.73점~4.55점으로 비교적 높게 나타났음. 하위 영역별로 박과채소 생리장해 원인 파악, 병해충별 해결안 마련 업무 현업적용도는 높게 나타난 반면, 연작장해 원인별 해결안 마련, 연작장해 원인 파악 업무 현업적용도는 낮게 나타났음. 업무별 현업적용도 구분 업무별 현업적용도 평균 표준편차 박과채소 연작장해 원인 파악 3.77 0.813 박과채소 연작장해 원인별 해결안 마련 3.73 0.767 박과채소 병해충 문제 원인 파악 3.95 0.486 박과채소 병해충별 해결안 마련 4.14 0.710 박과채소 품질 저하 원인 파악 0.722 박과채소 당도 향상 방안 마련 4.05 0.653 박과채소 생리장해 원인 파악 4.45 0.671 박과채소 생리장해 원인별 해결안 마련 1.090 민원처리 시 발생하는 문제 해결 4.55 주1) 척도 : 5점 척도(1: 매우 미흡, 2: 미흡, 3: 보통, 4: 향상, 5: 매우 향상)

현업적용도 평가 결과 (3) V. 교육훈련프로그램 효과성 평가 결과 박과채소심화 교육훈련 프로그램의 교육 전 – 교육종료 3개월 후 현업적용도는 각각 2.61점, 4.06점으로 교육종료 후 현저히 높은 수준의 현업적용도를 보였음. 현업적용도 단순 증가율은 155.56%로 나타났음. 현업적용도 사전사후비교 증가율 = 155.56%

현업적용도 평가 결과 (4) V. 교육훈련프로그램 효과성 평가 결과 박과채소심화 교육훈련 프로그램의 교육 전 – 교육종료 3개월 후 업무별 현업적용도 비교 분석 결과, 업무별 현업적용도는 교육 시점을 전후로 모두 통계적으로 유의한 수준에서 증가한 것으로 나타났음. 특히 민원처리 시 발생하는 문제 해결에 대한 향상도가 가장 높았던 것으로 나타났음. 업무별 현업적용도 사전사후비교 구분 사전(교육훈련 프로그램 실시 전) 사후(교육 훈련 프로그램 종료 3개월 후) t 값 유의도 평균 표준편차 박과채소 연작장해 원인 파악 2.14 0.351 3.77 0.813 10.561 0.000*** 박과채소 연작장해 원인별 해결안 마련 2.05 0.575 3.73 0.767 10.115 박과채소 병해충 문제 원인 파악 2.64 0.492 3.95 0.486 12.969 박과채소 병해충별 해결안 마련 2.86 0.640 4.14 0.710 7.780 박과채소 품질 저하 원인 파악 2.95 0.653 0.722 8.775 박과채소 당도 향상 방안 마련 2.55 0.596 4.05 박과채소 생리장해 원인 파악 3.05 4.45 0.671 9.922 박과채소 생리장해 원인별 해결안 마련 2.50 0.512 1.090 7.483 민원처리 시 발생하는 문제 해결 2.77 0.685 4.55 8.549

현업적용도 평가 결과 (5) V. 교육훈련프로그램 효과성 평가 결과 박과채소심화 교육훈련 프로그램의 현업적용도 영향요인을 분석한 결과, 개인특성요인, 교육과정요인, 조직환경요인 모두 4점(높음) 이상으로 나타났음. 특히 교육과정 요인이 다른 요인 대비 상대적으로 높은 수준으로 나타남. 현업적용도 영향요인 분석결과 구분 평균 표준편차 비고 개인특성요인 과정참여도 4.64 0.492 측정시기 : 교육훈련 프로그램 종료 3개월 후측정대상 : 학습자 과정이해도 4.18 0.588 적용자신감 4.09 0.750 전체 평균 4.30 0.447 교육과정요인 업무관련성 4.59 0.854 측정시기 : 교육훈련 프로그램 종료 3개월 후 측정대상 : 학습자 업무도움도 4.23 0.528 강사적절성 4.55 0.510 4.45 0.406 조직환경요인 적용기회 4.05 0.722 상사지원 동료지원 0.785 0.367 주) 척도 : 5점 척도(1: 매우 낮음, 2: 낮음, 3: 보통, 4: 높음, 5: 매우 높음)

현업적용도 평가 결과 (6) V. 교육훈련프로그램 효과성 평가 결과 박과채소심화 교육훈련 프로그램 현업적용도와 개인특성요인, 교육과정요인의 상관관계가 상대적으로 높게 나타났음. 하위 항목별로는 과정이해도, 적용자신감, 업무도움도, 적용기회 요인 등은 통계적으로 유의한 수준에서 정적 상관관계를 갖는 것으로 나타났음. 현업적용도 영향요인 분석결과 구분 ① ② ③ ④ ⑤ ⑥ ⑦ ⑧ ⑨ ⑩ ⑪ ⑫ ⑬ 개인특성요인 ① 과정참여도 1.000 ② 과정이해도 0.075 ③ 적용자신감 -0.164 0.824** ④ 개인특성요인 전체 0.308 0.926** 0.860** 교육과정요인 ⑤ 업무관련성 0.082 0.439* 0.507* 0.506* ⑥ 업무도움도 0.333 0.320 0.426* 0.501* 0.216 ⑦ 강사적절성 0.069 0.289 0.238 0.285 -0.010 0.048 ⑧ 교육과정요인 전체 0.231 0.568** 0.640** 0.692** 0.791** 0.606** 0.433* 조직환경요인 ⑨ 적용기회 0.049 0.652** 0.519* 0.594** 0.418 0.471* 0.188 0.576** ⑩ 상사지원 -0.259 0.346 0.510* 0.342 0.010 0.305 -0.267 0.028 0.329 ⑪ 동료지원 -0.201 -0.328 -0.250 -0.357 -0.113 -0.141 -0.541** -0.367 -0.340 -0.054 ⑫ 조직환경요인 전체 -0.232 0.354 0.398 0.293 0.198 0.350 -0.386 0.129 0.566** 0.466* ⑬ 전체 현업적용도 -0.018 0.635** 0.723** 0.676** 0.415 0.522* 0.615** 0.617** 0.343 0.373 주) 유의도 : * p<0.05, ** p<0.01

SCM 우수성과자 선정 (1) V. 교육훈련프로그램 효과성 평가 결과 현업적용도 설문조사 결과를 토대로 교육참가인원인 25명 중 상위 15%인 4명을 1차 선정하여, 설문의 신뢰도 검증 및 인터뷰 검증을 통해 최종 우수성과자 3명을 선정함. 우수성과자들은 전반적으로 업무활용도와 성과향상도에서 매우 높은 점수를 나타냈으며, 다른 참가자들과의 차이가 큰 항목 역시 업무활용도와 성과향상도가 매우 높은 것으로 나타남. 우수성과자 선정 결과 선정 절차 및 결과 설문조사 결과 분석 현업적용도 상위 15% 선정 (4명 선정) 우수성과자 검증 인터뷰 최종 우수성과자 선정 (3명 선정) 청원군농업기술센터 000지도사 진천군농업기술센터 000지도사 전라남도농업기술원 000연구사

핵심 성공요인 도출 (1) V. 교육훈련프로그램 효과성 평가 결과 현업적용도에 영향을 주는 변인인 개인특성 요인, 교육과정 요인, 조직환경 요인을 기준으로 분석한 결과 우수성과자의 경우 교육과정 요인이 매우 높게 나타났으며, 개인특성 요인 역시 높은 것으로 나타남. 조직환경 요인 역시 낮은 수치는 아니나 다른 특성 변인 대비 상대적으로 낮게 나타남. 또한 다른 참가자들과의 차이가 큰 부분은 개인특성 변인이 가장 높은 것으로 나타나 우수성과자의 경우 학습동기나 자신감 등이 매우 높은 것으로 판단됨. 영향요인별 차이분석 구분 우수성과자 집단 그 외 참가자 집단 t값 유의도 평균 표준편차 개인특성요인 평균 4.78 0.385 4.23 0.417 2.140 0.045* 교육과정요인 평균 4.89 0.192 4.40 0.409 1.987 0.061 조직환경요인 평균 4.44 0.509 4.18 0.391 1.071 0.297 주) 유의도 : * p<0.05, ** p<0.01

핵심 성공요인 도출 (2) V. 교육훈련프로그램 효과성 평가 결과 개인특성 요인인 과정참여도, 과정이해도, 적용자신감 요인을 기준으로 분석한 결과 우수성과자의 경우 과정참여도가 가장 높게 나타났으며, 과정이해도와 적용자신감 역시 매우 높은 수준으로 나타남. 다른 참가자들과의 차이를 분석한 결과 개인특성 요인 중 적용자신감 요인이 가장 큰 차이를 보였으며, 과정이해도 역시 상대적으로 큰 차이를 나타내 우수성과자와 일반 참가자를 구분하는 핵심적인 요인으로 판단됨 개인특성 요인 차이분석 구분 우수성과자 집단 그 외 참가자 집단 t값 유의도 평균 표준편차 과정참여도 5.00 0.000 4.58 0.507 3.618 0.002** 과정이해도 4.67 0.577 4.11 0.567 1.590 0.127 적용자신감 4.00 0.745 1.469 0.157 주) 유의도 : * p<0.05, ** p<0.01

핵심 성공요인 도출 (3) 교육과정을 통해 배운 내용을 현장에서 활용하겠다는 강한 의지와 자신감를 나타냄. V. 교육훈련프로그램 효과성 평가 결과 1 교육과정을 통해 배운 내용을 현장에서 활용하겠다는 강한 의지와 자신감를 나타냄. Real Voice “당연히 어렵게 시간 내서 교육에 참여했으면 써먹여야 하는게 당연한거 아닌가요? 물론 교육에 참여하다보면 별로 써먹 을 게 없는 경우도 많죠. 하지만 그런 과정에서도 반드시 한 두 개는 활용할 게 나오게 되어 있습니다. 그리고 이런 교육과 같이 제 일과 밀접한 교육은 더욱 활용할 포인트가 많죠.” -청원군농업기술센터 000지도사- 2 교육과정에 대한 이해도 수준이 매우 높음. Real Voice “제가 꼭 채소를 담당해서가 아니라 메론이나 수박같은 경우 꾸준히 연구하고 공부한 분야라 아무래도 기초적인 지식은 어느 정도 갖춰졌다고 생각합니다. 이번 과정 같은 경우 다양한 현장의 사례들을 공유하는 과정에서 제가 아직 경험해보지 못한 사례들을 접할 수 있어 좋았습니다.” -전라남도농업기술원 000연구사- 3 교육과정에 대한 기대 및 학습동기가 매우 높은 수준으로 나타남. Real Voice “저희 지역에 수박, 매론, 오이 등 박과채소 재배가 많이 이루어지고 있습니다. 현장에서 배울 수 있는 게 한정되다 보니 관련 교육과정을 찾아 다니면서 참여하고 있습니다. 아무래도 전문가분들의 강의를 듣는 것이 큰 도움이 됩니다. 박과채소 초급 과정도 이미 이수했고, 심화과정을 개설한다는 소식을 듣고 꼭 참여하고 싶었습니다.” -진천군농업기술센터 000지도사-

핵심 성공요인 도출 (4) V. 교육훈련프로그램 효과성 평가 결과 교육과정 요인인 업무관련성, 업무도움도, 강사적절성 요인을 기준으로 분석한 결과 우수성과자의 경우 업무관련성과 업무도움도가 매우 높게 나타났으며, 강사적절성 역시 매우 높은 수준으로 나타남. 다른 참가자들과의 차이를 분석한 결과 교육과정 요인 중 업무도움도 요인이 가장 큰 차이를 보였으며, 업무관련성 역시 상대적으로 큰 차이를 나타내 우수성과자와 일반 참가자를 구분하는 핵심적인 요인으로 판단됨. 교육과정 요인 차이분석 구분 우수성과자 집단 그 외 참가자 집단 t값 유의도 평균 표준편차 업무관련성 5.00 0.000 4.53 0.905 0.888 0.385 업무도움도 4.11 0.459 3.309 0.004** 강사적절성 4.67 0.577 4.58 0.507 0.274 0.787 주) 유의도 : * p<0.05, ** p<0.01

핵심 성공요인 도출 (5) 문제해결 중심의 학습방법의 업무능력향상에 매우 큰 도움이 되었음. Real Voice 4 문제해결 중심의 학습방법의 업무능력향상에 매우 큰 도움이 되었음. Real Voice “사실 이런 형태의 교육은 처음 받아봤습니다. 제가 여러 교육과정을 경험했는데 대부분 강의면 강의, 실습이면 실습 이렇 게 구분이 되는데 이번 교육과 같이 강의도 받고, 함께 문제를 해결하면서 서로의 경험을 공유하는 방식은 정말 좋았습니 다. 그리고 강사분들께서 저희 발표에 피드백 주시는 부분도 참 도움이 많이 됐습니다.” -진천군농업기술센터 000지도사- “아무래도 제가 지금까지 배웠던 교육과정들은 강사분이 일방적으로 전달해주시는 교육이 많았어요. 이번 교육과 같이 제 가 직접 몬가 해보는 교육은 처음이었습니다. 처음에는 적응이 잘 되지 않았는데 조원들과 함께 논의하면서 진행하다 보니 더 현실적이고 다양한 경험들을 공유할 수 있었습니다. 그게 제일 좋았어요. 제가 기술원으로 돌아와서 앞으로 우리가 하 는 교육도 이런 방식으로 하자고 제안했습니다. 그정도로 효과가 높은 교육방식인 것 같아요.” -전라남도농업기술원 000연구사- “역시 교육방법이 아주 새롭고 도움이 많이 됐습니다. 그런데 교육과정이 더 좋아지기 위해 말씀드리면 조별로 실시하는 과제와 함께 개인이 스스로 해결하는 과제도 있으면 좋겠다고 생각했습니다. 아무래도 조별로 하면서 서로 많은 의견을 공 유할 수 있어 좋았지만 개인 능력 개발을 위해서는 각자의 과제도 함께 다루면 좋을 것 같다고 생각했습니다.” -청원군농업기술센터 000지도사-

핵심 성공요인 도출 (6) 현장 중심의 교육내용이 업무현장에서 문제를 해결하는데 큰 도움이 됨. V. 교육훈련프로그램 효과성 평가 결과 5 현장 중심의 교육내용이 업무현장에서 문제를 해결하는데 큰 도움이 됨. Real Voice “교육내용일 일단 체계적이었어요. 단순히 문제 해결이 아니라 연작장해서부터 각종 병해충 관련 내용, 그리고 민원 사례 까지 매우 알찬 교육내용이었습니다. 다른 교육받으면 대부분 특정 병해충에 초점을 두는 경우가 많은데 전체를 잘 배운 것 같은 느낌입니다. 또한 다른 과정의 경우 교과목 별로 중복되는 부분이 많아 짜증나는 경우가 있는데. 그렇지 않아 좋았 습니다.” -청원군농업기술센터 000지도사- “제가 현장 경력이 길지 않기 때문에 다양한 사례를 접해보지 못했습니다. 그런데 이번 과정에서 실제 사례들을 많이 접할 수 있어 매우 좋았습니다. 특히 생리장해와 병해충 교육내용이 매우 좋았습니다. 병해충 같은 경우 제가 경험하지 못한 사 례를 배웠는데 현장에서 발생한 경우가 있었습니다. 이 교육이 아니었으면 원인을 찾는데 꽤 많은 시간이 걸렸겠죠?” -진천군농업기술센터 000지도사- 6 현장경력과 다양한 경험을 보유한 강사 선정이 매우 주요하였음. Real Voice “강사 분들 중 한 분은 제가 원래 알고 있던 분이었습니다. 워낙 현장과 연구 분야 모두에서 출중한 분이라 기대가 많았는 데 그 연구관님뿐만 아니라 다른 강사분들도 모두 현장경력과 노하우가 매우 높은 수준이었습니다. 그러다 보니 강의 자체 가 현장 상황을 가지고 많이 얘기될 뿐만 아니라 내용의 깊이 또한 좋았습니다.” -전라남도농업기술원 000연구사-

핵심 성공요인 도출 (7) V. 교육훈련프로그램 효과성 평가 결과 조직환경 요인인 적용기회, 상사지원, 동료지원 요인을 기준으로 분석한 결과 우수성과자의 경우 적용기회가 가장 높게 나타났음. 다른 참가자들과의 차이를 분석한 결과 역시 조직환경 요인 중 적용기회 요인이 가장 큰 차이를 보여 우수성과자와 일반 참가자를 구분하는 핵심적인 요인으로 판단됨. 조직환경 요인 차이분석 구분 우수성과자 집단 그 외 참가자 집단 t값 유의도 평균 표준편차 적용기회 4.67 0.577 3.95 0.705 1.670 0.111 상사지원 4.33 4.47 0.513 -0.435 0.668 동료지원 4.11 0.809 0.465 0.647 주) 유의도 : * p<0.05, ** p<0.01

핵심 성공요인 도출 (8) 현장 문제 중심의 교육과정 구성으로 배운 내용들을 적용할 기회가 많음. Real Voice 7 현장 문제 중심의 교육과정 구성으로 배운 내용들을 적용할 기회가 많음. Real Voice “제가 맡고 있는 게 채소이고, 주로 수박이나 메론이기 때문에 박과채소심화 과정에서 배운 내용이 바로 제가 하는 일입니 다. 당연히 배운 내용을 적용할 기회가 많죠. 특히 민원 관련 내용이 실질적으로 큰 도움이 되는 것 같아요. 아무래도 배웠 던 다양한 장해나 병해충 같은 경우는 아직 발생하지 않아서 잘 모르겠지만 민원 관련 업무는 늘 하니까요.” -청원군농업기술센터 000지도사- “배운 내용들을 적용할 기회도 많지만 사실 이번 교육과정을 통해 구축한 네트워크도 큰 도움이 됩니다. 아무래도 업무를 수행하다보면 다른 사람의 도움을 받을 일이 생기는데 이번 교육과정을 통해 알게된 지도사 및 연구사 분들이 큰 자산이 된다고 생각합니다.” -전라남도농업기술원 000연구사- “늘 활용하고 있다고 보시면 되죠. 그 때 배웠던 내용들이 워낙 현장 문제 중심으로 구성되어 있다 보니 배웠던 내용들이 제 실제 일과 모두 겹쳐요. 그러니 적용할 기회가 매우 많다고 말하는 게 맞는 것 같아요.” -진천군농업기술센터 000지도사-

교육내용을 현장업무에 활용하겠다는 강한 의지와 자신감 SCM 종합 및 시사점 V. 교육훈련프로그램 효과성 평가 결과 SCM 분석 결과를 토대로 우수성과자의 핵심 성공요인을 도출하였으며, 이를 토대로 PBL 방식의 교육과정 확대 필요, 교육참가자 결정시 학습자 요인 고려 필요, 박과채소심화 과정의 문제해결 방식 일부 수정 등의 시사점을 도출함. 핵심 성공요인 Implication 교육내용을 현장업무에 활용하겠다는 강한 의지와 자신감 1 PBL 방식의 교육과정 확대 필요 1 본 연구를 통해 PBL 과정의 높은 현업적용도 검증. 현업적용도 전반에서 매우 높은 수준으로 나타남. 각 영향요인 중 교육과정 특성 요인의 수준 역시 가장 높게 나타나 다양한 기술 중심의 교육과정으로 확대할 필요가 있음. 교육과정에 대한 높은 수준의 이해도 2 교육과정에 대한 높은 수준의 기대 및 학습동기 3 2 교육 참가자 결정시 학습자 요인 고려 필요 현장 문제해결 중심의 학습방법 4 우수 성과자와 일반 참가자를 구분하는 주요한 변인으로 개인특성 요인이 도출됨. 교육참여자의 학습동기 등을 조사하여 실제 교육과정 참가자를 결정할 필요가 있음. 현장 사례 중심의 교육내용 5 3 박과채소심화 과정의 일부 교육방법 수정 필요 현장경력과 다양한 경험을 보유한 강사 6 교육방법이 매우 효과적인 것으로 나타났으나 일부 방식의 개선점 역시 도출됨. 팀 중심의 과제 해결 방식과 더불어 개인과제 해결 방법을 함께 활용하는 것이 교육과정의 효과성을 높이기 위한 방법으로 판단됨. 업무 현장 적용기회多 7

Ⅰ 서 론 Ⅱ 교육훈련프로그램 효과성 평가 개념 및 모형 Ⅲ 교육훈련프로그램 효과성 평가 우수 사례 Ⅳ 교육훈련프로그램 효과성 평가 모형 개발 Ⅳ 교육훈련프로그램 효과성 평가 결과 Ⅴ 박과채소심화 과정 SCM 결과 지도회계실무 과정 현업적용도 및 ROI 결과 농산업용기계기술 교육과정 현업적용도 및 ROI 결과 기계화영농사 교육과정 현업적용도 및 ROI 결과

교육과정 개요 V. 교육훈련프로그램 효과성 평가 결과 본 과정은 “지도회계실무”교육으로서 청·도원 ·시군 농촌진흥공무원이 감사기관 지적사항에 대비하고, 원활한 사업 수행과 적법한 예산집행을 수행하는 것을 목적으로 3일(21시간) 동안 운영되었으며, 주로 활용된 교육방법은 강의법이었음. 구분 내용 교육목적 감사강화에 따른 회계분야 전문지식 향상 및 관련법규·계약 준수사항 등을 숙지하여 감사기관 지적사항에 대비하고 원활한 사업수행과 적법한 예산집행 교육목표 보조금 집행 관련법을 알고 오류의 예를 설명할 수 있다. 계약법, 공유재산관리, 재정법을 알고 업무와의 연관사항을 설명할 수 있다. 예산편성, 출납에 관한 실무를 알고 유의할 사항을 설명할 수 있다. 교육일시 및 시간 2012. 04. 02 ∼ 2012. 04. 04 3일 21시간 교육대상 및 인원 청·도원·시군 농촌진흥공무원 총 43명(계획42명의 102%) 교육장소 농촌진흥청 농촌인적자원개발센터 교육방법 강의 교육내용 시책교육(동영상) : 함께하는 우리 농어촌 운동 지방계약법, 지방재정법 이해 예산편성요령 및 출납실무 농민 지원관련 조세특례제한법 해설(간접국세 중심) 보조금 관리에 관한 법률 건축물 인허가 추진 및 사례 및 국공유재산 관리

만족도 평가 결과 V. 교육훈련프로그램 효과성 평가 결과 교육만족도는 전반적으로 높은 수준에서 나타났으며(4.32점), 교육운영 만족도(4.37점)가 교육시설 만족도(4.09점)에 비해 다소 높게 나타났음. 한편, 교육 이수 후 교육내용이 직무수행에 도움이 되었는지에 대해서는 4.32점의 높은 수준으로 인식하고 있는 것으로 나타남. 종합적인 만족도 직무수행 도움정도 ※ 종합만족도: 4.32점(5점 만점) ※ 직무수행 도움정도: 4.32점(5점 만점) 교육운영 만족도 교육시설 만족도 (4.32점) (3.58점) (4.37점) ※ 교육운영 만족도: 4.37점(5점 만점) ※ 평균 교육시설 만족도: 4.09점(5점 만점)

현업적용도 평가 결과 (1) V. 교육훈련프로그램 효과성 평가 결과 지도회계실무 교육훈련 프로그램의 전체 현업적용도는 4.05점으로 비교적 높게 나타났음. 하위 영역별로 업무활용도, 능력향상도는 높은 수준으로 나타났으며, 성과향상도와 평판향상도도 높은 수준이나 다른 영역에 비해 다소 낮게 나타났음. 전체 현업적용도 구분 학습자 측정치 상사 측정치 전체 현업적용도(평균) 평균 표준편차 업무활용도 4.10 0.831 4.43 0.676 4.26 0.758 능력향상도 4.29 0.845 0.700 4.19 0.762 성과향상도 3.95 1.117 3.81 0.928 3.88 0.985 평판향상도 3.67 1.065 4.05 0.865 3.86 0.961 전체 현업적용도 4.00 0.982 0.816 0.901 주1) 학습자 + 상사 = 학습자 측정치(50%) + 상사 측정치(50%)의 가중치로 계산한 값 주2) 척도 : 5점 척도(1: 매우 미흡, 2: 미흡, 3: 보통, 4: 향상, 5: 매우 향상) 주3) 측정시기 및 대상 : 교육훈련 프로그램 종료 3개월 후 학습자와 상사를 대상으로 측정

현업적용도 평가 결과 (2) V. 교육훈련프로그램 효과성 평가 결과 지도회계실무 교육훈련 프로그램의 업무별 현업적용도는 3.14점~4.19점으로 나타났음. 하위 영역별로 부가세 환급대상 및 범위 구별, 각종 보조사업 추진 업무 현업적용도는 높게 나타난 반면, 국·공유재산 침해사례 방지, 면세유 적용 대상 면세 절차 진행 업무 현업적용도는 다소 낮게 나타났음. 업무별 현업적용도 구분 업무별 현업적용도 평균 표준편차 국·공유재산 침해 사례 방지 3.14 0.647 지방계약 체결 및 이행 3.62 0.669 예산 편성, 심의 및 집행 3.90 0.889 부가세 영세율 적용 대상 및 범위 구별 3.81 0.680 부가세 영세율 부정 적용 추징 세액 계산 3.57 0.746 부가세 환급 대상 및 범위 구별 3.89 0.602 부가세 부정 환급 추징 세액 계산 3.48 0.873 면세유 적용 대상 농민 및 농기계 구별 3.71 0.902 구분 업무별 현업적용도 평균 표준편차 면세유 적용 대상 면세 절차 진행 3.14 0.793 세입업무 처리 3.43 0.676 세출업무 처리 3.71 0.845 세입·세출 외 현금 관리 업무 처리 3.57 0.870 각종 보조사업 추진 4.19 0.602 부정적 회계 집행 사례 방지 4.00 0.775 건축법 적용 3.19 주1) 척도 : 5점 척도(1: 매우 미흡, 2: 미흡, 3: 보통, 4: 향상, 5: 매우 향상)

현업적용도 평가 결과 (3) V. 교육훈련프로그램 효과성 평가 결과 지도회계실무 교육훈련 프로그램의 교육 전 – 교육종료 3개월 후 현업적용도는 각각 2.70점, 3.61점으로 교육종료 후 현업적용도가 비교적 크게 증가한 것으로 나타났음. 현업적용도 단순 증가율은 133.70%로 나타났음. 현업적용도 사전사후비교 증가율 = 133.70%

현업적용도 평가 결과 (4) V. 교육훈련프로그램 효과성 평가 결과 지도회계실무 교육훈련 프로그램의 교육 전 – 교육종료 3개월 후 업무별 현업적용도 비교 분석 결과, 업무별 현업적용도는 교육 시점을 전후로 모두 통계적으로 유의한 수준에서 증가한 것으로 나타났음. 업무별 현업적용도 사전사후비교 구분 사전(교육훈련 프로그램 실시 전) 사후(교육 훈련 프로그램 종료 3개월 후) t 값 유의도 평균 표준편차 국·공유재산 침해 사례 방지 2.00 0.541 3.14 0.647 9.137 0.000** 지방계약 체결 및 이행 2.71 0.463 3.62 0.669 13.784 예산 편성, 심의 및 집행 2.95 0.590 3.90 0.889 6.523 부가세 영세율 적용 대상 및 범위 구별 3.10 0.700 3.81 0.680 7.071 부가세 영세율 부정 적용 추징 세액 계산 0.717 3.57 0.746 6.000 부가세 환급 대상 및 범위 구별 3.19 0.602 3.89 8.367 부가세 부정 환급 추징 세액 계산 2.57 0.507 3.48 0.873 6.635

현업적용도 평가 결과 (5) 업무별 현업적용도 사전사후비교 V. 교육훈련프로그램 효과성 평가 결과 2.81 0.680 3.71 구분 사전(교육훈련 프로그램 실시 전) 사후(교육 훈련 프로그램 종료 3개월 후) t 값 유의도 평균 표준편차 면세유 적용 대상 농민 및 농기계 구별 2.81 0.680 3.71 0.902 6.635 0.000** 면세유 적용 대상 면세 절차 진행 2.52 0.512 3.14 0.793 3.833 0.001** 세입업무 처리 3.43 0.676 13.784 세출업무 처리 0.845 세입·세출 외 현금 관리 업무 처리 2.67 0.483 3.57 0.870 각종 보조사업 추진 3.19 0.602 4.19 14.491 부정적 회계 집행 사례 방지 2.95 0.590 4.00 0.775 9.648 건축법 적용 2.43 0.746 4.985

현업적용도 평가 결과 (6) V. 교육훈련프로그램 효과성 평가 결과 지도회계실무 교육훈련 프로그램의 현업적용도 영향요인을 분석한 결과, 개인특성요인, 교육과정요인, 조직환경요인 모두 보통 이상인 것으로 나타났음. 다만, 개인특성요인 결과가 상대적으로 낮게 나타났으며, 특히 과정 이해도와 적용자신감이 상대적으로 낮은 수준인 것으로 나타남. 현업적용도 영향요인 분석결과 구분 평균 표준편차 비고 개인특성요인 과정참여도 4.05 0.740 측정시기 : 교육훈련 프로그램 종료 3개월 후측정대상 : 학습자 과정이해도 3.76 0.889 적용자신감 3.71 1.007 전체 평균 3.84 0.871 교육과정요인 업무관련성 4.29 0.845 측정시기 : 교육훈련 프로그램 종료 3개월 후 측정대상 : 학습자 업무도움도 4.24 0.700 강사적절성 4.14 0.793 4.22 0.764 조직환경요인 적용기회 상사지원 0.921 동료지원 3.95 0.865 3.92 0.875 주) 척도 : 5점 척도(1: 매우 낮음, 2: 낮음, 3: 보통, 4: 높음, 5: 매우 높음)

현업적용도 평가 결과 (7) V. 교육훈련프로그램 효과성 평가 결과 지도회계실무 교육훈련 프로그램 현업적용도와 개인특성요인, 교육과정요인의 상관관계가 상대적으로 높게 나타났음. 하위 항목별로는 과정이해도, 적용자신감, 업무관련성, 상사지원 요인 등은 통계적으로 유의한 수준에서 정적 상관관계를 갖는 것으로 나타났음. 이 중 특히 과정이해도, 적용자신감 요인의 수준이 다른 영역에 비해 다소 낮은 것으로 나타난 점을 고려할 때, 이에 대한 대응이 적절히 이루어질 필요가 있음. 현업적용도 영향요인 분석결과 구분 ① ② ③ ④ ⑤ ⑥ ⑦ ⑧ ⑨ ⑩ ⑪ ⑫ ⑬ 개인특성요인 ① 과정참여도 1.000 ② 과정이해도 -0.058 ③ 적용자신감 -0.316 0.758** ④ 개인특성요인 전체 0.208 0.905** 0.814** 교육과정요인 ⑤ 업무관련성 -0.103 0.561** 0.629** 0.594** ⑥ 업무도움도 -0.216 0.497* 0.456* 0.417 0.555** ⑦ 강사적절성 0.414 -0.091 -0.385 0.235 0.026 ⑧ 교육과정요인 전체 0.054 0.445* 0.324 0.429 0.844** 0.707** 0.599** 조직환경요인 ⑨ 적용기회 0.018 0.810** 0.873** -0.304 0.312 ⑩ 상사지원 -0.003 0.442* 0.609** 0.564** 0.367 0.447* -0.215 0.269 ⑪ 동료지원 0.082 -0.211 -0.131 -0.146 -0.049 0.020 0.083 0.023 -0.123 ⑫ 조직환경요인 전체 0.052 0.587** 0.727** 0.494* 0.496* -0.246 0.338 0.692** 0.750** 0.351 ⑬ 전체 현업적용도 -0.116 0.547* 0.545* 0.534* 0.738** 0.366 0.261 0.646** 0.364 0.437* -0.250 0.317 주) 유의도 : * p<0.05, ** p<0.01

ROI 평가 결과 (1) V. 교육훈련프로그램 효과성 평가 결과 지도회계실무 교육훈련 프로그램에 대한 조직 및 개인수준의 요구를 분석한 결과, ROI 평가에 있어 업무역량 향상 외 기존 업무성과에 비하여 효율성이나 효과성이 어느 정도 향상되었는지 파악하고, 보조금 관련 업무의 성과와 회계오류 감소율을 반드시 고려하며, 평가 결과 해석에 있어 학습자의 회계업무가 전담업무가 아닌 경우가 있음을 고려할 필요가 있음. 요구분석 결과 구분 요구분석 결과 평가이슈 농촌진흥청 ‘지도회계실무’ 교육훈련프로그램 운영이 결과적으로 조직성과에 어떠한 영향을 미치는지 파악하여 차기년도 교육훈련 프로그램 계획에 반영하는 것이 적절함 조직성과에의 영향도는 금전적 가치와 연관되어 파악하는 것이 결과보고에 있어 설득력이 있을 것임. 단, 성과추정에 있어 지도회계실무는 예산 또는 회계 담당 인력 뿐 아니라 전 인력이 회계 업무를 수행할 수 있도록 운영되는 교육프로그램이란 점을 고려할 필요가 있겠음. 조직 분석 ‘지도회계실무’ 교육훈련프로그램을 통하여 학습자들의 업무역량과 성과가 어느 정도 향상되었는지 규명함과 동시에 기존 업무 처리방식에 비해 효율성이나 효과성이 향상된 업무는 무엇인지 확인 필요 교육훈련 프로그램 종료 후 보조사업 추진에 대한 기대 수준이 높으므로 보조금 관련 업무의 성과를 구체적으로 파악할 필요가 있음. 도단위 또는 군단위 감사에 비교적 회계 오류가 많이 발견되는 편으로 지도회계실무 교육훈련에 대한 기대가 개인적으로 높은 편 특히 보조사업 추진 관련 업무와 관련된 성과 추정을 집중적으로 고려할 필요가 있겠음. 개인분석 감사 시 회계오류 발견에 대한 문제가 두드러지게 나타나고 있고, 이에 대한 해결 방안으로서 해당 교육훈련 프로그램이 운영되고 있는 바, 교육훈련 프로그램의 성과에 있어 회게업무 오류 감소율을 고려할 필요가 있음 각종 회계 업무 처리와 관련된 교육내용으로서 실제 회계절차를 진행할 수 있는 수준까지 학습되어야 함. 과제분석 회계업무를 전적으로 수행하는 인력이 아닌 학습자 개개인의 일부 업무가 회계 업무인 점을 고려

ROI 평가 결과 (2) V. 교육훈련프로그램 효과성 평가 결과 지도회계실무 교육훈련 프로그램에 대한 평가계획 수립 결과, 각각 4가지 성과 항목 및 비용 항목에 대한 세부 항목과 자료수집 방법 및 시기, 교육프로그램 효과 분리 방법, 금전적 환산 전략 등이 다음과 같이 결정되었음. 성과항목에 대한 비용 추정은 대체로 설문조사를 활용한 참가자와 관리자에 의한 추정, 직원 시간 비용 계산 등이 주를 이룬 반면, 비용항목에 대한 추정은 실제로 교육훈련에 투입된 비용 데이터 적용이 주를 이루었음. 평가계획 수립 결과 구분 항목 세부항목 자료 수집 방법 교육프로그램 효과 분리 방법 금전적 환산 전략 자료 수집 시기 성과항목 보조금 관련 업무 시간 감소율 예산편성 업무 출납 관련 업무 보조금 관리 업무 자기보고식 설문조사 결과 참가자에 의한 추정 감독자(관리자)에 의한 추정 직원의 시간비용 계산 품질비용 계산 교육종료 3개월 후 계약관련 업무시간 감소율 제조 및 구매 관련 업무 입찰 관련 업무 기타회계 관련 업무시간 감소율 건축물 관련 업무 변상관련 업무 회계업무 관련 오류 감소욜 회계업무 오류 발생 시 소요되는 시간 비용항목 학습자 비용 급여 교육출장비 실비 추정 또는 실비 적용 (해당 사항 없음) 교수자에 의한 추정 실제 소요비용 데이터 활용 교육종료 후 교수자비용 내부강사 급여 외부강사 강의료 외부강사 원고료 교육프로그램 운영비 교재비 업무추진비 간식비 관리시설비 시설관리비 기자재비

ROI 계산 step 1~2. 성과항목 선정 및 향상도 계산 V. 교육훈련프로그램 효과성 평가 결과 지도회계실무 교육훈련 프로그램의 성과 항목을 확정하여 각 항목의 세부항목에 대한 향상도를 계산함. 향상도는 성과항목을 측정한 일정 기간 전후의 변화된 정도를 표시하는 수치로, 지도회계실무 교육훈련 프로그램의 향상도는 설문조사를 통해 업무시간 및 오류 감소율의 평균 값을 계산하여 산정함. ROI 계산 step 1~2. 성과항목 선정 및 향상도 계산 향상도(ID; Improvement Degree) = 시행 후 성과 – 시행 전 성과 성과항목 세부항목 준비시간 감소율(M) % 보조금 관련 업무 시간 감소율 예산편성 업무 28.12 출납 관련 업무 22.12 보조금 관리 업무 25.33 계약 관련 업무 시간 감소율 제조 및 구매 관련 업무 15.23 입찰 관련 업무 17.25 기타 회계 관련 업무시간 감소율 건축물 관련 업무 10.53 변상 관련 업무 12.32 오류/사고 감소율(M) % 회계업무 관련 오류 감소율 - 27.56

품질지수(QI; Quality Index) = HR 기여도 x 신뢰도 x 품질비 ROI 평가 결과 (4) V. 교육훈련프로그램 효과성 평가 결과 품질지수는 ROI를 절차적으로 계산하기 위하여 도입한 개념으로 HR 기여도, 신뢰도, 품질비를 서로 곱하여 계산함. 참가자와 관리자의 평균 값으로 계산한 결과, 지도회계실무 교육훈련 프로그램의 HR 기여도는 34%인 것으로 나타났음. 신뢰도, 품질비 등은 1로 추정하여 품질지수는 0.34로 도출 ROI 계산 step 3. 품질지수 계산 품질지수(QI; Quality Index) = HR 기여도 x 신뢰도 x 품질비 HR 기여도(HCD: HR Contribution Degree) HR 프로그램이 경영성과 향상(즉, 성과항목의 향상도)에 영향을 끼친 정도를 나타내는 수치 1 또는 연구자료, 관련자료, 당사자/관련자 추 정, 사내·외 전문가 추정, 외부 데이터베이스 활용 HR 기여도 항목 참가자 관리자 평균 [지도회계실무] 교육프로그램 31.13 37.56 0.34 성과급 등 인센티브 지급 10.87 12.54 0.12 경영진 및 상사의 영향 12.33 11.69 자기주도학습 및 자료검색 15.31 17.82 0.17 동료들과의 의견교환 16.35 13.54 0.15 기타 외부요인 14.01 14.65 0.14 신뢰도(CD: Confidence Degree) 추정한 HR 기여도에 대한 신뢰수준 1 또는 당사자/관련자 추정 품질비(QR: Quality Ratio) HR 프로그램을 실시한 후 나타난 성과의 품질 을 HR 프로그램 실시 이전의 성과에 대한 품 질로 나눈 수치 성과항목이 품질 수준을 측정할 수 있는 유형 의 산출물일 경우에만 고려하고 무형의 산출물 일 경우에는 1로 추정

성과지수(PI) = 향상도(ID) x 품질지수(QI) ROI 평가 결과 (5) V. 교육훈련프로그램 효과성 평가 결과 성과지수는 Step 2에서 구한 향상도와 Step 3에서 구한 품질지수를 곱하여 계산하였음. 각 성과항목의 세부항목 당 성과지수는 최소값 3.62(건축물 관련업무)과 최대값 9.66(보조금 예산편성 업무) 사이에 분포하는 것으로 나타남. ROI 계산 step 4. 성과지수 계산 성과지수(PI) = 향상도(ID) x 품질지수(QI) 성과항목 세부항목 성과지수 보조금 관련 업무 시간 감소율 예산편성 업무 9.66 출납 관련 업무 7.60 보조금 관리 업무 8.70 계약 관련 업무 시간 감소율 제조 및 구매 관련 업무 5.23 입찰 관련 업무 5.92 기타 회계 관련 업무시간 감소율 건축물 관련 업무 3.62 변상 관련 업무 4.23 회계업무 관련 오류 감소율 - 9.47

환산연간평균금액 = (시행 전 환산연간평균금액 + 시행 후 환산연간평균금액) ÷ 2 ROI 평가 결과 (6) V. 교육훈련프로그램 효과성 평가 결과 환산연간평균금액은 성과항목과 연관된 경영성과 항목 자료의 가치를 연간 금액으로 환산한 것으로, 교육훈련프로그램 시행 전 환산연간금액과 시행 후 환산연간금액과의 평균값으로 계산하였음. 지도회계실무 교육훈련 프로그램의 환산연간평균금액은 각 세부항목별로 약 1천만원에서 3억 2천만원 사이에 분포하는 것으로 나타났음. ROI 계산 step 5. 환산연간평균금액 계산 환산연간평균금액 = (시행 전 환산연간평균금액 + 시행 후 환산연간평균금액) ÷ 2 성과항목 세부항목 시행 전 환산연간평균금액 시행 후 보조금 관련 업무 시간 감소율 예산편성 업무 94,380,755 120,920,623 107,650,689 출납 관련 업무 252,178,754 307,960,695 280,069,724 보조금 관리 업무 290,758,958 364,408,202 327,583,580 계약 관련 업무 시간 감소율 제조 및 구매 관련 업무 129,980,514 149,776,546 139,878,530 입찰 관련 업무 38,414,623 45,041,146 41,727,884 기타 회계 관련 업무시간 감소율 건축물 관련 업무 62,092,602 68,630,953 65,361,777 변상 관련 업무 9,603,656 10,786,826 10,195,241 회계업무 관련 오류 감소율 - 25,002,621 31,893,343 28,447,982

ROI 평가 결과 (7) 시행이익 = 성과지수 x 환산연간평균금액 V. 교육훈련프로그램 효과성 평가 결과 시행이익은 교육훈련프로그램 성과항목에 의해 창출된 연간이익으로, 성과지수를 고려하여 산출하였음. 지도회계실무 교육훈련 프로그램의 시행이익 합계는 총 75,449,161원인 것으로 나타났음. ROI 계산 step 6. 시행이익 계산 시행이익 = 성과지수 x 환산연간평균금액 성과항목 세부항목 성과지수 환산연간평균금액 시행이익 보조금 관련 업무 시간 감소율 예산편성 업무 9.66 107,650,689 10,396,703 출납 관련 업무 7.60 280,069,724 21,277,216 보조금 관리 업무 8.70 327,583,580 28,498,423 계약 관련 업무 시간 감소율 제조 및 구매 관련 업무 5.23 139,878,530 7,316,687 입찰 관련 업무 5.92 41,727,884 2,472,174 기타 회계 관련 업무시간 감소율 건축물 관련 업무 3.62 65,361,777 2,363,827 변상 관련 업무 4.23 10,195,241 431,392 회계업무 관련 오류 감소율 - 9.47 28,447,982 2,692,739 시행이익 합계 75,449,161

ROI 평가 결과 (8) V. 교육훈련프로그램 효과성 평가 결과 시행비용은 학습자 비용, 교수자 비용, 교육프로그램 운영비, 관리시설비로 구분하여 산정하였음. 지도회계실무 교육훈련 프로그램의 시행비용은 총 27,351,220원으로 나타났음. ROI 계산 step 7. 시행비용 계산 구분 세부항목 설명 값 학습자 비용 급여 학습자 직급별 급여(평균)에 총 근로시간 대비 강의 참여시간으로 계산 10,111,518 교육출장비 학습자 직급과 지역을 고려하여 철도운임비, 일비, 숙박비, 식비 계산 15,267,800 교수자비용 교육과정 설계비 내부 교육운영인력 직급별 급여에 총 근로시간 대비 설계시간으로 계산 196,054 내부강사 급여 내부강사 직급별 급여(평균)에 총 근로시간 대비 강의시간으로 계산 178,402 외부강사 강의료 외부강사 강의료 합계 1,100,000 외부강사 원고료 외부강사 원고료 합계 교육프로그램 운영비 교재비 교재 1권당 단가 X 인쇄부수 500,000 업무추진비 내부 강사가 제공한 실비 데이터 적용 43,000 간식비 129,000 관리시설비 시설관리비 21,500 시행비용 합계 27,547,274

ROI 평가 결과 (9) 순이익 시행이익-시행비용 시행비용 ROI(%) = = X 100 비용 V. 교육훈련프로그램 효과성 평가 결과 ROI 값은 시행이익에서 시행비용을 뺀 값을 시행비용으로 나누어 비율을 계산하였음. 농촌진흥청 지도회계실무 교육훈련 프로그램 ROI값은 173.89%로 투입비용 대비 금전적인 효과가 있는 것으로 판단되었음. ※ 일반적으로 100%가 넘으면 투입비용 대비 금전적인 효과가 있는 것으로 판단 ROI 계산 step 8. ROI 계산 순이익 시행이익-시행비용 시행비용 ROI(%) = = X 100 비용 75,449,161 – 27,547,274 27,547,274 = X 100 = 173.89(%)

ROI 평가 결과 (10) V. 교육훈련프로그램 효과성 평가 결과 교육 전과 종료 3개월 후의 사전-사후 비교 분석 결과 , 지도회계실무 교육훈련 프로그램은 학습자들의 직무 스트레스를 감소시키고, 해당 업무의 관련 네트워크 수준과 고객 만족도를 약간 향상시킨 것으로 확인되었음. 무형적 효과 추정 결과 < 조직적응 > 구분 사전(교육훈련 프로그램 실시 전) 사후(교육 훈련 프로그램 종료 3개월 후) t 값 유의도 평균 표준편차 직무만족도 2.77 0.611 2.91 0.684 1.523 0.135 조직적응 3.07 0.910 3.23 0.782 1.858 0.070 직무스트레스 3.84 0.814 3.47 0.735 -3.722 0.001** < 기술전파/고객만족 > 구분 사전(교육훈련 프로그램 실시 전) 사후(교육 훈련 프로그램 종료 3개월 후) t 값 유의도 평균 표준편차 농촌지도회계 관련 인적 네트워크 2.33 0.808 3.07 0.856 6.431 0.000** 회계업무 결과에 대한 고객만족도 2.65 0.897 2.86 0.710 2.034 0.048* 주1) 사전 : 교육훈련 프로그램 실시 전 학습자 대상 측정치, 사후 : 교육훈련 프로그램 종료 3개월 후 학습자 대상 측정치 주2) 척도 : 5점 척도 주3) 유의도 : * p<0.05, ** p<0.01

Ⅰ 서 론 Ⅱ 교육훈련프로그램 효과성 평가 개념 및 모형 Ⅲ 교육훈련프로그램 효과성 평가 우수 사례 Ⅳ 교육훈련프로그램 효과성 평가 모형 개발 Ⅳ 교육훈련프로그램 효과성 평가 결과 Ⅴ 박과채소심화 과정 SCM 결과 지도회계실무 과정 현업적용도 및 ROI 결과 농산업용기계기술 교육과정 현업적용도 및 ROI 결과 기계화영농사 교육과정 현업적용도 및 ROI 결과

교육과정 개요 V. 교육훈련프로그램 효과성 평가 결과 본 과정은 “농산업용 기계기술”교육으로서 청·도원 ·시군 농촌진흥공무원이 농산업기계를 이용하는 데 있어 요구되는 기술을 향상시키기 위한 목적으로 5일(40시간) 동안 운영되었으며, 주로 활용된 교육방법은 강의법, 실습법, 견학법이었음. 구분 내용 교육목적 농산업용 기계 보급에 따른 농산업기계의 올바른 취급조작 기술 및 안전사용법 교육으로 농산업 기계 이용기술 향상 도모 교육목표 농산업기계 실무기술에 대하여 이해하고 현장에 활용할 수 있다. 농산업기계 올바른 취급조작 및 정비기술을 업무에 반영할 수 있다. 농산업기계를 안전하게 사용할 수 있다. 교육일시 및 시간 2012. 07. 23 ∼ 2012. 07. 27 5일 35시간 교육대상 및 인원 청·도원·시군 농촌진흥공무원 총 37명(계획30명의 123%) 교육장소 농촌진흥청 역량개발과 농업기계종합교육관(한국농수산대학 내) 교육방법 강의 , 실습, 견학 교육내용 농산업기계 안전사용 예방 농용굴삭기, 스키드로더, 지게차 취급조작 및 정비기술 산업기계 등록 및 사후관리 자격 취득 및 임대장비 운영관리 농산업기계 운영관리요령 사례발표, 정비교육장 견학 등

만족도 평가 결과 V. 교육훈련프로그램 효과성 평가 결과 교육만족도는 전반적으로 높은 수준에서 나타났으며(4.24점), 교육운영 만족도(4.38점)와 교육시설 만족도(4.38점) 역시 비교적 높게 나타났음. 한편, 교육 이수 후 교육내용이 직무수행에 도움이 되었는지에 대해서는 4.51점의 매우 높은 수준으로 인식하고 있는 것으로 나타남. 종합적인 만족도 직무수행 도움정도 ※ 종합만족도: 4.24점(5점 만점) ※ 직무수행 도움정도: 4.51점(5점 만점) 교육운영 만족도 강의시설 및 매체 만족도 ※ 교육운영 만족도: 4.38점(5점 만점) ※ 평균 교육시설 만족도: 4.38점(5점 만점)

현업적용도 평가 결과 (1) V. 교육훈련프로그램 효과성 평가 결과 농산업용 기계기술 교육훈련 프로그램의 전체 현업적용도는 4.19점으로 높게 나타났음. 하위 영역별로 능력향상도, 업무활용도, 성과향상도는 높은 수준으로 나타났으며, 평판향상도도 높은 수준이나 다른 영역에 비해 다소 낮게 나타났음. 전체 현업적용도 구분 학습자 측정치 상사 측정치 전체 현업적용도(평균) 평균 표준편차 업무활용도 4.07 0.829 4.27 0.636 4.17 0.572 능력향상도 4.30 0.823 4.23 4.26 0.577 성과향상도 4.41 0.971 4.21 0.934 4.31 0.825 평판향상도 4.00 1.038 4.04 0.854 4.02 0.740 전체 현업적용도 4.19 0.525 4.18 0.523 0.485 주1) 학습자 + 상사 = 학습자 측정치(50%) + 상사 측정치(50%)의 가중치로 계산한 값 주2) 척도 : 5점 척도(1: 매우 미흡, 2: 미흡, 3: 보통, 4: 향상, 5: 매우 향상) 주3) 측정시기 및 대상 : 교육훈련 프로그램 종료 3개월 후 학습자와 상사를 대상으로 측정

현업적용도 평가 결과 (2) V. 교육훈련프로그램 효과성 평가 결과 농산업용 기계기술 교육훈련 프로그램의 업무별 현업적용도는 3.93점~4.52점으로 비교적 높게 나타났음. 하위 영역별로 기계차 작업 지도, 굴삭기 작업지도, 스키드로더 작업 지도 등 지도 업무 현업적용도는 높게 나타난 반면, 농산업기계 안전관리, 굴사기 작업 업무 현업적용도는 낮게 나타났음. 업무별 현업적용도 구분 업무별 현업적용도 평균 표준편차 농산업기계 유압회로 점검 4.01 0.588 굴삭기를 활용한 각종 작업 4.33 0.413 굴삭기 작업 지도 4.20 0.481 스키드로더를 활용한 각종 작업 3.99 0.406 스키드로더 작업 지도 4.07 0.534 지게차를 활용한 각종 작업 1.035 지게차 작업 지도 4.52 0.643 농산업기계 정비 4.19 0.540 농산업기계 안전 관리 3.93 0.465 주1) 척도 : 5점 척도(1: 매우 미흡, 2: 미흡, 3: 보통, 4: 향상, 5: 매우 향상)

현업적용도 평가 결과 (3) V. 교육훈련프로그램 효과성 평가 결과 농산업용 기계기술 교육훈련 프로그램의 교육 전 – 교육종료 3개월 후 현업적용도는 각각 2.40점, 4.10점으로 교육종료 후 현저히 증가된 수준의 현업적용도가 나타났음 . 현업적용도 단순 증가율은 170.83%로 나타났음. 현업적용도 사전사후비교 증가율 = 170.83%

현업적용도 평가 결과 (4) V. 교육훈련프로그램 효과성 평가 결과 농산업용 기계기술 교육훈련 프로그램의 교육 전 – 교육종료 3개월 후 업무별 현업적용도 비교 분석 결과, 업무별 현업적용도는 교육 시점을 전후로 모두 통계적으로 유의한 수준에서 증가한 것으로 나타났음. 업무별 현업적용도 사전사후비교 구분 사전(교육훈련 프로그램 실시 전) 사후(교육 훈련 프로그램 종료 3개월 후) t 값 유의도 평균 표준편차 농산업기계 유압회로 점검 2.23 0.703 4.01 0.588 9.400 0.000*** 굴삭기를 활용한 각종 작업 2.60 0.855 4.33 0.413 7.211 굴삭기 작업 지도 2.27 0.793 4.20 0.481 11.103 스키드로더를 활용한 각종 작업 2.30 0.747 3.99 0.406 11.913 스키드로더 작업 지도 0.761 4.07 0.534 10.947 지게차를 활용한 각종 작업 2.93 0.781 1.035 4.846 지게차 작업 지도 2.78 0.801 4.52 0.643 8.006 농산업기계 정비 2.54 0.843 4.19 0.540 9.787 농산업기계 안전 관리 2.35 0.701 3.93 0.465 11.051

현업적용도 평가 결과 (5) V. 교육훈련프로그램 효과성 평가 결과 농산업용 기계기술 교육훈련 프로그램의 현업적용도 영향요인을 분석한 결과, 개인특성요인, 교육과정요인, 조직환경요인 모두 4점(높음) 이상인 것으로 나타났음. 다만, 과정이해도 (이상 개인특성요인), 동료지원(이상 조직환경요인)의 수준이 다른 영역에 비해 상대적으로 낮게 나타났음. 현업적용도 영향요인 분석결과 구분 평균 표준편차 비고 개인특성요인 과정참여도 4.19 0.736 측정시기 : 교육훈련 프로그램 종료 3개월 후측정대상 : 학습자 과정이해도 4.00 0.920 적용자신감 4.22 0.934 전체 평균 4.14 0.525 교육과정요인 업무관련성 4.52 0.643 측정시기 : 교육훈련 프로그램 종료 3개월 후 측정대상 : 학습자 업무도움도 4.37 0.792 강사적절성 4.07 0.829 4.32 0.448 조직환경요인 적용기회 4.67 0.679 상사지원 4.15 0.907 동료지원 4.04 0.854 4.28 0.355 주) 척도 : 5점 척도(1: 매우 낮음, 2: 낮음, 3: 보통, 4: 높음, 5: 매우 높음)

현업적용도 평가 결과 (6) V. 교육훈련프로그램 효과성 평가 결과 농산업용 기계기술 교육훈련 프로그램 현업적용도와 통계적으로 유의한 상관관계를 갖는 변인은 교육과정요인 전체 변인으로 특히 업무관련성 변인이 유의한 상관관계를 갖는 것으로 나타남. 또한 개인특성요인 중 과정이해도 역시 유의한 상관관계를 나타냄. 현업적용도 영향요인 분석결과 구분 ① ② ③ ④ ⑤ ⑥ ⑦ ⑧ ⑨ ⑩ ⑪ ⑫ ⑬ 개인특성요인 ① 과정참여도 1.000 ② 과정이해도 -0.170 ③ 적용자신감 -0.230 0.448* ④ 개인특성요인 전체 0.231 0.770* 0.747** 교육과정요인 ⑤ 업무관련성 0.033 0.455* 0.377 0.505** ⑥ 업무도움도 -0.122 0.370 0.509** 0.460* 0.440* ⑦ 강사적절성 0.103 0.000 -0.420* -0.201 -0.147 -0.161 ⑧ 교육과정요인 전체 0.007 0.436* 0.221 0.389* 0.646** 0.700** 0.452* 조직환경요인 ⑨ 적용기회 -0.333 0.369 0.424* 0.311 0.147 0.167 -0.228 0.028 ⑩ 상사지원 0.188 0.138 0.005 0.171 0.193 0.295 -0.066 0.225 -0.104 ⑪ 동료지원 0.050 -0.294 -0.107 -0.212 -0.247 0.036 0.105 -0.032 -0.309 -0.256 ⑫ 조직환경요인 전체 -0.013 0.118 0.189 0.175 0.060 0.387* -0.118 0.184 0.302 0.582** ⑬ 전체 현업적용도 -0.196 0.453* 0.120 0.244 0.530* 0.524 0.373 0.463* -0.219 0.126 -0.245 -0.229 주) 유의도 : * p<0.05, ** p<0.01

ROI 평가 결과 (1) V. 교육훈련프로그램 효과성 평가 결과 농산업용 기계기술 교육훈련 프로그램에 대한 조직 및 개인수준의 요구를 분석한 결과, ROI 평가에 있어 정비교육 횟수 보다는 기존 업무 성과와 교육 후 업무 성과에 초점을 두어 조직의 목적이 어느 정도 또는 어떻게 달성되었는지 파악하여 이를 금전적 가치로 환산하고, 특히 안전사고 발생률과 정비 또는 교육시간 효율성에 초점을 둘 필요가 있는 것으로 나타났음. 요구분석 결과 구분 요구분석 결과 평가이슈 농촌진흥청 ‘농산업용 기계기술’ 교육훈련프로그램은 지도직공무원으로 하여금 농산업용 기계기술 지도를 적절히 수행하여 장기적으로는 관련 안전사고의 발생률을 감소시킬 목적으로 운영하고자 하였음. ‘농산업용 기계기술‘ 교육훈련 프로그램이 조직성과에 어느 정도 영향을 미치는 지에 대해서는 금전적 가치와 연관되어 파악할 필요가 있음. 조직 분석 정비교육 횟수에 의한 평가보다는 기존 업무 처리 방식에 비해 효율성이나 효과성이 향상된 업무가 무엇인지 파악하여 그 업무성과향상도를 파악하는 것이 보다 적절한 접근법일 것으로 고려됨. ‘농산업용 기계기술’ 학습자들의 성과는 수치로 나타나기 어려운 항목들이 많으므로 질적 자료를 양적 자료로 변환하여 계산할 필요가 있음. 농업기계 교육(지도) 업무는 주로 교육준비 업무와 교육진행(운영) 업무로 구분되며, 농업기계 정비업무는 고장진단 업무와 정비관련 업무로 구분됨. 농촌지역 현지교육 및 정비는 수시로 이루어지고 있기 때문에 정비교육 횟수 등으로 업무성과를 판단하는 데에는 무리가 있음. 개인분석 교육훈련프로그램을 통한 성과로서 실제 안전사고가 어느 정도 감소하였는지를 고려할 필요가 있음. 농업기계 교육(지도) 및 정비 업무와 관련된 역량을 육성하는 데 가장 큰 목적을 두고 있음 과제분석 교육훈련 프로그램을 통한 성과로서 농업기계 교육과 정비를 통한 성과를 동시에 고려할 필요가 있음

ROI 평가 결과 (2) V. 교육훈련프로그램 효과성 평가 결과 지도회계실무 교육훈련 프로그램에 대한 평가계획 수립 결과, 각각 4가지 성과 항목 및 비용 항목에 대한 세부 항목과 자료수집 방법 및 시기, 교육프로그램 효과 분리 방법, 금전적 환산 전략 등이 다음과 같이 결정되었음. 성과항목에 대한 비용 추정은 대체로 설문조사를 활용한 참가자와 관리자에 의한 추정, 직원 시간 비용 계산 등이 주를 이룬 반면, 비용항목에 대한 추정은 실제로 교육훈련에 투입된 비용 데이터 적용이 주를 이루었음. 평가계획 수립 결과 구분 항목 세부항목 자료 수집 방법 교육프로그램 효과 분리 방법 금전적 환산 전략 자료 수집 시기 성과항목 농업기계 교육시간 감소율 교육내용선정 및 계획 교육자료/교재개발 및 준비 자기보고식 설문조사 결과 참가자에 의한 추정 감독자(관리자)에 의한 추정 직원의 시간비용 계산 품질비용 계산 내·외부 전문가 의견 활용 교육종료 3개월 후 농업기계 정비시간 감소욜 농업기계 점검 및 진단 농업기계 부품교환 농업기계 수리 농업기계 수리내용 검사 농업기계 정비오류 감소율 - 안전사고 감소율 비용항목 학습자 비용 급여 교육출장비 실비 추정 또는 실비 적용 (해당 사항 없음) 교수자에 의한 추정 실제 소요비용 데이터 활용 교육종료 후 교수자비용 교육과정설계비 내부강사 급여 외부강사 강의료 외부강사 원고료 교육프로그램 운영비 교재비 관리시설비 시설관리비 기자재비

ROI 계산 step 1~2. 성과항목 선정 및 향상도 계산 V. 교육훈련프로그램 효과성 평가 결과 농산업용 기계기술 교육훈련 프로그램의 성과 항목의 세부항목에 대한 향상도를 계산함. 향상도는 성과항목을 측정한 일정 기간 전후의 변화된 정도를 표시하는 수치로, 농산업용 기계기술 교육훈련로그램의 향상도는 설문조사를 통해 업무시간 및 오류 감소율의 평균 값을 계산하여 산정함. ROI 계산 step 1~2. 성과항목 선정 및 향상도 계산 향상도(ID; Improvement Degree) = 시행 후 성과 – 시행 전 성과 성과항목 세부항목 준비시간 감소율(M) % 농업기계 교육준비시간 감소율 교육내용선정 및 계획 23.56 교육자료/교재개발 및 준비 37.23 농업기계 정비시간 감소율 농업기계 점검 및 진단 27.56 농업기계 부품교환 33.05 농업기계 수리 28.33 농업기계 수리내용 검사 32.56 오류/사고 감소율(M) % 농업기계 정비오류 감소율 - 25.65 안전사고 감소율 18.23

품질지수(QI; Quality Index) = HR 기여도 x 신뢰도 x 품질비 ROI 평가 결과 (4) V. 교육훈련프로그램 효과성 평가 결과 품질지수는 ROI를 절차적으로 계산하기 위하여 도입한 개념으로 HR 기여도, 신뢰도, 품질비를 서로 곱하여 계산함. 참가자와 관리자의 평균 값 적용 결과, 농산업용 기계기술 교육훈련 프로그램의 HR 기여도는 27%인 것으로 나타났음. 신뢰도, 품질비 등은 1로 추정하여 품질지수는 0.34로 도출 ROI 계산 step 3. 품질지수 계산 품질지수(QI; Quality Index) = HR 기여도 x 신뢰도 x 품질비 HR 기여도(HCD: HR Contribution Degree) HR 프로그램이 경영성과 향상(즉, 성과항목의 향상도)에 영향을 끼친 정도를 나타내는 수치 1 또는 연구자료, 관련자료, 당사자/관련자 추 정, 사내·외 전문가 추정, 외부 데이터베이스 활용 HR 기여도 항목 참가자 관리자 평균 [지도회계실무] 교육프로그램 23.56 31.23 0.27 성과급 등 인센티브 지급 12.26 11.23 0.12 경영진 및 상사의 영향 13.65 9.87 자기주도학습 및 자료검색 17.45 19.86 0.19 동료들과의 의견교환 12.54 19.23 0.16 기타 외부요인 20.54 8.58 0.15 신뢰도(CD: Confidence Degree) 추정한 HR 기여도에 대한 신뢰수준 1 또는 당사자/관련자 추정 품질비(QR: Quality Ratio) HR 프로그램을 실시한 후 나타난 성과의 품질 을 HR 프로그램 실시 이전의 성과에 대한 품 질로 나눈 수치 성과항목이 품질 수준을 측정할 수 있는 유형 의 산출물일 경우에만 고려하고 무형의 산출물 일 경우에는 1로 추정

성과지수(PI) = 향상도(ID) x 품질지수(QI) ROI 평가 결과 (5) V. 교육훈련프로그램 효과성 평가 결과 성과지수는 Step 2에서 구한 향상도와 Step 3에서 구한 품질지수를 곱하여 계산하였음. 각 성과항목의 세부항목 당 성과지수는 최소값 6.45(교육내용 선정 및 계획 업무)과 최대값 10.20(교육자료/교재개발 및 준비) 사이에 분포하는 것으로 나타남. ROI 계산 step 4. 성과지수 계산 성과지수(PI) = 향상도(ID) x 품질지수(QI) 성과항목 세부항목 성과지수 농업기계 교육준비시간 감소율 교육내용선정 및 계획 6.45 교육자료/교재개발 및 준비 10.20 농업기계 정비시간 감소율 농업기계 점검 및 진단 7.55 농업기계 부품교환 9.05 농업기계 수리 7.76 농업기계 수리내용 검사 8.92 농업기계 정비오류 감소율 - 7.03 안전사고 감소율 4.99

환산연간평균금액 = (시행 전 환산연간평균금액 + 시행 후 환산연간평균금액) ÷ 2 ROI 평가 결과 (6) V. 교육훈련프로그램 효과성 평가 결과 환산연간평균금액은 성과항목과 연관된 경영성과 항목 자료의 가치를 연간 금액으로 환산한 것으로, 교육훈련프로그램 시행 전 환산연간금액과 시행 후 환산연간금액과의 평균값으로 계산하였음. 농산업용 기계기술 교육훈련 프로그램의 환산연간평균금액은 각 세부항목별로 약 7천 만원에서 10억 사이에 분포하는 것으로 나타났음. ROI 계산 step 5. 환산연간평균금액 계산 환산연간평균금액 = (시행 전 환산연간평균금액 + 시행 후 환산연간평균금액) ÷ 2 성과항목 세부항목 시행 전 환산연간평균금액 시행 후 농업기계 교육준비시간 감소율 교육내용선정 및 계획 105,724,756 130,633,508 118,179,132 교육자료/교재개발 및 준비 194,555,864 266,989,012 230,772,438 농업기계 정비시간 감소율 농업기계 점검 및 진단 143,457,804 182,994,774 163,226,289 농업기계 부품교환 79,585,229 105,886,252 92,735,740 농업기계 수리 67,449,439 86,560,114 77,004,777 농업기계 수리내용 검사 105,134,259 139,365,973 122,250,116 농업기계 정비오류 감소율 - 207,400,000 283,592,050 245,496,025 안전사고 감소율 952,000,000 1,224,862,800 1,088,431,400

ROI 평가 결과 (7) 시행이익 = 성과지수 x 환산연간평균금액 V. 교육훈련프로그램 효과성 평가 결과 시행이익은 교육훈련프로그램 성과항목에 의해 창출된 연간이익으로, 성과지수를 고려하여 산출하였음. 농산업용 기계기술 교육훈련 프로그램의 시행이익 합계는 총 140,373,386원인 것으로 나타났음. ROI 계산 step 6. 시행이익 계산 시행이익 = 성과지수 x 환산연간평균금액 성과항목 세부항목 성과지수 환산연간평균금액 시행이익 농업기계 교육준비시간 감소율 교육내용선정 및 계획 6.45 118,179,132 7,627,591 교육자료/교재개발 및 준비 10.20 230,772,438 23,536,847 농업기계 정비시간 감소율 농업기계 점검 및 진단 7.55 163,226,289 12,323,686 농업기계 부품교환 9.05 92,735,740 8,395,733 농업기계 수리 7.76 77,004,777 5,977,047 농업기계 수리내용 검사 8.92 122,250,116 10,904,481 농업기계 정비오류 감소율 - 7.03 245,496,025 17,250,558 안전사고 감소율 4.99 1,088,431,400 54,357,445 시행이익 합계 140,373,386

ROI 평가 결과 (8) V. 교육훈련프로그램 효과성 평가 결과 시행비용은 학습자 비용, 교수자 비용, 교육프로그램 운영비, 관리시설비로 구분하여 산정하였음. 농산업용 기계기술 교육훈련 프로그램의 시행비용은 총 36,170,770원으로 나타났음. ROI 계산 step 7. 시행비용 계산 구분 세부항목 설명 값 학습자 비용 급여 학습자 직급별 급여(평균)에 총 근로시간 대비 강의 참여시간으로 계산 19,019,723 교육출장비 학습자 직급과 지역을 고려하여 철도운임비, 일비, 숙박비, 식비 계산 11,000,940 교수자비용 교육과정 설계비 내부 교육운영인력 직급별 급여에 총 근로시간 대비 설계시간으로 계산 542,169 내부강사 급여 내부강사 직급별 급여(평균)에 총 근로시간 대비 강의시간으로 계산 59,467 외부강사 강의료 외부강사 강의료 합계 2,990,000 외부강사 원고료 외부강사 원고료 합계 교육프로그램 운영비 교재비 교재 1권당 단가 X 인쇄부수 1,890,000 관리시설비 시설관리비 전체 면적대비 강의사용면적을 고려한 전기비, 가스비 비용 계산 75,544 기자재비 기자재(굴삭기, 스키드로더, 지게차)의 내구연한, 전체사용가능시간 대비 사용 시간으로 기자재 사용비 계산 592,927 시행비용 합계 36,170,770

ROI 평가 결과 (9) 순이익 시행이익-시행비용 시행비용 ROI(%) = = X 100 비용 V. 교육훈련프로그램 효과성 평가 결과 ROI 값은 시행이익에서 시행비용을 뺀 값을 시행비용으로 나누어 비율을 계산하였음. 농촌진흥청 농산업용 기계기술 교육훈련 프로그램 ROI값은 288.09%로 투입비용 대비 금전적인 효과가 비교적 높은 것으로 판단되었음. 이는 작년의 유사 과정인 농업기계 진단 및 정비기술 교육과정의 ROI 결과인 232.69%에 비해 높은 수치임. ※ 일반적으로 100%가 넘으면 투입비용 대비 금전적인 효과가 있는 것으로 판단 ROI 계산 step 8. ROI 계산 순이익 시행이익-시행비용 시행비용 ROI(%) = = X 100 비용 140,373,386 – 36,170,770 36,170,770 = X 100 = 288.09(%)

ROI 평가 결과 (10) V. 교육훈련프로그램 효과성 평가 결과 교육 전과 종료 3개월 후의 사전-사후 비교 분석 결과 , 농산업용 기계기술 교육훈련 프로그램은 학습자들의 직무 만족도를 향상시키는 한편, 농업기계 관련 인적 네트워크 수준과 고객 만족도 역시 어느 정도 향상시키는 것으로 확인되었음. 무형적 효과 추정 결과 < 조직적응 > 구분 사전(교육훈련 프로그램 실시 전) 사후(교육 훈련 프로그램 종료 3개월 후) t 값 유의도 평균 표준편차 직무만족도 3.05 0.743 3.30 0.740 2.307 0.027* 조직적응 2.84 0.764 3.03 0.499 1.642 0.109 직무스트레스 3.32 0.915 3.11 0.843 -1.753 0.088 < 기술전파/고객만족 > 구분 사전(교육훈련 프로그램 실시 전) 사후(교육 훈련 프로그램 종료 3개월 후) t 값 유의도 평균 표준편차 농업기계 관련 인적 네트워크 2.76 0.925 3.41 0.725 4.605 0.000** 농업기계 정비/교육업무 에 대한 고객만족도 2.81 0.776 3.30 0.520 4.548 주1) 사전 : 교육훈련 프로그램 실시 전 학습자 대상 측정치, 사후 : 교육훈련 프로그램 종료 3개월 후 학습자 대상 측정치 주2) 척도 : 5점 척도 주3) 유의도 : * p<0.05, ** p<0.01

Ⅰ 서 론 Ⅱ 교육훈련프로그램 효과성 평가 개념 및 모형 Ⅲ 교육훈련프로그램 효과성 평가 우수 사례 Ⅳ 교육훈련프로그램 효과성 평가 모형 개발 Ⅳ 교육훈련프로그램 효과성 평가 결과 Ⅴ 박과채소심화 과정 SCM 결과 지도회계실무 과정 현업적용도 및 ROI 결과 농산업용기계기술 교육과정 현업적용도 및 ROI 결과 기계화영농사 교육과정 현업적용도 및 ROI 결과

교육과정 개요 V. 교육훈련프로그램 효과성 평가 결과 본 과정은 “기계화영농사”교육으로서 기계화 영농 종사자 또는 희망자가 주요 농업기계 보급기종을 이용하는 데 있어 요구되는 기술을 향상시키기 위한 목적으로 2주간 합숙 훈련으로 운영되었으며, 주로 활용된 교육방법은 강의법, 실습법이었음. 구분 내용 교육목적 기계화영농종사자 또는 희망자를 대상으로 농업기계 전문기술 교육을 실시하여 지역의 기계화영농을 선도할 핵심전문기술지도자로 양성 교육목표 지역 내 주요 농업기계 보급기종의 작동원리 및 취급조작, 점검․정비와 핵심기술 강화 농업기계 고장이 잘 발생하는 부위 고장수리 및 안전사용과 교통사고 예방 교육 교육 수료자에 대한 기계화영농사증 수여로 성취감 부여 교육일시 및 시간 2012. 03. 05 ∼ 2012. 03. 16 2주간 합숙 교육대상 및 인원 기계화영농 종사자 또는 희망자 총 35명(계획30명의 123%) 교육장소 양평군 농업기술센터, 농업기술원 교육방법 강의, 실습 교육내용 고장이 많은 부분의 정비수리기술에 대한 실기실습 강화 개인별 실기평가를 통하여 미진한 부분은 반복교육으로 성과 거양 교육 전․후의 평가로 자가 정비수리 능력 향상도 측정 영농정보 교환 및 양평군 농업현황

만족도 평가 결과 V. 교육훈련프로그램 효과성 평가 결과 교육만족도는 전반적으로 높은 수준에서 나타났으며(4.43점), 특히 경운기 및 콤바인 교육에 대한 만족도가 상대적으로 높게 나타났음. 한편, 교육 이수 후 교육내용이 직무수행에 도움이 되었는지에 대해서는 4.17점의 다소 높은 수준으로 인식하고 있는 것으로 나타남. 종합적인 만족도 직무수행 도움정도 ※ 종합만족도: 4.43점(5점 만점) ※ 직무수행 도움정도: 4.69점(5점 만점) 과목별 만족도 교육장비 만족도 ※ 교육운영 만족도: 4.17점(5점 만점)

현업적용도 측정 계획 V. 교육훈련프로그램 효과성 평가 결과 기계화영농사 교육훈련 프로그램은 향후 다음과 같은 행동지표를 통해 현업적용도를 평가할 계획이며, 앞서 평가한 교육훈련 프로그램과 유사한 방식으로 ROI를 평가할 계획임. 교통안전 교육 주요농기계 안전수칙 및 안전사고 예방교육 주요 농기계 취급조작 및 정비·점검 이앙기 취급요령 및 정비·점검 트랙터 취급요령 및 정비·점검 콤바인 취급요령 및 정비·점검 야간 친환경 농업(특강) 건강관리 상식(특강) 1 나는 경운기를 운전·조작 할 수 있다. 2 나는 경운기를 정비·점검할 수 있다. 3 나는 이앙기를 운전·조작 할 수 있다. 4 나는 이앙기를 정비·점검할 수 있다. 5 나는 트랙터를 운전·조작 할 수 있다. 6 나는 트랙터를 정비·점검할 수 있다. 7 나는 콤바인을 운전·조작 할 수 있다. 9 나는 농용굴삭기를 운전·조작 할 수 있다. 11 나는 주요 농기계의 불안전요인을 파악할 수 있다. 8 나는 콤바인을 정비·점검할 수 있다. 10 나는 농용굴삭기를 정비·점검할 수 있다. 12 나는 주요 농기계의 안전관리대책을 수립·시행할 수 있다. <과목> <현업적용도 행동지표>

조사 개요 I. 서론 4개 교육훈련 프로그램 효과성 평가를 위해 설문조사, 인터뷰, 서면자료(하드데이터) 분석 등 다양한 조사 활동을 수행하였으며, 그 개요는 다음과 같음. 구분 박과채소심화 교육 지도회계실무 교육 농산업용 기계기술 교육 기계화영농사 교육 현업적용도 및 SCM 교수자 인터뷰 내용: 평가 요구, 학습자특성 등 시기: 12.08.06-12.08.10 현업적용도 설문조사 대상: 박과채소심화 교육 전체 학습자(총 25명 중 18명 수집) 및 상사 내용: 현업적용 수준 및 영향요인 시기: 12.07.11(사전) 12.10.01~12.10.10(사전/사후) 현업적용도 우수자 인터뷰 대상: 현업적용도 설문조사 결과 우수 현업적용자(총 3명) 내용: 핵심성과요인 도출 시기: 12.10.11~12.10.19 내용: 평가 관련 요구, 학습자 특성, 교육목적 및 내용, 평가 설문지 검토 등 시기: 12.08.13-12.08.17 대상: 지도회계실무 교육 전체 학습자(총 43명 중 23명 수집) 및 상사 시기: 12.08.10~12.08.25(사전/사후) 대상: 농산업용 기계기술 교육 전체 학습자(총 37명 중 27명 수집) 및 상사 시기: 12.07.23(사전) 12.10.27~12.11.01(사후) 대상: 기계화영농사 교육 전체 학습자(총 35명 중 6명 수집) 시기: 수집 중 본 평가용역은 기계화영농사 1기 교육생만을 대상임. ROI (해당 사항 없음) 업무효율성 및 효과성 향상 인식 조사 내용: 교육 전후 업무소요시간 비교, 회계 오류 발생률 등 시기: 12.08.10~12.08.25 그 외 ROI 산출에 요구되는 각종 데이터 상시 수집 내용: 교육 전후 업무소요시간 비교, 안전사고 발생률 등 시기: 12.10.25~12.10.31 내용: 교육 전후 기계작업 수월성 비교, 안전사고 발생률 등

서 론 Ⅰ 교육훈련프로그램 효과성 평가 개념 및 모형 Ⅱ 교육훈련프로그램 효과성 평가 우수 사례 Ⅲ 교육훈련프로그램 효과성 평가 모형 개발 Ⅳ 교육훈련프로그램 효과성 평가 결과 Ⅴ 평가결과 활용방안 제언 Ⅵ

(시행이익: 약 75백만원 / 시행비용: 약 28백만원) (시행이익: 약 140백만원 / 시행비용: 약 36백만원) 교육과정 평가 종합 Ⅵ. 평가결과 활용방안 제언 박과채소심화, 지도회계실무, 농산업용 기계기술 교육과정의 현업적용도, 현업적용도 영향요인 및 ROI 평가 결과를 종합하면 다음과 같음. 박과채소심화교육의 현업적용도가 상대적으로 높게 나타났으며, ROI는 농산업용 기계기술교육이 지도회계실무 교육에 비해 높게 나타났음. 박과채소심화 교육 지도회계실무 교육 농산업용 기계기술 교육 현업적용도 업무활용도 4.41 4.26 4.07 능력향상도 4.34 4.19 4.30 성과향상도 4.25 3.88 평판향상도 4.02 3.86 4.00 전체 평균 4.05 현업적용도 영향요인 개인특성요인 과정참여도 4.64 과정이해도 4.18 (+) 3.76 (+) 4.00 (+) 적용자신감 4.09 (+) 3.71 (+) 4.22 4.30 (+) 3.84 (+) 4.14 교육과정요인 업무관련성 4.59 4.29 (+) 4.52(+) 업무도움도 4.26 (+) 4.24 4.37 강사적절성 4.55 4.45 (+) 4.22 (+) 4.32(+) 조직환경요인 적용기회 4.05 (+) 3.76 4.67 상사지원 4.45 4.15 동료지원 3.95 4.04 전체평균 4.18 3.92 4.28 ROI - 173.89% (시행이익: 약 75백만원 / 시행비용: 약 28백만원) 288.09% (시행이익: 약 140백만원 / 시행비용: 약 36백만원) 주) (+)는 현업적용도 영향요인 중 현업적용도와 통계적으로 유의한 상관관계를 가진 요인을 표시한 것임.

평가결과 활용방안 평가 결과 이슈 활용 방안 전반적으로 매우 높은 수준의 현업적용도 Ⅵ. 평가결과 활용방안 제언 평가 결과 이슈 활용 방안 박과채소심화 1 전반적으로 매우 높은 수준의 현업적용도 교육과정 요인과 개인특성 요인이 모두 높음 우수성과자의 핵심성공요인으로 적용자신감, 학습동기, 교육방법 및 내용, 강사, 적용기회 등이 도출됨. 교육방법 및 교육참가자 결정시 고려요인 도출 문제해결 실습시 팀별 과제와 함께 개인별 과제 별도 구성 및 참여도 제고방안 필요. PBL 방식의 교육과정 개발 확대 적용 필요 교육참여자 결정 시 학습자의 개인적인 특성을 함께 조사하여 반영할 경우 교육의 효과성을 높일 수 있음. 지도회계실무 2 전반적으로 높은 수준의 현업적용도 교육과정 요인이 높게 나타난 반면 개인특성 요인이 상대적으로 낮게 나타남 교육참가자 별 회계 및 예산 관련 업무 비중이 다양함 ROI 결과 금전적인 효과와 무형적 효과 검증 교육대상자에 따른 과정 구분 필요. 회계 및 예산 관련 업무 비중에 따라 실무과정과 지식 중심의 과정으로 구분할 필요가 있음. 교육과정의 목적을 명확화할 필요가 있음. 업무 비중에 따라 교육과정 내용의 비중을 재구성할 필요가 있으며, 현실적인 교육시간으로 확대 필요. 농산업용기계기술 3 전반적으로 매우 높은 수준의 현업적용도 교육과정 요인과 개인특성 요인이 모두 높음 단기간 다양한 기계를 다루고 있어 실기 시간이 상대적으로 적은 것으로 인식됨. ROI 결과 금전적인 효과와 무형적 효과 검증 학습자의 요구와 연계된 교육목적 설정 필요. 학습목표에 따른 기계 선정 및 실습시간 확대 필요. 교육참여자 결정 시 학습자의 개인적인 특성을 함께 조사하여 반영할 경우 교육의 효과성을 높일 수 있음. 공통 이슈 4 평가 대상 교육과정 모두 전반적으로 매우 높은 수준의 현업적용도를 나타냄. 평가 대상 교육과정들의 현업적용도는 개인 및 교육과정 요인이 높은 상관관계를 보였으며, 조직환경과 유의한 상관관계를 보이지 않음. 교육훈련 개선시 교육과정의 내용 및 방법, 교육 참가자 선정을 중심으로 전략을 수립하는 것이 효율적임. 평가 대상 교육과정의 학습전략을 다양한 과정 개선을 위한 기초자료로 활용할 수 있음.

Strategy to Results through People Thank You