University of South Carolina Logic Model: 프로그램 개발과 평가 최길호 교수 University of South Carolina

╔프로그램 평가╝ 에 대한 간략한 역사 4. 1980년대 후반: 프로그램 이용자들의 만족도 측정에 중점. 예)‘프로그램에 얼마나 만족하셨읍니까?’, ‘똑같은 프로그램이 다음에 진행된다면 이용하시겠읍니까 (Client satisfaction) 1960년대: 정부에서 지원하는 재정 지원이 목적대로 쓰여 졌는지 재정 감사에 중점을 둠 (Fiscal accountability) 2. 1970년대: 프로그램 이용자가 몇 명이고 어떤 종류의 프로그램들이 운영 되었는가를 숫자로 보고하는 정도였다. (Number of programs and program users) 3. 1980년대 초반: 프로그램을 이용하는 클라이언트들의 특성 (예, 성별, 인종, 직업, 연령, 생활 정도)을 파악하는데 중점 (Client’s characteristics and problems) 5. 1990년대: 프로그램이 원래 목적한대로 잘 실행되어서 이용자들에게 어떤 변화가 일어났는 가를 측정하는데 목적을 둠(Program outcome evaluation) 6. 2000년대: 프로그램을 지원하는 예산이 한계가 있기 때문에 한정된 예산으로 최대한의 효과를 높여야 된다는 점을 강조.그래서 경비와 이익 평가 (cost-benefit evaluation)를 통해서 효율성을 높이고, 프로그램결과 평가 (outcome evaluation)를 통해서 효과성을 높이려는데 노력을 집중

임상 사회복지와 관련된 윤리적 이슈 비윤리적 평가 리서치 행위 치료 목표를 분명하게 밝혀야 한다. 연구자의 견해를 주장할 목적으로 연구결과를 과장할 경우 1 연구참여 동의서를 받은 후에 연구방법과 자료수집 계획을 변경해서 연구를 진행할 경우 2 연구방법에 대해 구체적으로 서술한 기록을 남기지 않았을 경우. (예, 자료입력을 위한 codebook, 측정도구) 3 치료 목표를 분명하게 밝혀야 한다. 2. 치료의 이론적 바탕과 치료 모델을 설명한다. 3. 치료절차, 치료과정에서 적용할 테크닉, 클라이언트가 지켜야 할 규칙들을 설명한다. 4. 복지사는 본인의 교육배경, 그 동안에 받은 전문직 훈련, 전문가로서의 자격을 분명히 밝혀야 한다. 5. 치료과정 중에 클라이언트의 문화와 가치에 상충될 때가 있을 수도 있다는 것을 미리 알려준다. 6. 일회 상담에 얼마를 지불해야 하는가를 말해주고, 상담시간은 몇분이며 몇회에 걸처 상담을 받아야 할 것인가를 밝힌다. 7. 치료과정에서 있을 수 있는 심리적 부담(예, flashback)은 어떤 것이 있을수 있는 가를 설명한다. 8. 법적 혹은 윤리적 이유로 인해서 기밀을 보장할 수 없는 경우가 있을 수 가 있다는 점을 일러둔다 (예, 성폭력, 자살의사, 보다 낳은 치료를 위한 수퍼비젼을 위해서) . 9. 현 기관에서 가능한 치료, 가능하지 않은 치료는 어떤 것 인가를 말해준 다. 10. 상담자와 피 상담자 사이에 지켜야 할 책임 한계를 분명히 한다. 4 연구 참여자들의 허락없이 그들에 대한 개인정보를 외부로 유출시킬 경우.

평가를 통한 증거기반 실천 증거기반 실천의 정의 증거기반 실천 (evidence-based practice): 이론에 입각한 (theory-guided) 효과가 있었다는 증거에 기반을 둔 실천 (evidence-based ) 효과증거 기반은 experimental research design을 통해서 이루어지는 프로그램 평가에 의해서 구축된다. 증거기반 실천의 정의 증거기반실천(evidence-based practice<EBP>)은 최근에 가장 효과가 있다고 입증된 실천기법, 클라이언트가 원하는 개입 방법, 그리고 실천가 (practitioner)의 최근 임상전문지식을 통합해서 클라이언트의 상황에 가장 적합한 서비스를 제공하는 조직적 실천 과정(systemic practice process)이다. 증거기반실천은 실천가가 주관적으로 개입 모델을 선택해 온 하향식 과정(top-down process)이 아니라 클라이언트와 더불어 시작해서 클라이언트와 끝나는 상향식 과정(bottom-up process)이라고 할 수 있다. 증거기반(evidence-based)이라는 용어는 1992년에 캐나다 Ontario에 소재한 McMaster 대학교의 의료진에 의해서 처음으로 사용되었다(Evidence-based Group, 1992). 짧은 역사 임에도 불구하고 증거기반 실천에 대한 연구가 보건과 휴먼서비스(health and human services) 분야에 대단한 속도로 진전되고 있다.

증거기반 실천의 정의 증거기반 의료(evidence-based medicine)는 1)리서치를 통해서 입증된 최고의 치료효과, 2)첨단의 임상지식, 그리고 3)클라이언트의 가치(Values)를 통합한 의료실천기법이다(Sackett, Straus, Richardson, Rosenberg, & Haynes, 2000). 의료진에 의해서 시작된 증거기반실천은 현재 모든 후먼서비스 분야에서 가장 많이 언급되고 있는 용어이며, 사회복지가 다른 전문직종들과의 경쟁에서 생존하기 위해서는 받아 드릴 수 밖에 없는 실천 모델이 되었다. 증거기반실천의 물결이 거세게 불고 있지만 이에 저항하는 세력도 만만치 않다. 이를테면, Straus 와 McAlister(2000)는 다음과 같은 이유로 증거기반실천을 반대하고 있다. 증거기반실천은, 1)임상전문 지식과 경험을 무시한다; 2)마치 요리책을 가지고 음식을 만드는 것과 같은 접근방법에 불과하다; 3)단순히 경비를 절감하기 위한 수단이다; 4)임상중심의 리서치에 국한하고 있다; 5)실천이 불가능한 상아탑의 개념일 뿐이다; 6)치료적인 허무주의(therapeutic nihilism)다. 이상과 같은 논쟁에도 불구하고 증거기반실천은 가장 위력있는 실천지침으로 자리를 잡아가고 있다.

표1. 증거기반실천 모델은 1)최고의 효과가 있다는 증거, 2)Practitioner의 최첨단 지식, 그리고 3)클라이언트의 가치와 치료에 대한 기대가 서로 만나는 곳에서 증거기반실천이 가능하다는 것을 보여주고 있다. 이와 같이 3가지 요소가 결합 될 때 실천가와 클라이언트는 바람직한 치유연대(Therapeutic alliance)를 형성하게 된다. 따라서, 클라이언트에게 가장 바람직한 치료결과를 가져다 주게 되고 삶의 질을 높여 주는 결과를 낳게 된다.

표1. 증거기반 실천모델 증거기반실천은 무엇보다도 클라이언트의 이익을 최우선으로 하고 있다. 증거기반실천을 개입 모델로 택한 실천가는, 1)어떤 실천기법이 클라이언트에게 가장 효과가 있는지를 알기 위해 문헌 조사에 항상 노력하고, 2)최근에 발표된 리서치 결과가 제시하는 증거기반에 대한 정보를 신속히 입수하고 그 개입 방법을 배워 익히며, 3)증거기반에 입각해서 실천한다.」

프로그램 평가 목적 책임소재와 임무수행을 확인하기 위함이다 (Direct accountability). a) 프로그램 전달 대상자들에게 프로그램이 운영되었는가를 (Coverage accountability) 평가한다. 이를테면, 프로그램을 개발할 때 대상으로 했던 사람들에게 실제로 프로그램 혜택이 갔는가를 평가한다. b) 적절한 분량의 써비스가 전달 되었는가를 평가한다 (Service delivery accountability). 써비스를 받은 사람들은 누구이며 재외 된 사람들은 누구인가. 어떤 사람들이 중복해서 써비스를 받았는가. 필요한 만큼의 써비스가 제공되었는가.   c) 재정이 목적대로 사용 되었는가를 평가한다 (Fiscal accountability). 재정장부는 정확하게 기록되어 있는가. 재정은 예산 범위 안에서 제대로 지출되었는가. 쓰여야 할 곳에 목적대로 쓰여졌는가. d) 규칙과 법 규정 안에서 프로그램이 진행되었는지 평가한다 (Legal accountability). 프로그램은 법이 허용하는 범위 안에서 운영되었는가. 이를테면, 건물 안 밖의 안전수칙, 건강수칙, 개인정보의 기밀보장이 되었는가. 2. 프로그램 평가는 책임소재를 분명히 하려는 데있다. a) 누구에게 책임적 이었는가 (예, 프로그램 참여자, 재정지원자) b) 무엇을 위해 책임적 이었는가 (예, 프로그램, 맡은 분야) c) 이상의 책임 (a & b) 사항들이 잘 수행되었다고 증명 할 수 있는가

프로그램 평가 목적 3. 프로그램이 사용자들의 필요한 욕구를 충족시켜 주었는지를 평가한다. 4. 프로그램이 의도한 목적을 달성했는가를 평가한다. 5. 프로그램에서 어느 부분이 가장 좋은 효과를 내었고, 누구를 상대로 (예, 남자 혹은 여자, 중학생 혹은 고등학생) 프로그램이 운영되었을 때 가장 좋은 효과를 내었는가를 평가한다. 6. 계획에도 없었던 엉뚱한 부정적인 결과가 나타나지 않았는지 평가한다. 7. 더 좋은 결과를 내놓을 수 있는 프로그램을 제공하기 위해서 평가한다.

프로그램 평가 목적 프로그램 평가는 a) 써비스의 질을 높이는데 필요하다. b) 프로그램에 대한 지식을 높이기 위해서.   a) 써비스의 질을 높이는데 필요하다. b) 프로그램에 대한 지식을 높이기 위해서. c) 이론이 현실에 어떻게 적용되는가를 테스트 하기 위해서.  d) 문제해결 개입모델을 개발하기 위해서. e) 개입모델이 얼마나 효과가 있는지 테스트하기 위해서. 프로그램 평가는 다음과 같은 결정을 하는데 절대적으로 필요하다. 1) 프로그램을 계속할 것인가 2) 프로그램을 수정할 것인가 3) 프로그램을 확장할 것인가 4) 프로그램을 제거할 것인가

프로그램 평가모델 로직 모델 (Logic Model) Your Planned Work Your Intended Results Resources/ Inputs Activities Outputs Outcomes Impact 1 2 3 4 5

1. Resources/Inputs : 프로그램 개발에 들어간 모든 재원과 Input들. 소요예산 참여 staff . 자원봉사자 시설 도구 및 비품들 프로그램 운영을 규제하는 법령, 정책, 자금을 대어주는 기관이나 개인의 요구사항 2. Activities : 프로그램 진행에 사용된 모든 개입 활동들 (Activities)을 말한다. 인터뷰 상담 음식배달 입양 방문치료 homeless 가족들에게 shelter를 마련해줌 직업훈련 부모들에게 아동학대 예방교육 임신여성 상담 청소년/소녀들에게 big brother/big sister 연결해주기

3. Outputs : 프로그램을 통해서 이루어진 일의 분량 프로그램 참여자수 상담회수 배포한 condom수 가르친 과목수 배포한 자료집수 가정방문 회수 4. Outcomes : 프로그램 목적 성취 결과로 인해서 참가자들이 얻은 이익 (변화) 새로운 지식을 얻었음 자존감이 높아졌음 공포심이 줄어들었음 노숙자들의 수가 줄어들었음 기술습득 행동변화 환경이 개선되었음

5. Impacts 프로그램 참여를 통해서 얻은 추가 이득. 이러한 추가 이득은 프로그램이 원래 목적한 것은 아니었지만 추후에 나타나는 긍정적인 결과들이다. 예 목적: 프로그램 참여자들의 자존감을 높여준다. 결과: 프로그램 참여로 인해서 자존감이 높아졌다 (outcome). Impact: 3개월 후에 follow-up을 해보니 자존감이 높아진 학생들은 학교 성적도 덩달아 좋아진 것을 확인하게 되었다. 목적: 금년 6개월 동안에 노숙자수를 15% 줄인다. 결과: 노숙자수가 17% 줄어들었다 (outcome). Impact: 1년 후 경찰 통계에 의하면 노숙자수가 줄어 들음으로 인해서 범죄가 줄어들었고 도시가 더 깨끗해 졌다.  

Logic Model 평가 8단계 8. 결과평가에서 얻은 증거사용 7. 프로그램평가개선 6. 자료분석, 결과보고 5. 자료수집, 자료정리 4. 지표를 측정하기 위한 자료수집준비 3. 결과의 효과성 여부를 결정하는 지표선정 2. 측정하고자 하는 프로그램 결과선정 1. 준비단계

Logic Model: Output Report 1.평가준비 결과 측정을 위한 work group 을 구성한다. 어느 프로그램을 평가 할 것인가를 결정한다. 시간표(timeline)을 작성한다. 평가 계획서를 주요 인사들 (예, 기관장, 이사) 에게 배부한다.   2. 전통적인 서비스 프로그램 모델 (The Traditional Service Program Model) * inputs 은 프로그램 개발에 필요한 resources들이다. * Activity 는 기관의 사명(Mission)을 성취하기 위해서 input을 가지고 프로그램이 해나가는 일들 * Outputs은 프로그램의 활동(activity)으로 인해 성취된 일들을 말한다. inputs activities outputs - 예산 - 참여 스텝 - 이용시설 - 자원봉사자 - 도구 및 비품 - 교육 - 테크닉소개 - Training - 가르친 학생수 - 카운셀링 횟수 - 배포된 교육자료들의 숫자

Logic Model: Outcome Evaluation 3. 프로그램 결과 모델(The Program Outcome Model) *Outcome은 프로그램 활동에 참여하는 동안에, 혹은 프로그램을 마치면서 프로그램 참여자에게 나타나는 변화를 말한다. inputs activities outputs outcomes 행동의 변화 기법을 습득 지식의 증가

Example Logic Model Resources Activities Outputs Outcomes Project Goal: To improve the oral health of low-income children who receive primary care in a community health center Resources Dental Clinic Coordinator Community Health Director Staff dentist Staff pediatrician Medical providers Money for supplies Activities Training Develop curriculum Two one-hour didactic trainings to medical providers in oral health assessment One-on-one training to medical providers on oral health Outreach Order dental supplies for packets Make up packets Distribute to parents at end of each visit Outputs Training # of two-hour trainings held # of one-on-one trainings held # of medical providers trained Outreach # of parents/children receiving packets Outcomes Medical providers demonstrate accurate oral health assessment, education and prevention activities 정확한 평가, 교육, 예방 활동 More children receive high-quality oral health assessment, education and prevention activities during well-child visits 양질의 구강건강 평가, 교육, 예방활동 수혜 Parents/children are more knowledgeable about oral health and caring for children’s teeth 구강보건 및 어린이 구강에 대한 지식 증가 Reduced incidence of caries in children at the community health center 어린이 방문회수 감소

Chain of Outcomes Activities Outputs Short-Term Outcomes 단기 Project Goal: To improve the oral health of low-income children who receive primary care in a community health center Activities Training Develop curriculum Two one-hour didactic trainings to medical providers in oral health assessment One-on-one training to medical providers on oral health Outreach Order dental supplies for packets Make up packets Distribute to parents at end of each visit Outputs Training # of two-hour trainings held # of one-on-one trainings held # of medical providers trained Outreach # of parents/children receiving packets Short-Term Outcomes 단기 Medical providers demonstrate accurate oral health assessment, education and prevention activities 정확한 평가, 교육, 예방 활동 Parents/children are more knowledgeable about oral health and caring for children’s teeth 구강보건 및 어린이 구강에 대한 지식 증가 Inter.-mediate Outcomes 중기 More children receive high-quality oral health assessment, education and prevention activities during well-child visits 양질의 구강건강 평가, 교육, 예방활동 수혜 Long-Term Outcomes 장기 Reduced incidence of caries in children receiving care from the community health center 장기적으로 보건소에 어린이의 방문 감소

Generic logic model 일반적인 모델 Strategy 전략 Results 결과 Inputs 입력 Outputs 산출 Outcomes 결과 Outcomes Activities 활동 Participation 참가 » Inputs Outputs Outcomes Activities » » C O N T E X T 내용 A diagram of the theory of how a program is supposed to work A graphic depiction of relationships between activities and results 어떻게 프로그램이 작용하게 되는지에 대한 이론적 다이어그램 활동과 결과의 관계에 대한 그래픽

Simple logic model OUTCOMES INPUTS OUTPUTS SITUATION: During a county needs assessment, majority of parents reported that they were having difficulty parenting and felt stressed as a result 지역 니드조사시에, 다수의 부모들이 양육의 어려움을 호소하였고, 스트레스를 호소함. INPUTS OUTCOMES OUTPUTS Parents increase knowledge of child dev Parents identify appropriate actions to take Develop parent ed curriculum Staff Improved child-parent relations Targeted parents attend Parents better understanding their own parenting style Money Deliver series of interactivesessions Parents use effective parenting practices Strong families Partners Parents gain skills in effective parenting practices Facilitate support groups Research

Programs are not linear!프로그램은 선형이 아니다 Program investments 프로그램 투자 INPUTS OUTPUTS OUTCOMES Program investments 프로그램 투자 Activities 활동 Participation 참여 Short 단기 Medium 중기 Long-term 장기 What we invest 무엇을 투자하는가 What we do 무슨 활동을 하는가 What results 무슨 결과 Who we reach 누구를 대상 으로 하는가

보건소에서 한국말을 못하는 외국인 근로자들을 위한 통역 서비스 프로그램 결과 평가(outcome evaluation) 4. 몇 가지 프로그램과 Outcome들의 예. 프로그램 Outcomes Child care - 나이에 적합한 신체기능 정신적 기능, 언어 기능을 개발하도록 한다. - 유치원에 갈 수 있도록 준비시킨다 청소년 약물중독자 외래치료 - 약물중독이 미치는 영향에 대한 지식을 넓힌다. - 약물남용에 대한 태도를 바꾸도록 한다. - 프로그램을 마친 후 적어도 6개월 동안 약물남용을 하지 않는다. 8~12살 되는 소년들을 위한 철야캠핑 - 야외(산, 들판)에서의 생존기술을 익힌다. - 자신감을 개발한다. - 친구들과 좋은 관계를 맺고 그 관계를 유지하도록 한다. 보건소에서 한국말을 못하는 외국인 근로자들을 위한 통역 서비스 - 필요로 하는 치료를 받을 수 있도록 편의를 제공한다. - 진단결과를 설명해주고 어떤 치료가 필요하고 앞으로 어떤 예방초치를 해야 하는가를 일러준다. - 적절한 예방조치를 함으로써 건강을 유지하도록 한다. 

프로그램평가 일정표 달(Month) step 1 2 3 4 5 6 7 8 9 10 11 12 1. 준비단계    (Get ready.) 2. 측정하고자 하는 프로그램결과 선정    (Choose the outcomes you want to measure.) 3. 결과의 효과성 여부를 결정하는 지표설정    (specify indicators) 4. 지표를 측정하기 위한 자료수집 준비    (Prepare to collect data on your     indicators) 5. Outcome 측정준비 실험 및 자료수집    (Try out your outcome measurement systems and data collection) 6. 자료분석, 결과보고    (Analyze and report the findings)   7. 프로그램 평가방법 개선    (Improve your outcome measurement systems) 8. 결과평가에서 얻은 증거사용    (Use your findings)

프로그램평가 구성 프로그램 평가 질문 1. 프로그램 평가 질문 2. 효과 평가지표 설정 3. 평가 디자인 4. 평가 대상자들 선정 5. 자료수집 6. 자료입력 7. 자료분석 8. 보고서 작성, 평가결과배포 프로그램 평가 질문 평가는 프로그램의 목적이 달성되었는가를 확인하는 일이다. 따라서 평가 질문은 프로그램 목적과 연관이 있어야 한다. 목적은 goal과 objective로 되어 있다. Goal은 일반적이고 장기적인 목표로서 프로그램이 산츨 하고자 하는 방향을 말한다. (다음의 목적에 근거해서 평가질문을 만들어 볼것) 예. Program goal ● 지역주민들을 위한 건강 프로그램 - 주민들의 건강 상태를 극대화 한다. - 삶의 질을 높인다. - 신체, 사회, 심리적 기능을 증대시킨다. - 건강에 대한 새로운 지식을 넓힌다.

무엇을 근거로 평가지표를 세울 것인가? 문헌조사를 통해 유사한 프로그램이 평가 되었는지 검색하고, 사용한 평가척도가 무엇이었는지를 확인한다. 2. 척도가 너무 높았거나 낮지 않고 합리적이었다고 인정된다면 그것을 사용하도록 한다. 3. 다른 기관에서 유사한 프로그램이 평가된 적이 있는가를 확인하고 평가서에 보고된 척도를 참조하도록 한다. 4. 평가기준은 대부분의 프로그램 참여자들이 해 낼 수 있는 적절한(reasonable) 선으로 결정한다.

프로그램 이론(Program Theory) 프로그램에 참여하는 사람들이 무슨 활동을 통해서 (activities) 어떤 결과 (Outcomes) 를 얻을 수 있는가를 설명해주는 것이 프로그램 이론이다. 다시 말하면, 프로그램 이론은 프로그램이 끝날 때 어떤 결과를 기대할 수 있는가를 결정한다. 이것은 ‘If – then’ 의 형태로 서술한다. 예 1 (If) 만약 부모들이 5회에 걸친 자녀양육방법 세미나에 참석한다면, (then) 보다 효과있게 자녀를 양육하게 될 것이다. 실천방법: 자녀양육방법 세미나 실천활동: 강의, 소그룹 토의, role play, 양육 경험담 쓰기, 자녀양육에 대한 영화와 비디오 보기, 부모들이 서로의 의견 나누기 목적 (Goal): 부모들은 효과적인 자녀양육 방법이 무엇인지 이해하게 될 것이다. 결과 (Outcome): 효과적인 자녀양육 방법에 대한 지식 획득

프로그램 이론(Program Theory) 예 2 (If) 직장을 찾는 사람들에게 자기가 가지고 있는 기술들을 어떤 방법으로 다양한 직종에 적용할 수 있는가를 카운슬링 해준다면, (then) 일자리를 찾을 수 있는 많은 기회가 있음을 깨닫게 될 것이다. 실천방법: 직업 카운슬링 실천활동: 개인별 직업 카운슬링, 개인 기술 평가, 구인 명단작성 및 배포 목적 (Goal): 직장을 찾는 사람들이 다방면에서 일할 기회가 있다는 것을 깨닫게 될 것이다. 결과 (Outcome): 본인이 가지고 있는 기술 중에 딴 직종에 적용할 수 있는 기술이 무엇인가를 확인하게 됨, 일자리를 찾을 수 있는 기 회가 많은 것을 깨닫게 됨.

프로그램 목적 평가지표 프로그램을 통해서 기대하는 것이 무엇이며 그것을 어떻게 측정 할 것인가를 말해준다. 목적을 측정하는데 필요한 3가지 평가기준: 프로그램 참석자들 중 최소한 몇 %가 프로그램이 기대하고있는 결과에 미칠 수 있는가 (The minimum % of participants who will show the change in the expected outcome.) 2) 프로그램 참석자들에게 기대하는 최소한의 결과 (The minimum amount of expected change) 3) 언제 이러한 결과를 기대할 수 있는가 (The time frame in which change will be measured) 예 1 (If) 만약 부모들이 5회에 걸친 자녀양육방법 세미나에 참석한다면, (then) 보다 효과있게 자녀를 양육하게 될 것이다. 실천방법: 자녀양육방법 세미나 실천활동: 강의, 소그룹 토의, role play, 양육 경험담 쓰기, 자녀양육에 대한 영화와 비디오 보기, 부모들이 서로의 의견 나누기 목적 (Goal): 부모들은 효과적인 자녀양육 방법이 무엇인지 이해하게 될 것이다. 결과 (Outcome): 효과적인 자녀양육 방법에 대한 지식 획득 프로그램 평가기준: 5차례의 세미나에 참석하게 될 때, 참석한 부모들의 최소한 70%가 자녀양육에 대한 지식이 사전/사후검사 에서 적어도 20점 이상의 차이가 나는 것을 보여주게 될 것이다.

프로그램 목적 측정 예 2 (If) 직장을 찾는 사람들에게 자기가 가지고 있는 기술들을 어떤 방법으로 다양한 직종에 적용할 수 있는가를 카운슬링 해준다면, (then) 일자리를 찾을 수 있는 많은 기회가 있음을 깨닫게 될 것이다. 실천방법: 직업 카운슬링 실천활동: 개인별 직업 카운슬링, 개인 기술 평가, 구인 명단작성 및 배포 목적 (Goal): 직장을 찾는 사람들이 다방면에서 일할 기회가 있다는 것을 깨닫게 될 것이다. 결과 (Outcome): 본인이 가지고 있는 기술 중에 딴 직종에 적용할 수 있는 기술이 무엇인가를 확인 하게 됨 , 일자리를 찾을 수 있는 기회가 많은 것을 깨닫게 됨. 프로그램 평가기준: 구인광고 회사들의 명단을 프로그램 참석자들에게 주었을 때, 최소한 80%는 자기들의 기술을 활용할 수 있는 3개의 회사를 택해서 인터뷰에 임할 수 있게 될 것이다.

프로그램 목적 측정 프로그램 참석자들중 최소한 몇 %가 프로그램이 기대하고있는 결과에 미칠수 있는가 프로그램 참석자들에게 기대하는 최소한의 결과 언제 이러한 결과를 기대할 수 있는가 평가기준 70% 20점 혹은 그 이상 증가 사전/사후 검사 40% 한달에 무단 결근 일수가 1회를 넘지않음 지난해 기록과 금년 기록을 비교 80% 지원서를 낼만한 회사를 적어도 3개를 찿아냄 50% 우울증의 증세를 최소한 절반으로 줄인다. 매 2주마다 6개월간 측정

프로그램 평가 디자인 (Evaluation Design) 1. 욕구조사 프로그램을 개발하기 전에 반듯이 욕구 조사를 해서 그 욕구에 맞는 프로그램을 개발하여야 한다. 일회 자료 수집(cross-sectional design) O : 관찰, 측정, 평가를 의미한다 X : 프로그램 개입(치료)을 의미한다 2. 단일집단 사후 검사 디자인(one-group post-test only design) 단일집단을 상대로 프로그램을 실시한 직후 자료를 수집해서 프로그램의 성과를 측정한다. X O  3. 단일집단 사전-사후 검사 디자인(one-group pretest- post test design) 한 집단을 상대로 프로그램을 진행하기 전에 사전 검사를 하고 프로그램이 끝난 후 다시 검사를 한다. O₁ X O₂ 효과성 치료 사전검사 사후검사 우울증 34(평균) 18(사후) t= 6.43 유의미함

프로그램 평가 디자인 (Evaluation Design) 4. 비 동질집단 사후 검사 디자인(nonequivalent group post test- only design) 두 집단(실험집단, 비교집단)을 대상으로 프로그램을 진행한 후 동시에 사후 검사를 실시 하여 그 검사 결과를 비교하여 실험집단이 비교집단보다 유의미한 변화가 있었는가를 확인 한다. (실험집단) X O (비교집단) 5. 시계열 디자인(time-series design) 한 개인이나 집단을 대상으로 종속 변수(예, 우울증)를 같은 주기로 (예, 매주마다) 프로그램이 시작하기 전에 측정하고, 또 프로그램이 끝낸 후 주기적으로 몇 차례 측정해서 사전-사후 검사 결과를 비교한다. O₁ O₂ O₃ X O₁ O₂ O₃

프로그램 평가 디자인 (Evaluation Design) 6. 비 동질집단 사전-사후 검사 디자인 두 집단으로 나누어서 실험집단을 상대로 프로그램을 진행하고 비교집단에게는 하등의 개입을 하지 않는다. 사전-사후 검사를 해서 두 집단 간의 차이(between groups)와 동일집단(within group)내의 차이를 비교한다. (실험집단) O₁ X O₂ (비교집단) 7. 통제집단 사후 검사 디자인(Control group post test –only design) 실험집단과 비교집단을 무작위 표본착출법으로 나눈 뒤 프로그램 진해 후 사후 검사를 해서 두 그룹의 차이를 비교한다. (실험집단) R X O (비교집단)

프로그램 평가 디자인 (Evaluation Design) 8. 통제집단 사전-사후 검사 디자인 두 집단을 무작위로 선정한 뒤 사전 검사를 실시하고, 실험집단을 상대로 한 프로그램이 끝낸 직 후 두 집단을 사후 검사해서 두 집단 간(between groups)의 차이와 동일집단(within group)간의 차이를 비교한다. (실험집단) R O₁ X O₂ (비교집단) 9. 솔로몬 4 집단 디자인 (실험집단) R O X (비교집단)

프로그램 평가 디자인 (Evaluation Design) ‘프로그램이 평가기준에 미치는 결과를 가져왔는가?’ 라는 간단한 질문에 답을 찿고자 하는 노력이 평가 디자인이다. 이 평가 디자인에는 다음의 요소들이 포함 되어야한다. 1) 어떤 결과를 측정할 것인가 2) 누구를 대상으로 측정할 것인가 3) 언제 측정할 것인가 4) 어떻게 측정할 것인가 5) 측정 결과를 어떻게 분석하고 어떻게 보고서를 작성할 것인가 예 1 (If) 만약 부모들이 5회에 걸친 자녀양육방법 세미나에 참석한다면, (then) 보다 효과있게 자녀를 양육하게 될 것이다. 프로그램 평가기준: 5차례의 세미나에 참석하게 될 때, 참석한 부모들의 최소한 70% 가 자녀양육에 대한 지식이 사전/사후검사 에서 적어도 20점 이상의 차이가 나는 것을 보여주게 될 것이다.

프로그램 평가 디자인 (Evaluation Design) 사전/사후 검사를 통해서 부모들의 자녀양육에 대한 식을 평가한다. 프로그램 참석자 50명 모두를 프로그램이 시작하기 직전 (사전검사) 과 프로그램이 끝나자 마자 (사후검사) ‘자녀양육 스케일’ 을 사용해서 프로그램에 참석한 부모들의 지식이 어떻게 향상되었는가를 측정한다. 사후 검사 점수가 사전검사 점수보다 통계상의 유의미한 차이를 보일 정도로 높을 때 프로그램은 성공적 (효과적) 이 었다고 할수있다. 01 X1 X2 X3 X4 X5 02 01 = 사전검사 02 = 사후검사 X1 = 양육 세미나 1 X5 = 양육 세미나 5

프로그램 평가 디자인 (Evaluation Design) 평가 디자인 II: 프로그램에 참석할 50명중 25명을 무작위로 착출 해서 실험 집단을 구성한다. 또한 프로그램에 참석 하려고 대기중인 사람들 중에서 25명을 무작위로 착출 해서 비교집단을 구성한다. 두 집단에게 사전/사후 검사를 실시해서 어떤 차이가 있는가를 비교한다. 실험집단 (무작위) R 01 X1 X2 X3 X4 X5 02 비교집단 (무작위) R 01 02 프로그램 평가 디자인에는 여러 종류가 있다. 그러나 여건이 허락하는 한 다음의 몇 가지를 고려하는 것이 필요하다. 1) 표본은 무작위로 착출한다 (randomized sampling) 2) 실험집단 (프로그램 참가자들) 과 비교집단 (프로그램에 않은 사람들) 을 구성한다. 3) 두 집단에게 사전검사 (프로그램이 시작하기 전) 와 사후검사 (프로그램이 끝난 후) 를 실시한다.

프로그램 평가 디자인 (Evaluation Design) 이상의 3가지 조건들이 충족된 디자인은 가장 훌륭한 과학적인 접근방법이다. 이와 같은 디자인으로 평가하게 될 때 프로그램의 효과에 대한 신빙성 있는 증거를 제시할 수 있다. 프로그램을 개발하고 제공하는 목적은 참여하는 사람들에게 도움을 주기 위한 것이기 때문에 과연 도움이 되었는가를 증명하는 것이 프로그램 평가이다. 이러한 평가는 효과의 여부에 대한 증거를 program manager에게 제공해 줌으로써 중요한 결정을 할수있도록 자료를 제공해준다. 이를테면 프로그램 평가는 다음과 같은 결정을 하는데 절대적으로 필요하다. 1) 프로그램을 계속할 것인가 2) 프로그램을 수정할 것인가 3) 프로그램을 확장할 것인가 4) 프로그램을 제거할 것인가

프로그램 평가보고서 작성 1. 서론 2.문헌 조사 (Literature review) 간단한 요약 (Abstract): 약 250에서 300자 정도 프로그램 평가결과를 간단하게 나열 ( Executive summary) 1. 서론 A. 문제 서술 (Description of the problem) B. 평가 리서치를 위한 질문 (Evaluative questions) C. 평가목적; 평가이유 (Purpose of the evaluation and rationale for it) 2.문헌 조사 (Literature review) A. 문제에 대한 이론적, 역사적 고찰 (theoretical and historical review of the problem) B. 리서치와 프로그램 평가에서 이미 확인된 사실에 대한 고찰 (Review of evidences found in research and program evaluation)

프로그램 평가보고서 작성 3. 평가방법 (Evaluation methods) A. 평가를 위한 로직모델 개발 (Development of a logic model to prepare for evaluation) B. 평가 디자인 (Evaluation design) a. 평가 대상자들에 대한 설명 (Description of target population) b. 프로그램 서술 (Description of the program) c. 프로그램 디자인에 대한 설명 (Description of the program design) d. 표본착출 방법 (Sampling method) e. 자료수집 방법 (Data collection method) f. 측정도구 (Measurement scale) g. 평가목적 (Evaluation outcomes), 평가 목적 (Evaluation objectives), 평가척도 (Evaluation criteria) C. 자료수집 (Data collection) D. 자료분석 (Data analysis) 4. 결과보고 (Evaluation results) 5. 추천/제안 (Recommendations/Suggestions)

Q & A 감사합니다