제10장 사회복지 프로그램의 평가 송원대학교 사회복지과 안상록교수 사회복지 프로그램 개발과 평가 제4부 사회복지 프로그램의 평가 및 개선 제10장 사회복지 프로그램의 평가 송원대학교 사회복지과 안상록교수

목 차 사회복지 프로그램의 개관 프로그램 평가의 이론과 모형 프로그램 평가도구의 조건과 기준 프로그램 평가의 유형 목 차 1 사회복지 프로그램의 개관 2 프로그램 평가의 이론과 모형 3 프로그램 평가도구의 조건과 기준 4 프로그램 평가의 유형 5 사회복지 프로그램의 평가 절차

1. 사회복지 프로그램의 개관 프로그램 평가 사회복지조직(기관․시설)의 책무성(accountability)이 강조되기 시작하면서 이에 대한 필요성과 중요성이 점증되고 있음.

1. 사회복지 프로그램의 개관 프로그램 평가의 개념 프로그램 평가의 목적 프로그램 평가는 사회복지조직 전체 또는 기관이 운영하는 프로그램의 효과성과 효율성을 철저하게, 그리고 비판적으로 검토하는 과정임. 프로그램 평가의 목적 프로그램의 기획과 실행에 필요한 정보 제공 사회복지조직의 책무성 이행 사회복지이론의 형성에도 기여

1. 사회복지 프로그램의 개관 프로그램 평가의 내용 ① 노력 ② 예상치 못한 결과 ③ 효과성 ④ 효율성 계획된 목표의 달성을 위하여 투입된 모든 활동 및 자원의 종류와 양 ① 노력 프로그램을 기획할 때는 예상하지 못했으나, 실제의 프로그램 활 동의 결과로 나타난 긍정적, 부정적인 변화 ② 예상치 못한 결과 프로그램 목표의 달성정도 ③ 효과성 프로그램과 관련된 투입과 산출 간의 비율 ④ 효율성

2. 프로그램 평가의 이론과 모형 프로그램 평가의 이론적 모형 프로그램 평가에 대한 연구방법과 체계적 접근은 미국에서 20세기에 들어와서 시작되어 1970년대 중반부터 1980년대까지 지속됨. < 모형의 분류 > 프로그램 평가의 이론적 모형→ 서술적 모형(논리모형)과 처방적 모형(Scriven의 판단평가 모형) 평가모형의 발전과정→ 전통적 평가모형과 현대적 평가모형 전문가 중심의 평가모형과 직원중심의 평가모형

2. 프로그램 평가의 이론과 모형 목표지향 평가모형 목표지향 평가모형(objective-oriented evaluation model)은 널리 활용되는 고전적 평가모형으로 타일러에 의해 체계화됨. 이 모형에서의 평가는 설정된 프로그램 목표와 그 참여자들의 실제 성취수준을 비교하는 활동이고, 그러기 위해서는 목표의 세분화가 필요함. 타일러의 모형에 대한 비판내용 의도하지 않은 부수적 효과를 평가할 수 없다는 점 본질적인 지도활동의 개선에 한계가 있다는 점 프로그램의 정치․사회적 역할이나 윤리․도덕적 역할과 같은 복합적인 측면을 평가할 수 없다는 점 경험이나 태도 및 감정변화 등과 같은 중요한 성과와 경험과정을 평가하기 어렵다는 점

2. 프로그램 평가의 이론과 모형 관리지향 평가모형 CIPP 평가모형에 대한 비판내용 목표지향 평가모형의 대안적인 평가모형→ 관리지향 평가모형(management-oriented evaluation model) (예 : Stufflebeam(1974)의 CIPP 평가모형) CIPP의 네 가지 형식의 평가 : 상황평가(맥락평가; context evaluation), 투입평가(input evaluation), 과정평가(process evaluation), 산출평가(product evaluation) CIPP 평가모형의 중요한 역할→ 의사결정자의 의사결정을 돕는데 있음. CIPP 평가모형에 대한 비판내용 주요가치판단을 의사결정자에게 위임한다는 점 평가개념들을 조작적으로 표현하기 어렵다는 점 의사결정과정에 관한 방법론적 현상화와 구체적인 안내가 부족하다는 점

2. 프로그램 평가의 이론과 모형 수혜자지향 평가모형(판단평가모형) 수혜자지향 평가모형 : 평가를 대상의 가치나 장점을 체계적으로 사정하는 일 → 선각자적인 수혜자 대리인(enlightened surrogate consumer)으로서 역할이 필요함. 수혜자지향 평가모형의 장점 프로그램 평가의 결과를 쉽게 접할 수 있고, 그 활용효과를 증대시킬 수 있음. 프로그램과 자료를 선택할 때 중시할 준거에 대한 구체적인 안내 및 지침을 제공해 줌. 프로그램에 대한 점검목록표는 프로그램에 대한 간편하고 유용한 평가도구로 활용될 수 있음.

2. 프로그램 평가의 이론과 모형 제4세대 평가모형 Guba와 Lincoln(1989)은 자연주의적 참여-반응지향 평가방법을 지지하면서, 제4대 평가모형을 제안함. → 전통적인 평가모형들을 대체할 만한 새로운 평가모형을 총칭함. 제4대 평가모형은 질적 자료를 해석학적 또는 변증법적으로 처리하면서 평가방법에 있어 협상과 합의의 중요성을 강조함.

2. 프로그램 평가의 이론과 모형 논리모형 논리모형 : 사회복지 프로그램 개발과정에서 체계이론의 개념을 적용하여 투입-과정-산출-성과 간의 관계를 논리적으로 설명하는 도식을 활용하여 프로그램의 성과를 체계적으로 평가하는 모형 논리모형의 각광이유 논리모형의 구축방법 프로그램의 목적과 목표의 분명한 인식 프로그램이 진행과정에 대한 이해 과정평가와 성과평가의 통합적 운영 ⇒ 논리모형은 목표달성 여부를 판단하는 ‘성과’를 중시하기 때문에 각광을 받고 있음. 클라이언트 집단의 문제나 욕구확인 투입요소의 내용구성 활동내용과 과정의 명확화 산출과 성과지표의 구체화

3. 프로그램 평가도구의 조건과 기준 평가도구의 조건 평가도구(측정도구)의 조건으로는 타당도․신뢰도․객관도 및 실용도 등이 있음. 타당도 타당도란 평가도구가 측정하려는 내용이나 대상 그 자체를 얼마나 충실하게 측정하고 있는가의 정도를 말함. 내용타당도(content validity) 예언타당도(predictive validity) 요인타당도(concurrent validity) 구성타당도(construct validity)

3. 프로그램 평가도구의 조건과 기준 신뢰도 신뢰도란 평가도구가 측정대상을 일관성 있게 측정하고 있느냐의 정도를 말함. → 측정의 일관성 신뢰도 확인방법 재검사 신뢰도 동형검사 신뢰도 반분신뢰도 문항내적 합치도 크론바흐(Cronbach) 알파(α)계수

3. 프로그램 평가도구의 조건과 기준 객관도 객관도(objectivity)란 평가결과(측정결과)에 대한 평가자의 채점이 어느 정도 신뢰롭고 일관성이 있느냐의 정도를 말함. → 신뢰도의 일종 평가의 객관도를 높이기 위한 방법 평가도구의 객관화 평가자 소양의 제고 명확한 평가기준의 설정 다수인의 공동참여에 의한 평가

3. 프로그램 평가도구의 조건과 기준 프로그램 평가의 기준 실용도 실용도(usability)란 평가도구가 시간과 노력 그리고 비용을 얼마나 적게 들이면서 소기의 목적을 달성하느냐의 정도를 말함. 프로그램 평가의 기준 평가의 기준이란 평가를 위한 척도로서 프로그램의 성패를 판단하기 위해서 프로그램의 어느 측면을 평가의 초점 내지는 대상으로 삼아야 할 것인가에 대한 기준을 말함. 평가의 기준으로는 노력성, 효과성, 효율성, 영향, 서비스의 질, 과정, 영향, 형평성 등이 있음.

4. 프로그램 평가의 유형 상대평가와 절대평가 상대평가 절대평가 상대평가는 상대비교평가 또는 규준지향평가라고도 하는데, 이는 프로그램 참여자들의 성적을 그가 속해 있는 집단구성원들의 점수결과에 비추어 상대적 서열로 나타내는 방법임. 절대평가는 절대기준평가 또는 목표지향평가라고도 하는데, 프로그램의 목적과 목표를 실질적으로 어느 정도 달성하였는 가 즉, 목적․목표의 달성도에 의하여 나타내는 방법임.

4. 프로그램 평가의 유형 프로그램평가조사의 모델 프로그램평가조사의 모델의 형태 총괄평가조사모델(summative evaluation research model) 형성평가조사모델(formative evaluation research model) 총괄-형성 혼합모델

4. 프로그램 평가의 유형 효과성 평가와 효율성 평가 효과성 평가 효율성 평가 효과성 평가는 프로그램의 목적과 목표 달성여부, 개입효과 여부를 판단하는 데 중점을 둠. 효율성 평가는 프로그램의 비용과 성과를 대비시켜 그 경제성을 확인하는 데 중점을 둠.

5. 사회복지 프로그램의 평가 절차 프로그램평가조사(program evaluation research)는 평가조사의 일종으로 개입기술과 프로그램의 목적을 어느 정도 달성하였는지에 관해 알아보는 응용조사임. 평가조사의 유형으로는 단일사례연구와 사업평가조사 등이 있음. 보편적인 평가절차 ① 평가근거와 목적의 확인 ② 평가준거의 설정 ③ 평가활동의 기획 ④ 평가자료 수집계획의 수립 ⑤ 평가자료 수집활동의 전개 ⑥ 평가결과의 분석과 판단

프로그램의 목적과 목표 확인 및 평가도구의 제작 또는 선정 5. 사회복지 프로그램의 평가 절차 보편적인 평가절차에 근거하여 프로그램 평가절차는 세 단계(프로그램의 목적과 목표 확인 및 평가도구의 제작 또는 선정, 프로그램 평가의 실시, 프로그램의 평가결과 확인 및 보고)로 구분할 수 있음. <표 10-3>참조 프로그램의 목적과 목표 확인 및 평가도구의 제작 또는 선정 프로그램 평가의 실시 프로그램의 평가결과 확인 및 보고

다음강의 : 제11장 ISO 9001 품질경영시스템 인증규격을 적용한 프로그램의 개선 THANK YOU! 다음강의 : 제11장 ISO 9001 품질경영시스템 인증규격을 적용한 프로그램의 개선