제14장 프로그램 평가 개념 및 모형

1. 프로그램 평가의 역사적 배경 - 프로그램 평가는 사회문제를 다루고 이해하기 위한 일반적 연구방법들 중의 하나이다. 중앙정부적 차원에서부터 작은 민간 사회복지기관에 이르기까지 복지 프로그램의 효과성을 제고하기 위한 개혁방향 을 제시하기 위해서는 무엇보다도 정확한 평가작업이 필요하다.

2. 프로그램 평가의 개념과 목적 1) 프로그램 평가의 개념 - 프로그램 평가에 대해서 Lohmann과 Lohmann(2002) 은 사회복지기관들의 책임성을 증명하기 위해서 그들에 의해서 사용되는 그리고 효과성, 효율성, 수행능력, 질의 이슈들을 해결하기 위해 사용되는 방법론 중의 하나로 정의하고 있다. - 프로그램의 평가를 기관의 계획(프로그램)에 대한 책무성을 과학적인 방법을 통해 체계적으로 분석하는 과정이라고 정의한다.

2. 프로그램 평가의 개념과 목적 2) 평가의 목적 첫째, 프로그램 평가는 프로그램의 기획과 실행에 필요 한 정보를 제공할 목적으로 수행된다. 둘째, 프로그램 평가는 사회복지조직의 책무성을 이행 하게 하는 목적을 갖는다. 프로그램에 대한 평가결과는 사회복지조직의 이사회, 재정지원기관 등뿐만 아니라 서비스 수혜자게도 보고되어 그 기관이 어느 정도 책임성 있게 활동하고 있는지를 증명하는 주요한 근거가 된다. 셋째, 프로그램의 평가는 사회복지이론의 형성에도 기여하는 목적을 갖는다.

3. 프로그램 평가의 필요성 - 프로그램 평가 첫째, 프로그램의 목표 달성 정도를 결정하기 위한 것 둘째, 프로그램에 관한 의사결정에 도움이 되는 정보를 제공하는 일 셋째, 프로그램의 장점이나 가치를 판단하고 결정하기 위한 일 넷째, 프로그램에 관하여 기술하고 판단하는 일 마지막으로 프로그램의 효과 및 영향을 체계적으로 사정하는 일이라고 할 수 있다.

4. 프로그램 평가 1) 프로그램 평가의 유형(p244~251) ⑴ Hammond의 평가과정 모형 ⑵ Scriven의 탈목표 모형 ⑶ 의사결정 모형 및 Kirkpatrick의 4수준 평가 모형

- 의사결정 과정과 평가 유형 1) 프로그램 평가의 유형 계획과 관련된 결정과정(planning decisions) 상황평가(context evaluation) 구조화와 관련된 결정과정(structuring decisions) 투입평가(input evaluation) 실천을 위한 결정과정(implementing decisions) 과정평가(process evaluation) 차기계획과 순환을 위한 결정과정 (recycling decisions) 산출평가(product evaluation)

2) 프로그램 평가의 유형별 구분 ⑴ 진단 평가 ⑵ 수행과정 평가 ⑶ 수행성과 평가 ⑷ 규준지향 평가와 준거 평가지향 ⑸ 양적 평가와 질적 평가

⑴ 사회복지 기관 성과 측정의 특성 3) 사회복지 기관의 성과 측정을 위한 BSC 접근방법 - 공공부문, 특히 정부 기관이나 사회복지 기관은 민간 기관과는 달리 수익을 목적으로 존재하는 것이 아니라 기관이 가지는 고유한 임무를 수행하기 위해 존재한다.

- 공공부문과 사회복지부문의 전략 비교 3) 사회복지 기관의 성과 측정을 위한 BSC 접근방법 전략 특성 사회복지부문 공공부문 전략 목표 프로그램의 효과성 임무 달성의 효과성 재무적 목표 효율성 비용감소, 효율성 가치 공공의무, 성실 공공의무, 성실, 공정 바람직한 성과 고객 만족 이해관계자 후원자, 감사인 납세자, 감사인, 입법자 예산 우선순위 결정요인 기획인력, 고객 요구 지도자, 입법자, 기획인력 주요 성공요인 우수 프로그램 관리, 규모의 경제 우수관리사례, 일률성, 규모 의 경제, 표준화된 기술

공공부문과 사회복지부문의 전략 비교 3) 사회복지 기관의 성과 측정을 위한 BSC 접근방법 BSC 관점 정부 대 기관 운영 수준 관리 수준 전략 수준 재무 정 부 비용 효율적 자원 활용 임무 완수 기 관 후원 및 분배 고객 국민정서 파악 고객 목표 성취 고객 주제(themes) 고객의 요구 파악 고객 욕구 충족 고객 만족 운영 과정 효율적 자원 할당 행정과정의 향상 과정의 효율성 지속적인 프로그램의 향상 프로그램의 최적화 학습 및 성장 인력의 자질 향상 및 교육 정보기술 아키텍처 정보기술 기반 정보기술 생산성 향상 정보기술 활용 지식 관리 프로그램의 관리 프로그램의 품질관리 프로그램 관리

4) 프로그램 평가의 타당도와 신뢰도 ⑴ 타당도의 의미와 종류(p276) 타당도란 평가하려는 내용을 어느 정도 충실하게 잴 수 있느냐 의 정도를 나타낸다. 즉, 그 평가도구가 평가하는 것을 제대로 평가하였는가를 말한다. 예를 들어, 도덕성과 관련된 프로그램을 진행했다면, 평가도구가 도덕성에 대한 내용을 담고 있는지 아닌지에 대한 부분을 논의하는 것이다. -준거 타당도 -내용 타당도 -구인 타당도

4) 프로그램 평가의 타당도와 신뢰도 ⑵ 신뢰도의 의미와 종류 타당도가 무엇을 측정하고 있느냐, 측정하려고 하는 속성을 어느 정도 충실히 측정하고 있느냐의 문제임에 반해, 신뢰도 (reliability)는 얼마나 정확하게, 오차 없이 측정하고 있느냐의 개념이다.

4) 프로그램 평가의 타당도와 신뢰도 - 재검사 신뢰도 - 동형검사 신뢰도 - 반분 신뢰도 - 문항 내용 합치도 - 크론바크의 α계수 - 효과성(effectiveness) - 효율성(efficiency) - 적절성(appropriateness) - 비용효과성(cost-effectiveness) - 만족도(satisfaction)

제15장 프로그램 평가 설계

1. 프로그램 평가 설계 요소 - 행정성과 기여 관점 사회복지 기관 프로그램에서 BSC 기본모형 - 고객 관점 - 복지시스템 관점 - 역량 관점

2. 프로그램 평가 방안 첫째, 프로그램의 중복성이다. 둘째, 프로그램 내용의 이질성이다. 셋째, 프로그램 목표의 불일치이다. 넷째, 비표준화된 도구의 사용이다. 다섯째, 다양한 평가도구의 부족이다. 여섯째, 평가도구와 평가 내용의 불일치이다. 일곱째, 통계 분석의 한계이다. 여덟째, 일반화의 어려움이다. 아홉째, 부적절한 통계 기법이나 평가 설계의 적용이다.

1) 평가 설계요소 ∙ 어떤 목적으로 평가하고자 하는가? ∙ 평가 요구자와 핵심 관련자는 누구인가? ∙ 어떤 접근 방법으로 평가하고자 하는가? ∙ 어떤 문제를 해결하고자 하는가? ∙ 특별히 고려할 점은 무엇인가? ∙ 중요한 평가 준거와 기준은 무엇인가? ∙ 평가 자원은 무엇인가?

- 평가 질문이 포함되어 있는 평가 설계상의 기본 요소 1) 평가 설계요소 - 평가 질문이 포함되어 있는 평가 설계상의 기본 요소 ∙ 평가 목적 ∙ 평가의 초점 ∙ 평가 질문：추구할 내용 ∙ 자료(정보)의 종류 및 내용 ∙ 자료수집 방법：운영 ∙ 자료수집 도구 ∙ 수집된 자료의 분석, 해석, 결론, 권고(건의 및 제언) ∙ 결과 보고서：보고 방법, 보고서 형태 등 ∙ 평가 결과의 평가：메타 평가

1) 평가 설계요소 - 평가 설계 시 특히 고려할 방법론적 요소 ∙ 탐구방식 ∙ 분석단위 ∙ 표집전략 ∙ 비교방법 ∙ 자료의 종류, 출처, 수집 시기, 사용 도구 등 ∙ 자료의 정확도 및 질적 수준 ∙ 측정의 신뢰도와 타당도 ∙ 자료 분석 방법 ∙ 결론

2) 평가 목적을 중시한 평가 방안 ∙ 프로그램의 목표 달성 정도를 파악하기 위한 목적 ∙ 프로그램의 효과 및 영향을 사정하기 위한 목적 ∙ 프로그램의 장점 및 가치를 파악하기 위한 목적 ∙ 프로그램의 개선 및 변화를 위한 목적 ∙ 프로그램의 기획 및 개발을 위한 목적 ∙ 프로그램의 존속 및 폐지를 결정하기 위한 목적 ∙ 프로그램의 실천 및 수행을 통제 및 모니터링하기 위한 목적 ∙ 프로그램을 지지하거나 인정받기 위한 목적 ∙ 프로그램 담당자의 책무성을 과시하기 위한 목적 ∙ 프로그램을 정당화 및 타당화하기 위한 목적 ∙ 프로그램을 홍보 및 이해시키기 위한 목적 ∙ 프로그램에 관한 연구를 위한 목적

3) 품질관리의 입장을 고려한 평가 모형 -평가의 목적에 따른 해당 모형 평가의 목적 해당 모형 프로그램의 목표 달성 정도 파악 목표 중심 모형(Goal based evaluation) 프로그램의 장점 및 가치 파악 판단 모형(Expert judgment) 혹은 반응 모형(Responsive evaluation) 평가를 통해 프로그램에 관한 특정 결정을 내리기 위한 경우 의사결정 보조 모형(CCIP) 프로그램의 효과나 경제적인 관점 파악 비용효과 모형(Cost effectiveness), 균형성과지표 모형 (Balance Scorecard) 기관의 구체적인 목표 달성 정도 파악 불일치 모형(Discrepancy model) 프로그램의 전반적인 효과나 영향 파악 평가 연구 방식(Evaluation research)이나 실험설계 방안(Experimental research model) 프로그램의 진가나 장점을 발견 탈목표 평가모형(Goal free evaluation) 또는 전문가 평가 모형(Connoiseurship model) 프로그램의 작동 및 점검과 확인으로 품질관리의 목적 프로그램 평가 고찰 기법(Program Evaluation Review Te chnique), 목표중심관리법(Management by Objectives)

3. 프로그램 평가의 절차와 도구 ∙ 수집해야 할 정보 자료의 파악 및 결정 ∙ 정보의 출처 및 근원 확인 ∙ 자료수집 절차의 체계화：표집 절차, 수집 절차, 일정 ∙ 자료분석 절차 ∙ 결과 해석 절차 ∙ 결과 보고 절차：보고 대상, 보고 내용, 보고 형태, 일정, 상황 등 의 계획

4. 메타평가 1) 메타평가의 개념 및 필요성 - 메타평가(meta-evaluation)는 평가에 대한 평가, 혹은 평가의 평가라고 할 수 있다. 평가를 진행한 이후에 평가의 내용이 잘 진행되었는지에 대한 사항, 평가자의 객관성 정도, 평가 내용의 신뢰성 및 타당성 등을 확인하는 작업이라고 생각하기 때문 이다. 그러나 메타평가는 단순하게 평가에 대한 평가라는 관점 보다는 보다 복합적인 의미를 갖는다. 메타평가는 평가의 방법론적 측면에서 평가하는 활동과 평가 결과의 평가목적에의 부응 정도, 적절성, 적합성 등을 평가하고 이를 바탕으로 새로운 관점을 제공해 주는 활동이다. 따라서 메타평가는 평가의 질적 측면을 보다 강조하고 있는 형태이다. 질적 측면에서 보다 높은 품질을 유지할 수 있는 메타평가는 건전하고 바람직한 형태이다.

2) 메타평가의 목적 첫째, 평가의 문제점이나 평가 중에 작용할 가능성이 있는 편견을 파악하는 일이다. 둘째, 평가 결과의 중요성을 파악하기 위하여 다양한 방법을 활용하는 것이다. 셋째, 평가 관점을 보다 확장하여 평가 대상에 관한 문제를 여러 관점에서 파악하고자 하는 목적이 그것 이다.

3) 메타평가의 접근법 - 메타평가를 보다 잘 진행하기 위해서는 어떤 형태의 접근을 진행할 것인가를 고려해야 한다. 평가를 잘 진행하기 위해서는 진단적 메타평가, 형성적 메타평가, 종합적 메타평가 등의 개념을 설정할 필요가 있다.

4) 메타평가의 활용 ∙ 기존에 실행한 평가가 프로그램 평가에서 확보하고자 했던 목적을 달성하고 있는가? 그리고 그 내용은 만족할 만한가? ∙ 평가 결과에 대한 부분은 누구나 알 수 있는 형태로 제시되어 있는가? ∙ 평가 결과는 신뢰할 만한가? ∙ 평가를 통해 프로그램에서 더 많이 추가해야 할 사항 은 무엇인가? ∙ 평가 결과가 부족하거나 보고서의 내용에서 더 보충 해야 할 사항은 없는가?