9장. 프로그램 평가
프로그램 평가의 개념 1) 서비스가 필요한가, 2) 서비스가 활용될 것인가, 3) 계획된 대로 수행되었는가, 4) 서비스가 실제로 사람들의 욕구나 목표를 충족시키는데 도움이 되는가를 결정하는 방법.
평가성 검증 평가성 검증 : 평가계획의 일환으로 수행한다. 평가성 검증 단계 ▶ 1) 평가결과를 활용하고자 하는 사람을 파악하여 관여시킴. 2) 프로그램의 의도를 명확히 한다. 즉 프로그램설계모델(program design model)을 개발한다. 프로그램의 활동, 투입요소(input), 산출(output), 및 성과(outcomes), 그리고 이 요인들 간의 가능한 원인결과 관계를 명확히 묘사한다. 3) 프로그램의 목적이나 수행이 현실적 인지와 측정 가능한 지를 포함하여 프로그램의 실제를 파악. 4) 프로그램의 목적이나 수행내용에서 수정해야 할 사항이 있다면 이를 제안하여 관계자들의 동의를 이끌어 냄. 5) 평가의 설계방안을 탐색. 6) 평가결과를 어떻게 활용할 지 동의를 이끌어 냄.
효율성 평가 효율성평가 ▶ 프로그램 효율성 사정의 두 가지 방법론 ▶ 1) 프로그램의 수행으로 인한 편익이 그 비용을 정당화 할 수 있는가? 2) 적절한 비용으로 프로그램을 성사시켰는가? 더 적은 비용으로 같은 결과를 양상 할 수 있는 다른 방안이 있는가? 프로그램 효율성 사정의 두 가지 방법론 ▶ 1) 비용효과분석 : 프로그램 자체에 드는 비용에 초점을 둠. 2) 비용편익분석 : 프로그램 비용을 산출하는 것에 덧붙여서 프로그램 성과로 인한 재정적 이익의 산출에도 노력을 기울임.
프로그램 결과중심 평가 ▶ 산출평가와 성과 평가가 포함되는데 산출평가보다 성과평가가 선호됨. * 성과 (outcomes): 클라이언트의 변화와 관련된 내용으로 프로그램으로 인해 클라이언트가 얼마나 영향을 받았는지를 확인. (ex:인식이나 태도변화, 행동변화, 지위변화 등) * 실적 혹은 산출 (outputs) : 프로그램 참가자수, 상담 세션 수, 서비스 제공시간 등 주로 프로그램 자체와 관련하여 산출된 내용을 의미.
성과 평가 성과평가 프로그램이 의도한 목표를 실제적으로 달성하고 있는지, 성과평가 프로그램이 의도한 목표를 실제적으로 달성하고 있는지, 프로그램으로 인해 뜻하지 않은 역효과는 없는지를 평가하는 것. 평가에 있어 목표달성모델이라 불리는 이 접근법은 프로그램의 공식적 목표와 직무에 주의를 기울임. 프로그램의 공식적 목표를 종속변수로 규정하고 측정가능 하도록 조작화 함. (프로그램은 독립변수가 됨)
과정평가 과정평가의 목적 ▶ 프로그램이 의도된 대로 전달되었는가, 방법 ▶ - 과정평가를 위해 어떤 조사방법을 선택할 것인가는 왜 성공적이었고 왜 그렇지 않았는가, 누구에게 효과적이고 어느 상황에서 효과적인가, 프로그램의 어느 요소가 성공과 실패에 기여했는지를 파악함. 서비스 전달체계의 정밀성과 행정적 측면도 사정함. 방법 ▶ - 과정평가를 위해 어떤 조사방법을 선택할 것인가는 연구문제의 성격에 달려있음. - 사례연구방법, 기록검토, 참여관찰, 서베이 등으로 진행.
총괄평가(summative evaluation)와 형성평가(formative evaluation) 총괄평가는 프로그램의 궁극적 성공여부를 가려 그 프로그램을 지속할 것인지와 그 프로그램을 다른 대안적 사항들보다 우선적으로 선택할 것인지를 결정하는 것과 연관된다. 총괄평가를 통해 최종적 결과를 알게되며, 프로그램의 성공여부에 따라 프로그램은 지속되거나 중단되게 된다. 한편, 형성평가는 프로그램의 성패를 가르는 것과 관련이 없다. 대신에 프로그램 개혁과 수행 및 환성에 도움이 되는 정보를 얻는 데에 초점을 둔다. 총괄평가는 성과평가에 해당되며 형성평가는 과정평가에 해당된다.
질적 평가방법 프로그램의 공급자 입장 만이 아니라 프로그램이 수혜자에게 어떻게 경험되고 있는지에 관심 질적 평가에서는 프로그램의 사회적 의미를 따져본다. 프로그램의 공급자 입장 만이 아니라 프로그램이 수혜자에게 어떻게 경험되고 있는지에 관심 참여자들의 견지와 해석, 의미를 발견하는 것을 중시함