13강 프로그램평가조사

사회복지조사론
Research Method for Social Welfare

이 수 천

서울기독대학교 M.A., Ph.D.

사회복지통계연구소

 

13강 프로그램 평가조사

ü     프로그램 평가의 방법

ü     프로그램 평가의 기준

ü     성과평과와 과정분석평가

 

프로그램 평가의 방법

 

1. 프로그램 평가의 개념과 필요성

 

● 프로그램 평가에 대한 정의들의 공통점을 보면

① 프로그램이 달성하고자 하는 바, 즉 목적과 목표에 대한 달성 여부의 가치판단과 이에 대한 정보획득이 주임이 된다.

    (성공에 대한 객관적이고 타당한 평가도구가 필요하다.)

 

② 평가는 프로그램의 시작, 진행 그리고 종결과 그 후에 이르는 프로그램 전 과정과 목표와의 관련성에 대하여 가치판단적 관여를 하는 것이다. (과정평가와 총괄평가) (재가복지의 경우 단위 프로그램이 아닌 재가복지 사업 전반에 걸친 존폐여부 등을 결정하는 총괄평가는 현실적으로 거의 의미 없기 때문에 형성평가가 중심이 된다.)

③ 평가는 프로그램이 가지는 긍정적 요인과 부정적 요인들이 무엇인지, 평가기준을 토대로 총체적이고 체계적인 과정을 통하여 탐색하고 규정하게 된다.

④ 평가 과정과 결과의 활용이 가지는 특수성은 학습과 성장의 기회가 된다. 즉, 평가는 프로그램을 보다 객관적으로 분석할 수 있도록 해주며, 장단점의 분석을 통해 강화해야 할 것과 유지해야 할 것에 대한 새로운 정보제공을 하게 된다.

 

≫ 프로그램 평가는 ‘프로그램 발전을 위하여 프로그램의 기획과 진행의 과정, 종결에서 나타나는 긍정적·부정적 요인의 원인을 총체적, 체계적인 평가기준을 이용하여 진단하는 것’이다.

 

≫ 이 진단을 통하여 프로그램의 효과성이나 효율성, 품질, 이미지 등을 확인할 수 있으며, 이를 통해 새로운 의사결정을 내릴 수 있거나 기존의 프로그램의 문제점을 개선할 수 있는 정보를 얻게 된다.

 

≫ 프로그램 평가를 통하여 프로그램 자체의 목적에 보다 충실할 수 있게 하는 역할을 수행하도록 하며, 내부적으로는 학습과 성장이 이루어지며, 이를 통하여 보다 발전적인 프로그램으로 성장이 가능하게 된다.

 

 

● 프로그램 평가의 필요성

 

° 사회복지 실천활동에 투입되는 자원은 공공재적 성격을 가진다. 따라서 개인적 사유나 유용은 허락되지 않는다. 공익을 위하여 사용된다는 것은 프로포절에 의하여 지지되어야 한다.

° 프로그램 평가는 사업계획서 이후부터 시작된다. 기관은 프로그램의 진행되는 과정과 종결된 후에 자금이 투명하게 집행되었음은 물론 해당 프로그램이 클라이언트의 문제 해결에 결정적 기여를 했다는 것을 객관적으로 증명해야 한다.

° 사회복지사와 기관은 프로그램 진행 후 사회복지실천기술과 전문성을 증진시킬 수 있어야 한다.

° 즉, 클라이언트에 대한 책무성과 전문성이 동시에 요구된다.

° 이것을 어떻게 증명할까?

° 이 문제에 대한 해답 중 하나가 프로그램의 평가이다. 즉, 좋은 평가란 책무성과 전문성을 증명할 수 있어야 한다.

 

 

2. 프로그램 평가 방법

 

(1) 질적평가와 양적평가

● 평가방법은 크게 질적평가와 양적평가로 구분된다.

● 질적평가는 질적연구방법을 적용한 평가이다. 관찰과 면접을 주로 이용하며, 연구의도에 적합한 개별화된 집단이나 개인에서 나타나는 내·외면적 인간행위와 상호작용 그리고 그 흐름과 총체적 증거에 대하여 심도 깊은 통찰을 활용하여 평가하는 방법이다.

● 양적평가는 양적연구방법을 적용한 평가이다. 척도나 설문지 혹은 계량화된 측정기준을 주로 이용하여 측정되거나 수집된 결과들에 대하여 통계적·확률적 이론을 기반으로 하여 그 결과를 기술하거나 해석하고 가설을 검증(추리)하는 평가방법이다.

 

● 질적방법은 비교적 쉽게 할 수 있다고 생각하지만 그 맥락을 이해하고, 해석하고, 이미지를 부여하고, 새로운 결론을 도출하는 것은 해당분야의 전문성뿐만 아니라 사회과학적 지식과 경험적 상상력이 충분히 어우러져야 할 수 있다.

● 질적연구/양적연구 모두 철저한 사회과학적 조사에 대해서 이해해야 가능하다.

 

 

(2) 프로그램 구성체계에 따른 평가

● 프로그램 체계론에 따라 구조화된 대상별로 평가를 할 수 있다.

● 프로그램, 클라이언트, 사회복지사, 사회복지기관의 관계를 중심으로 분석한다.

● 여기에 더하여 지역사회와의 관계, 국가와 제도, 이데올로기 측면에 따라 프로그램의 영향력을 분석할 수 있다.

● 체계론적으로 다루기 때문에 프로그램의 정치적 요소나 지역사회의 파급효과에 대한 관심을 상대적으로 많이 가지고 있으나 프로그램 자체의 평가에는 미흡한 면이 많다.

 

(3) 프로그램 진행과정별 평가

● 프로그램 수행적 관점에서 프로그램 진행과정을 구조화하고, 구조화된 과정별로 각각 혹은 통합적으로 평가하는 방법이다.

● 준비단계, 진행단계, 종결단계, 사후단계

● 프로그램 진행과정에서 사회복지사와 클라이언트와의 세밀하고 구체적인 역동성에 관심을 가지게 된다.

● 질적평가나 양적평가 모두 활용가능하며, 현장중심의 평가가 이루어진다.

 

(4) 평가기준별 평가

● 표준화된 척도를 이용한 평가와 조작적 정의 척도를 이용한 평가가 있다.

● 효율성, 효과성, 노력성, 대응성, 품질, 전문성 등의 평가기준에 따라...

● 이 경우 평가기준을 적용할 수 있도록 조작적 정의의 과정을 거치는 게 필수적이다.

● 기관이나 시설평가에서도 많이 사용할 정도로 일반화된 방식이다.

 

(5) 설계방식에 따른 평가

● 실험설계와 비실험설계로 크게 나눌 수 있다.

 

(6) 과정에 따른 분류

● 형성평가와 총괄평가는 프로그램 과정에 따른 분류이다.

● 형성평가는 프로그램을 형성하는데 사용하고, 직원들로 하여금 양질의 서비스를 이끌어 내기 위하여 사용하는 것이다. 즉, 진행 중 수정과 보완이 목적이다.

● 총괄평가는 프로그램이 끝날 때 하게 된다.

● 총괄평가는 최종적 결과성, 산출된 실적들, 파급효과 등을 분석하여 프로그램을 유지할 것인지, 새로운 변화를 시도할 것인지, 폐기할 것인지를 결정하기 위하여 한다.

 

(7) 기타 : 누가(내부·외부), 방법(기술적·인과적·처방적), 시기(사전·사후)

프로그램 평가의 기준

 

•                  기준 : 효과성, 효율성, 품질과 만족도, 대응성,

              노력성, 형평성, 적법성, 접근성, 적절성

 

● 프로그램 평가하는 데 있어 여러 가지 기준이 있다.

● 평가에 있어서 기준은 무엇을 평가하느냐에 대한 문제가 된다. 이러 기준이 없다면 평가하는 사람에 따라 평가가 달라지기 때문에 평가를 신뢰할 수 없게 된다. 이런 기준들이 모두 적용되는 것은 아니지만 평가라고 할 때 서로 받아들일 수 있는 선을 제공한다는 면에서 기준을 아는 것이 중요하다.

● 프로그램 평가는 좁은 의미로는 효과성만 분석하는 것이지만, 여러 가지 기준들이 조작적 정의에 의하여 선택되고 사용되는 게 일반적이다.

 

(1) 효과성

● 프로그램이 이루고자 하는 목적과 목표가 실제로 달성된 정도를 측정하는 것이다.

● 또는 클라이언트에게 의도했던 변화가 어느 정도 일어났는지 평가하는 것이다.

● 즉, 프로그램의 ‘목표달성’을 측정하는 것이다.

● 목표달성모형은 성과평가의 핵심기준이 되며, 일반적인 평가에서 거의 빠지지 않는 부분이다.

● 프로그램의 계획단계에서부터 얼마나 구체적으로 측정 가능한가에 따라 측정의 용이성과 정확성이 결정된다.

● 금연 프로그램이라면 금연하게 된 클라이언트의 수가 기준이다. 가령, 100명이 금연프로그램에 참여하여 80명이 금연하게 되었다면 효과성은 80%라고 할 수 있다.

 

(2) 효율성

● 프로그램 결과로 얻어진 실적들에 대하여 투입된 자원을 대비하는 것으로, 최소의 노력으로 얼마나 최대의 산출을 얻었는가를 평가하는 기준이다.

● 비용으로 효과를 나눠 분석하면 비용효과분석이 되며, 비용에 따라 발생한 이윤을 대상으로 분석하는 경우 비용편익분석이 된다. 이를 통하여 얻어진 결과가 비용효과 단위이다. 가령, 50명에게 성교육을 시키는 데 100만원이 소요되었다면, 1인당 2만원의 비용이 소용된 것이다. 2만원은 비용효과 단위가 된다.

 

(3) 품질과 만족도

● 품질은 프로그램의 질과 수준이 어느 정도 이상 확보되었는지에 대한 클라이언트 입장에서 평가이다. 즉, 프로그램 제공자가 아니라 프로그램 대상자 또는 수혜자가 평가한다.

● 품질의 측정이 어렵기 때문에 클라이언트 만족도를 이용하여 평가하게 된다. 이는 높은 품질이 제공된다면 클라이언트의 만족도가 높아진다는 논리에 따른 것이다.

 

(4) 대응성

● 클라이언트의 욕구나 문제에 대하여 얼마나 적절하게 대처하였는가에 대한 기준이다.

● 사전에 체계적인 욕구의 분석이 전제되어야만 가능한 평가이기도 하다.

● 대응성은 클라이언트의 욕구에 대한 반응이 얼마나 신속하고 정확하게 할 수 있는가가 중요한 평가 요소이다.

● 가령, 경제적으로 어려움을 겪는 클라이언트에게 경제적인 서비스가 적절한 수준으로 제공되었다면 이는 대응성을 충족시킨 것이라 할 수 있다.

 

(5) 노력성

● 프로그램 수행을 위해 또는 목표달성을 위해 얼마나 많은 노력을 기울였는가를 평가하는 것이다. 필요한 물적·인적 자원을 얼마나 더 투입하였는가에 대한 관심으로 볼 수 있다.

● 가령, 프로그램에 대한 지원금이 100만원인데 이에 더하여 후원금을 100만원 개발했다면 같은 지원금을 받고 후원금을 50만원 개발한 기관보다 더 노력했다고 볼 수 있다.

 

(6) 형평성

● 분배가치 실현에 초점을 맞춘다. 즉, 프로그램 과정에서 클라이언트에게 미치는 영향력이 편애되거나 한쪽에 치우치지 않아야 한다.

● 대상자 선정에 대한 자격기준이 명확하고, 자격 결정 과정이 공개되어야 한다.

 

(7) 적법성

● 프로그램의 준비, 수행, 마무리가 합목적적으로 적법하게 진행되었는지, 혹은 기관의 가치와 목적(정관)을 준수하며 진행되었는지에 대해 진단하는 것이다.

● 특히, 예산 집행에 있어서 적법성은 중요하다. 또한 혜택 받는 프로그램의 경우 대상자 선정에 있어 비리가 없는지도 중요하다.

 

(8) 접근성

● 프로그램의 참여와 활동에 있어서 클라이언트의 접근이나 이용기회의 제공에 있어서 특정 대상에게 제한되어 있거나 왜곡 또는 차별이 있는지 진단하는 것이다.

● 가령, 생활편익시설을 이용하는데 있어서 장애인들이 편리하게 이용할 수 있는지, 물리적 접근성은 용이한지 등을 보는 것이다.

● 아울러 정보접근성과 같은 비물리적 접근성도 평가할 수 있다.

 

(9) 적절성

● 클라이언트에게 제공되는 프로그램이 클라이언트의 상황이나 특성, 제공되는 기관을 고려하여 적절하게 제공되고 있는가를 평가한다.

● 클라이언트의 입장에서 대응성과 개념이 유사하나 사회복지기관이나 사회복지사의 차원에서도 적절한지를 평가하기 때문에 좀 더 포괄적인 성격을 갖는다고 할 수 있다.

 

 

 

성과평가와 과정분석평가

 

1. 성과평가

 

● 성과측정은 휴먼서비스 프로그램의 효율성과 품질 그리고 효과성에 대한 정보를 일정한 규칙에 따라 모아 보고하는 것이다.

● 성과측정은 단지 프로그램 책임성에 대한 여러 최상의 접근방법 중 하나일 뿐이며 포괄적인 특징으로 효율성 관점, 품질 관점, 효과성 관점의 주요 관점을 포함하고 있다.

● 성과는 프로그램이 달성하고자 하는 목적과 목표이며 그 과정에서 나타나는 모든 활동이 포함된다. 결과성과, 산출성과, 품질성과는 성과평가의 핵심이라 할 수 있다.

 

(1) 결과성과 (outcome)

● 결과성과는 프로그램에 의해 의도된 결과나 급부들이 성취되었으며, 이로 인해 클라이언트가 어떻게 영향을 받았는지 또는 변화하였는지에 주된 관심을 둔다.

● 따라서 결과성과는 프로그램의 과정이나 그 종결에서 나타나는 참가자들을 위한 이익이라고 할 수 있다. 프로그램이 달성하고자 하는 효과성의 관점이라고 할 수 있다.

● 산출(output)보다는 달성목표 또는 변화된 것을 중심을 측정하기 때문에 실적보다는 목표의 구현에 더 관심을 둔다. 따라서 휴먼서비스 평가에 유용한 개념이라 할 수 있다.

● 단기, 중기, 장기성과로 구분된다.

 

° 단기성과는 프로그램 개입으로 인한 최초의 성과들로 프로그램이나 사회복지사의 의도적 개입에 의한 클라이언트의 지식, 태도 또는 기술의 변화이다.

° 중기성과는 단기성과들을 기반으로 하여 더 나은 이익이나 변화를 시도하고자 하는 추가적인 노력이다. 대체로 프로그램 종결 이후부터 나타나는 변화라 할 수 있다.

° 장기성과는 프로그램이 클라이언트를 위해 달성하고자 하는 궁극적이고 이상적인 목표라고 할 수 있다. 단기·중기성과를 기반으로 한 클라이언트의 욕구나 문제의 궁극적인 해결로 안정성이 회복되는 것을 이른다.

° 단기성과에만 머무르면 클라이언트의 자조와 능력강화에 이르지 못하게 되고, 형식적으로 실적만 쌓게 된다. 따라서 중장기적 성과에 대한 적극적인 도입이 필수적이다.

 

(2) 산출성과 (output)

 

● 하나의 체계(또는 프로그램)가 생산하는 어떤 것도 산출이라고 넓게 정의할 수 있으며, 산출성과의 측정은 체계가 생산하는 산출의 유형과 양에 대한 정보를 획득한다는 것을 의미한다.

● 산출성과는 투입대비 산출을 계량적 비율로 파악하게 됨으로써 생산성의 수준을 파악할 수 있는 표준화된 고전적인 평가방식의 적용이라 할 수 있다. 효율성의 관점이다.

● 비용편익분석과 비용성과분석으로 구분할 수 있다.

° 비용편익분석은 프로그램의 수행에 따라 나타나게 되는 산출양을 실적으로 하여 평가하는 것이다. 산출양 대 비용의 비율을 계산하는 것이다.

° 비용성과분석은 프로그램이 달성하고자 하는 결과성과의 달성 정도를 실적으로 하여 평가하는 것이다. 달성효과 대 비용의 비율을 계산하는 것이다.

 

● 효율성에 대한 비판에도 불구하고

    첫째, 재정 부담자들이 사회복지분야의 적격의 클라이언트에게 서비스가 제공되었다는 확인을 할 필요성과,

    둘째, 프로그램 관리자 입장에서 기부자들이 생각하는 것과 같이 돈이 낭비되지 않고 있다는 것을 보여줄 필요성에 의하여 사용되고 있다.

 

(3) 품질성과

● 품질 관점은 비용과 실적 중심의 효율성과는 달리 서비스의 질적인 측면에 관심을 갖는 것이다. 이는 TQM이론에 근거한 것이다.

● 사회복지 프로그램에서 생산성에 대한 이러한 질적 측면의 정의가 의미하는 것은 높은 품질의 서비스 결과로 더 낮은 실패율, 더 낮은 문서 작업, 과정에서 더 적은 시간의 소요, 기부자와 클라이언트에 대한 더 높은 만족도 제공, 더 낮은 비용의 소용, 더 좋은 공공 이미지가 도출된다는 것이다.

● 품질관점에 가장 중요한 관점의 제공자는 클라이언트라는 것이 중요하다.

● “이용자만족도 조사”가 품질을 측정하는 대표적인 방법이다.

 

 

2. 과정분석평가

 

● 성과평가에서 흔히 놓치게 되는 준비, 진행, 종결과 그와 상호작용하는 인적·환경적 요인과의 관련성을 프로그램의 과정에 따라 분석하는 기법이다.

● 질적 관찰연구가 중심기법이며, 충분하게 훈련된 연구원이 관찰자로서의 역할을 수행하게 된다. 일관성을 유지할 수 있는 평가틀의 개발과 적용이 필요하다.

 

● 주된 관심들

° 첫째, 연구가 진행되는 과정에서의 상호작용, 그리고 이를 통해 성

          장과 발전이 고루 분배되었는지 관심을 가진다.

° 둘째, 연구의 각 단계별로 구조화하고, 구조화된 단계별로 각기 또

          는 서로 어떻게 진행되거나 영향을 미치는지에 관심을 가진다.

° 셋째, 프로그램 과정에서 나타난 상호작용에 대한 체계적인 기록

          을 중요한다.

° 넷째, 현상과 상호작용에 대한 기록을 토대로 추정될 수 있는 프로

          그램의 적합성이나 목표달성 등에 대한 해석을 수행한다. 해

          석은 프로그램 과정이 제대로 기록되어져야 가능한 것이기

          도 하지만, 프로그램 평가의 전문성을 보여주는 중요한 요인

          이기도 하다. 이때 계량화된 분석을 활용하기도 한다.

° 다섯째, 사회복지연구가 가지는 총체적인 장점과 효과는 무엇이며,

          단점과 어려움은 무엇인지 구체적으로 고찰하는 데 관심을

          가진다. (돌발상황, 시행착오, 특수요인 등)

 

● 신뢰성 확보를 위하여 (가급적) 3명 이상의 평가자가 관찰자로 참여해야 한다. 수행평가자들의 의견 일치가 중요하다. 의견이 다를 때는 전체토론을 통하여 최종 결론을 내린다.

 

● 프로그램의 구조분석과정 이해

 

 

 

- 수고하셨습니다 -