3강 실험설계

사회복지조사론
Research Method for Social Welfare

이 수 천 / 사회복지통계연구소

(서울기독대학교 M.A., Ph.D.)

 

3강 실험설계조사

ü 인과관계와 가설

ü 실험설계의 종류

ü 실험설계 적용의 문제점

 

인과관계의 3가지 조건

● 인과관계를 밝히는 것은 과학적 탐구의 목표가 될 수 있음과 동시에 타당한 논리적 과정을 제시함으로써 지식이나 이론적 기반을 확립하는데 주요한 기반이 되므로 중요하다.

● 인과관계를 밝히는 연구는 설명적 연구라 할 수 있다. 다양한 사회문제에 대하여 왜 그런 현상이 일어났는지를 원인부터 탐색할 수 있는 정보를 제공한다. 이로부터 보다 효과적이고 효율적인 개입방법이나 자원동원 전략을 구상할 수 있게 된다.

● 너무 많은 원인을 알아보는 건 연구로서 의미가 없다. 원인과 결과 간의 평균의 영향력이 감소하여 명료함이 줄어들기 때문이다. 특화된 소수의 인과관계를 보는 게 중요하다.

● 따라서 전체 현상을 설명하기 보다는 단위적 현상에 대한 설명을 중심으로 하게 된다. 즉, 인과관계를 해석할 때 진리나 절대적 가치로 받아들이는 것은 오류이다.

 

● 인과관계의 3가지 조건 : 선후성, 상관성, 비허위성

① 선후성 cause & effect : 원인은 항상 결과보다 앞선다.

“자원봉사활동에 참여하면 높은 이타적 성향이 나타난다.”???

② 상관성 association : 서로 간의 연관성이 명확하게 인정되어야 한다.

“물리치료 효과가 좋으면 물리치료실을 계속 이용할 것이다.”

③ 비허위성 nonspuriousness : 제3의 변수에 의하여 인과관계가 유효한 영향을 받지 않아야 한다. 즉, 원인과 결과의 불변적 결합을 이루어야 한다.

“경제수준이 높으면 물리치료실 이용만족도가 증가할 것이다.”???

 

변수의 인과관계

● 변수란, 설문조사나 측정도구를 통하여 구체적으로 측정하고자 하는 대상이다. 이것은 학력, 성별과 같이 속성일 수도 있고, 직장만족도 중 업무, 근로조건 등과 같이 어떤 개념이나 그것의 하위요인일 수도 있다. 즉, 측정 대상의 전체적인 속성을 의미한다.

● 변수는 다른 변수들과 구별되는 특성을 갖는다.

● 변수는 측정이라는 과정을 통하여 더욱 구체화될 수 있다.

 

● 변수종류

° 속성에 따라 질적변수와 양적변수로 구분이 가능하다.

° 척도에 따라 명목변수, 서열변수, 등간변수, 비율변수로 구분하기도 한다.

° 인과관계 속의 위치에 따라 독립변수, 종속변수, 매개변수, 선행변수도 나눌 수도 있다.

① 독립변수 : 어떤 변수에 영향을 주거나 설명해 주는 변수로 변수 자체로서는 독립적인 성을 갖는다. 인과관계에서 원인이 되는 변수이다. 따라서 인과관계의 3가지 조건을 모두 반영되도록 구성되어야 한다.

② 종속변수 : 다른 변수의 영향을 받는 변수로, 인과관계의 결과에 해당하는 변수이다. 최종적인 결과 혹은 결과적 현상을 의미하므로 연구의 주된 관심이 된다. 역시 인과관계의 3가지 조건을 모두 반영되도록 구성되어야 한다.

③ 매개변수 : 독립변수와 마찬가지로 종속변수에 영향을 주지만 시간적(순서적)으로 보아 독립변수와 종속변수 사이에 존재한다. 독립변수에 의하여 영향을 받으면서 종속변수에 영향을 주게 된다. 매개변수는 독립변수와 종속변수와의 관계를 보다 자세하게 설명해 주는 기능도 있다.

 

가설 만들기

● 가설이란 아직 경험적으로 검증되지 아니한 일종의 예비적 이론으로, 둘 혹은 그 이상의 변인들간의 관계에 대한 추측적 진술을 의미한다.

● 변수간의 관계성에 대한 것이 많기 때문에 상당수 가설들은 인과관계의 성격을 가진다.

● 단순히 상관관계를 구하기 원하는 가설의 경우 인과관계처럼 어려운 충족요건을 지킬 필요는 없다.

● 가설은 연구문제의 미리 정해둔 해답으로 변수와 변수간의 관계에 대하여 간단·명료·뚜렷하게 규정해 놓게 된다.

● if...then...구조를 취하게 되는 경우가 많기 때문에 연역적 연구방법을 적용한 것이라 볼 수 있다.

● 너무 쉬운 가설은 의미가 없는 경우가 많으므로 가설 자체가 가지는 유용도를 주의 깊게 살피고 세워야 한다.

● 가설의 한계는,

그것은 이론이 아니며 진리는 더더욱 아니라는 점이다.

 

● 가설을 규정하는 데 있어 주의할 점

① 가설의 타당성

② 인과관계와 상관관계

③ 타 변수들과의 관계

④ 측정

⑤ 검증방법과 가능성

⑥ 일반화의 가능성

 

실험설계와 비실험설계

● 실험설계-

독립변수의 조작과 통제 그리고 비교의 방법을 통하여 서비스의 개입효과를 실험과정과 같은 유형으로 분석하는 방법이다.

● 비실험설계-

실험설계를 적용할 수 없는 사회현상의 분석이나 설명적 조사에 활용하기 위하여 개발된 방법이다.

 

실험설계의 종류

(1) 실험조사설계

Experimental Design or A Pretest/Posttest Control-Group Design

° 전통적인 실험실의 설계방식을 그대로 차용한 설계방식. 기본형

° ‘연구자의 의도성-대상자의 선택 편의’를 줄이기 위하여 난선화(random)로 실험집단과 통제집단을 구분(확률적 배분)

° 실험집단, 통제집단 모두 사전검사

° 실험집단에 프로그램 개입

° 실험집단, 통제집단 모두 사후검사

° 실험집단과 통제집단의 사전-사후 변화 비교를 통한 가설검증

° 주요개념 : 조작, 통제, 비교

(2) 준실험조사설계(유사실험조사설계, 의사실험조사설계)

Quasi-Experimental Design

① 비동일통제집단비교설계

The Nonequivalent Control Group Design

° 실험설계와 유형과 검증방법이 동일하나 실험집단과 통제집단을 임의로 배치

° 무작위 배치가 윤리적·현실적으로 어려울 때 적용할 수 있기 때문에 유용성 매우 높음

° 실험집단과 통제집단을 최대한 유사하게 배치(사전 검사로 확인)

° 실제로 사회복지분야의 집단설계에서 많이 사용

② 시계열설계 Time Series Design

° 단순 시계열 설계로 개입 이전에 3회 이상의 연속적 관찰로 성향을 파악

° 개입 후 변화된 성향을 분석

° 즉, 반복관찰을 통한 조작과 변화의 관계를 확인

° 예기치 않은 사건에 의하여 영향 받을 수 있어 타당성의 문제에 있어 취약

(3) 전실험조사설계(원시실험설계)

Pre Experimental Design

° 다소 원시적인 실험설계임

° 실험집단, 통제집단, 사전검증, 사후검증 중 하나 이상 부족하거나 없는 형태로 설계

① 정적 집단비교(두집단 후비교설계) Static-Group Comparison : 실험집단과 비실험집단이 준실험설계와 비슷하게 설정된다. 사전검사는 없이 사후검사로만 비교한다.

② 단일집단 전후비교설계 The One-Group Pre-test Post-test Design : 통제집단이 없이 오직 실험집단으로만 구성한다. 통제집단이 없기 때문에 외적타당도에 대해 심각한 약점을 갖게 된다.

③ 1회 후검사 사례연구 The One-Shot Case Study : 탐색적 조사에 많이 사용된다. 비교할 통제집단도 없고, 사전검사도 없으며, 단지 실험집단에 대한 사후검사만으로 효과성을 검증한다. 내적, 외적타당도 모두 심각하게 취약하다.

(4) 단일사례연구

Single-Case Evaluation Design

° 행동수정을 비롯한 사회복지 임상분야에서 많이 사용되는 효과측정 방법

° 하나의 사례(한 사례의 소수 문제/소수사례)에 대한 사회복지적 개입을 실시한 후 변화가 발생하는지 그렇지 않은지에 대해 관찰을 통해 기록, 평가하는 방식

° 통제사례를 만들기 어려울 때 사용→일반화도 어렵다

° 대상자의 정서적 문제와 같이 측정이 어려운 질적영역에 대한 개입의 경우 관찰의 객관성 확보에 어려움을 가짐 → 행동수정과 같은 영역이 상대적으로 더 적합함

° 개입의 효과성을 증명하기 위하여 시계열 측정방식을 도입함

① AB설계와 ABAB설계

° 기초선(A) : 사전검사에 해당. 통상 2-5일 관찰. 통상 2인 이상 관찰자. 문제행동의 빈도관찰

° 개입(B) : 문제행동 감소를 위한 프로그램 실시. 관찰하여 문제행동의 빈도의 감소를 봄

° 2차 기초선(A) : 프로그램을 중단하고 관찰

° 2차 개입(B) : 프로그램을 재차 실시. 문제행동 감소 관찰

° 대상자의 문제해결을 증명하기 위하여 개입했다가 그냥 놔뒀다가 다시 개입했다는 윤리적 문제가 대두될 수 있음

② ABB'B''설계 - 다중기초선설계 Multiple-Baseline Design

° 기초선(A)과 개입(B)은 한 번씩만 이루어짐

° 개입의 시기를 각각 달리함

(5) 기타 실험설계

° 솔로몬 4집단 실험설계 Solomon Four Group Design -사전사후검사의 관계성 배제

° 다집단 실험설계 Multiple Group Experimental Design - 효과의 차이 검증

 

실험설계의 특성비교

● 기본형인 실험설계를 제외하고는 대상자를 무작위로 배분하지 않기 때문에 외적 타당도를 높일 가능성은 낮아진다.

● 실험설계는 대상자를 무작위배분을 하기 때문에 약간의 일반화 가능성을 포함한 외적 타당도가 다른 실험설계에 비교하여 유리하지만, 클라이언트를 대상으로 하는 소집단 프로그램이기 때문에 동일조건 하에서 반복과 측정이 이루어지지 않으면 일반화된 외적 타당도를 증명하기란 쉽지 않다.

● 실험집단과 통제집단을 구성하는 실험설계와 준실험설계는 내적 타당도를 어느 정도 높일 수 있다.

프로그램평가에 있어서 실험설계의 적합성

● 실험설계 평가모형은 인과관계의 조건들을 충족시키기 위하여 고려되어진 것으로 대표적으로 프로그램 효과성 검증을 들 수 있다.

→ 효과성이 검증되려면 프로그램으로 인하여 클라이언트의 문제가 해결되어야 한다.

→ 즉, 어떤 개입이나 의도적 조작에 의해서 나타나는 변화 정도를 추정하는 인과관계의 검증방식이다.

특히, 집단상담 프로그램의 효과성 검증에 매우 광범위하게 사용된 방식이다.

● 실험설계를 기본으로 하여 정밀성은 떨어지지만 현장 특성에 따라 유사실험설계, 전실험설계, 단일사례설계 등이 아류적 형태로 사용된다. 다만, 아류적 형태의 실험설계 모형은 내·외적 타당도에 심각한 오류가 항상 존재하기 때문에 사용에 유의해야 한다.

● 실험설계는 과학적 정밀성에도 불구하고 여러 가지 단점이 있다.

° 가장 대표적인 것은 윤리적 한계를 가진다는 점이다.

→ 위기의 클라이언트에 대해 누구는 개입의 대상이 되고,

누구는 실험의 대상이 된다???

° 타당도와 그 결과의 실무적 활용성이나 유용성에 끊임없는 문제제기를 받아왔다.

→ 클라이언트 변화에 영향을 미치는 요인들을 검증할 수 있는 정보를 얻기가 힘들다.

→ 실험을 통한 결과로는 프로그램 효과에 의한 인과관계의 설명력은 높으나 실용적인 측면에서 크게 유용하지 않을 수 있다.

→ 대개의 경우 유의미한 변화가 그렇지 않은 변화보다 많이 나타나지 않는다. 이는 척도의 한계, 프로그램의 문화 및 환경의 차이, 사회복지사의 역량부족 등 여러 원인이 있으나 무엇보다도 p<.05라는 확률적 결과가 산출되지 않음으로 보고서에서 생략되는 경우가 많다.

 

● 실험설계의 적합성에는 어떤 요소들이 있는가?

① 실험집단과 통제집단의 구성

° 실험집단 –

사회복지사의 개입 혹은 프로그램 참여 대상이 되는 집단

° 통제집단 –

실험집단과 비교하기 위한 비교집단.

즉, 개입이나 프로그램 참여가 없다.

° 통제집단이 없다면 클라이언트의 변화가 과연 프로그램으로부터 나왔는지 확인할 방법이 솔직히 없다고 보아야 한다.

② 실험집단과 통제집단을 나누는 방법은 난선화(random)이다.

→ 인위적 배치가 이루어진다면 분석결과가 원래의 집단 간 차이에서 온 것일 수 있다.

→ 위기의 클라이언트에게 개입의 차등을 두는 윤리적 문제에 직면하게 된다.

→ 실험집단과 비슷한 규모의 통제집단을 구성할 만한 클라이언트를 구하기가 쉽지 않다.

→ 경우에 따라서는 실무적으로 뒷받침이 어려울 수도 있다.(시간적 여유, 설계방법 모름)

→ 클라이언트를 상당수 확보했다 하더라도 난선화에는 여전히 어려움이 있다.

③ (준실험설계의 경우) 실험집단과 통제집단이 동일한 집단임을 사전검사를 통해 검증해야 한다. 그 외 모형들은 통제집단이 없거나 사전검사가 없어 타당도나 신뢰도에 문제는 있으나 실용적인 측면에서 활용된다.

④ 사전사후 검증의 필요성

° 사전검사는 프로그램의 효과성을 검증하는 기준이 된다.

° 사전사후검사에서 가장 어려운 것은 적절하고 타당한 척도를 구성하는 것이다.

⑤ 개입과 프로그램의 효과

° 프로그램 즉, 개입은 클라이언트의 문제와 직접적인 연관이 있어야 하며, 문제해결에 기여를 하는 내용으로 구성되어야 한다.

° 사회복지사, 집단, 상호작용에 대한 특수성을 고려해야 한다.

⑥ 척도를 이용한 효과성 평가

° 개입과 평가척도의 불일치가 일어나기 쉽다.

° 프로그램의 목적과 목표 그리고 내용에 부합하는 척도를 사용해야 한다.

⑦ 질적평가와의 병행

 

내·외적 타당도의 문제

● 내적타당도 : 개념적, 이론적으로 전개된 논리적 인과관계가 과연 타당한가에 대한 문제

● 즉, 변화가 일어났다면 과연 종속변화의 변화가 독립변수에 의한 것인지, 다른 조건에 의한 것인지를 판단하는 것이다. → 통제집단 구성으로 문제해결을 한다.

● 내적타당도를 위협하는 8요인(쿡과 킴벨: 1979 루빈과 바비, 2004)

① 우연한 사건 :

통제되지 않는 우연한 사건이 발생하여 결과에 영향을 줄 수 있다.

② 성숙 또는 시간의 경과 :

시간의 흐름과 성숙은 언제든지 발생할 수 있다.

③ 검사 :

프로그램 없이 검사만으로도 변화가 있을 수 있다.

④ 도구화 : 연구자가 바뀌거나 서로 다른 측정도구가 사용되었을 경우 발생할 수 있는 문제이다.

⑤ 통계적 회귀 : 초기 극단값을 가지고 있던 실험대상자는 실험과 상관없이 시간이 지나면 변화될 수 있으며, 이를 효과로 착각하게 된다.

⑥ 선택편견 : 통제집단을 잘못 선택하거나 의도적으로 선택하면 실험결과가 왜곡될 수 있다.

⑦ 실험대상의 탈락 : 실험 중 거부, 이상, 사망 등으로 실험에서 제외되는 경우 남은 이들만으로 평가하는 데, 이는 긍정적인 평가가 될 가능성이 높다.

⑧ 확산 또는 모방 : 통제집단이 실험집단의 긍정적 변화를 보고 따라 하는 경우가 있다.

 

● 외적타당도 : 일반화가 가능한가에 대한 문제

● 일을 해결하기 위해 난선화(random)를 한다. 그러나 이 경우 역시 집단 안에서의 일반화일 뿐이다. 따라서 실험설계와 같은 실험이 계속해서 반복되어 실험이 효과가 있다는 것을 증명되지 않으면 실험설계의 일반화 즉, 외적타당도는 확인하기 어렵다.

● 외적타당도와 관련된 문제들

① 표본의 문제 : 대표성 있는 표본이 이루어졌는가? → 난선화

② 측정도구의 문제 : 모든 상황에 동일하게 측정할 수 있는 측정도구가 만들어져야 한다.

③ 조작과정의 문제 : 실험실의 환경이 동일하게 유지될 수 있는가?

- 수고하셨습니다 -