사회복지조사론
Research Method for Social Welfare
이 수 천
(서울기독대학교 M.A., Ph.D.)
5강 측정의 도구
ü 설문지 작성의 준비
ü 척도의 구성
ü 신뢰도와 타당도
설문지 작성의 준비
• 설문지 작성 전 확인 사항
● 조사에 투입할 인적, 물적, 시간적 자원이 충분하게 준비되었는가?
조사계획과 예산이 적절하게 세워졌는지 확인하고, 조사의 목적, 목표에 적합하도록 설문구성이 이루어졌는지 확인해야 한다.
● 조사와 관련된 정보와 지원체계가 얼마나 형성되었는가?
조사와 관련된 정보나 자료, 기존의 유사한 연구자료, 전문가 집단의 자문과 지원, 지역사회조사 시 지역사회에 관한 정보의 파악 등이 얼마나 이루어졌는지 검토해야 한다.
● 조사대상이 누구인가?
조사대상이 적합한 방법으로 선정되었는지 그리고 그들이 어떤 특성을 가지고 있는지 정확하게 파악하고 있어야 한다. 설문의 표현은 조사대상에 따라 달라진다. (예,노인이나 아동)
● 무엇을 조사할 것인지?
무엇을 조사할 것인지에 대해서 영역이 확실하게 정해지지 않을 경우 다른 설문지의 문항들을 끌어와 사용하게 된다. 이럴 경우 정말 얻고자 하는 정보를 얻을 수 없게 된다. 연구의 목표와 목적이 무엇인지 분명하게 알고 그것을 물어보아야 한다.
● 조사내용에서 경험적 상상력, 실무적 요구가 얼마나 포함되어 있는가?
설문결과가 정말 유용한 정보를 포함하고 있는지 고민해야 한다. 설문조사의 내용이 형식적으로 이루어진다면 그 결과도 별 의미가 없을 확률이 높다. 굳이 예산과 인력이 낭비되지 않도록 다시 한 번 확인해야 한다.
• 설문지 작성의 과정
● 내용과 측정범위의 결정
° 조사설계 방법에 기초하여 개념화와 조작적 정의가 이루어졌으면, 어떤 내용을 질문할 것인가? 어느 범위까지 구체화해 측정할 것인가?를 결정해야 한다.
° 응답내용은 포괄성, 배타성, 단일개념의 3가지 기준을 따라야 한다.
● 척도의 결정
° 척도는 실제로 측정하는 수준이다.
° 질적척도(명목척도, 서열척도), 양적척도(등간척도, 비율척도)로 구성하는데, 측정하고자 하는 내용과 응답자의 반응의 수준 등에 가장 신뢰할만하고 타당한 정보를 얻을 수 있도록 결정해야 한다.
° 리커트 척도나 거트만 척도 등 다양한 양식이 가능하다.
● 질문화
° 설문지를 인쇄할 수 있는 수준으로 질문까지 구체적으로 만드는 것이다.
° 어떤 단어나 문장 표현양식을 사용하는지에 따라 의미전달이 달라지므로 주의해야 한다.
° 질문화가 끝나면 적절한 편집으로 마무리한다.
● 내용의 조정과 보완
° 전체적인 흐름이 매끄럽도록 설문들을 배치해야 하며,
문맥에 맞도록 설문의 문구를 재수정해야 한다.
의외로 국어가 어렵다.
● 전문가 자문과 사전조사 그리고 설문완성
° 본 조사를 실시하기에 앞서 전문가에 설문의 내용이나 흐름에 대한 조언을 얻는다.
° 사전조사를 통해서 설문지의 문제점을 경험적으로 수정할 수 있다. 본 조사에서 오류를 줄일 수 있는 마지막 작업이다.
• 측정범위의 결정
● 연구주제나 가설을 설정하여 독립변수, 종속변수, 매개변수, 통제변수 등을 토대로 설문지를 구성할 수 있으며,
또한 이론이나 마인드맵을 이용하여 설문지를 구성한 후 각각 하위 개념들을 질문으로 만드는 작업을 한다.
● 이때 동일한 변수라도 하나의 질문으로 구성할 수도 있고,
반대로 수십 개의 질문으로 구성할 수도 있다.
● 이는 개념화와 조작적 정의의 영역을 어느 수준까지 하느냐의 문제이기도 한데, 연구자나 연구의도에 따라 측정범위의 조절을 선택해야 한다.
● 직장만족도 설계를 통한 측정범위의 예
° 상위레벨에서 하위레벨로 구체화 될 때 개념이 동일한가를 고려해야 한다(개념의 일관성)
° 질문하는 내용이 직장만족도를 묻는 것이어야 한다(개념구성의 타당성)
° 하위레벨로 내려갈수록 구체적이고 정확한 정보를 얻을 수 있으므로 오차를 줄일 수 있다. 따라서 가설검증이나 이론개발을 위한 정밀조사에 유리하다. 반면 무성의한 응답의 가능성이 높으며, 시간이 많이 걸리고, 다양한 탐색적 조사가 어려워진다.
° 상위레벨로 할 경우, 막연하고 추상적인 정보를 얻지만 전체적인 흐름이나 내용을 탐색하는 데는 유리하다.
척도의 구성
• 측정과 척도의 이해
● 사회과학 연구의 대상이 되는 개념이나 구성체는 추상적인 특성을 가진 경우가 많다. 따라서 조작적 정의의 과정을 거쳐 측정이 가능한 수준으로 만들게 된다.
● 측정은 연구하고자 하는 개념이나 구성체를 일정한 규칙에 따라 값을 부여하는 것이다.
● 척도는 측정의 수준 또는 측정의 방법을 표준화하여 구체화한 값들로 표현하는 것이다.
● 지표는 하나의 개념을 측정한 값이다. 성별, 연령과 같이 단일지표로 측정될 수도, 이용자 만족도의 경우와 같이 클라이언트참여, 기관 및 시설환경, 프로그램 담당자 등 여러 지표로 측정될 수도 있다.
● 지수는 몇 개의 상위의 공통개념을 측정하는 지표가 모여 이루는 것이다. 통상 척도와 동일개념으로 사용.
. 여러 척도의 이해
● 평점척도 : 측정값에 점수를 부여할 수 있도록 3-10점 사이의 값 중 하나 선택. 각 점수값이 연속선상에 있도록 배열.
● 평점척도는 하나로도 사용되지만, 여러 개의 하위개념을 묶어 상위개념을 측정하는데 사용하기도 한다(총화평점척도). 다수의 하위문항을 점수화함으로 측정의 계량화가 용이하며, 이로 인하여 신뢰도가 증가하며, 여러 개의 하위문항들도 세분화하여 타당도를 높이는데도 유리하다.
● 리커트척도 : 5나 7개로 구성된 측정값을 중간을 기준으로 좌우 균형이 맞도록 배치한 척도. 하나의 개념을 측정하기 위하여 다수 하위변수를 구성하게 되므로 신뢰도의 내적일관성이 중요함(Cronbach's Alpha 계수).
● 의미차이척도 : 하나의 개념을 두 개의 극단치로 구분하여 의미를 분화시킨 척도. 서로 상반되는 두 개념을 이용함으로 성향이나 기호 분석에 유리함. 어떤 의견차이를 집중적으로 보고할 때 편리함.
● 거트만척도 : 측정의 개념이나 의미가 점차 누적되어 증가함으로써 높은 개념은 낮은 개념의 의미를 포함함.
● 사회적 거리 척도 : 거트만척도의 개념을 사람들 사이에 적용.
● 고정종합척도 : 척도의 합이 이미 정해져 있어 그 한도 내에서 척도의 값들을 표시하는 척도. 각 영역간의 우선순위를 알 수 있으며, 상대적 비교가 용이함.
측정수준에 따른 척도
• 변수의 측정수준이 어느 정도냐에 따라 설문지 내용과 통계방법, 획득할 수 있는 정보의 양과 깊이가 차이가 난다.
(1) 명목척도 (nominal scale, 분류의 기능)
• 변수가 가지는 질적, 추상적 속성을 배타적으로 분류 또는 구분하기 위하여 사용
• 숫자나 기호를 부여하나 계량(수량)적 의미는 없다.
• 성별, 종교, 지역 등
• [분석] 빈도와 백분율, 최빈값, 교차분석
(2) 서열척도 (ordinal scale, 분류와 순서의 구분)
• 명목척도와 같이 분류의 기능에 속성의 크기, 순서, 높낮이 등 서열 개념을 부여한다.
• 척도의 계량적 의미는 없다.
• 학력, 자동차, 평균 월수입 등
• [분석] 빈도와 백분율, 최빈값, 교차분석, 서열상관관계
(3) 등간척도 (interval scale, 분류, 순위와 등간격)
• 서열화된 성격을 갖고 있으며, 여기에 더하여 변수값의 간격이 모두 동일하다.
• 간격이 모두 동일하기 때문에 수량의 의미를 갖게 된다.
• 수치 비교가 가능하기 때문에 어떤 지표나 달성해야 할 목표를 계량화하는데 유리하다.
• 절대기준이 없어 비교의 한계가 있으며, 수량적 정밀성이 떨어진다.
• IQ, 시험점수, 온도 등
• [분석] 평균, 표준편차, 평균비교, 상관관계, 회귀분석
(4) 비율척도 (ratio scale, 분류, 순위, 등간격과 절대영점)
• 절대기준점인 ‘0’이 있다.
• 0은 그 값이 존재하지 않는다를 의미한다. 즉, 모든 값의 시작점이다.
• 시작점이 동일하다는 것은 측정의 정확성과 객관성을 증가시켜준다.
• 키, 몸무게, 거주기간, 근무기간 등
• [분석] 등간척도와 동일
• 명목척도와 서열척도는 질적인 영역을 측정하는 척도이다.
• 등간척도는 질적인 영역을 측정하는 경우가 많지만 질적, 추상적 영역을 계량화하므로 양적 척도이다.
• 비율척도는 전형적인 양적 척도이다.
• 그런데 이런 구분은 종종 그대로 적용되지 않는다.
§ 서열척도의 경우 다수의 척도들을 합산한 후 점수화하여 등간척도처럼 사용하는 경우가 종종있다.
§ 또한 5점 척도나 4점 척도를 등간척도로 가정하고 평균을 구하기도 한다.
u 중심극한정리(central limit theorem)의 원리에 따르면
서열척도의 합이라 하더라도 표본수가 충분하다면
정규분포에 가깝게 되므로,
이를 등간척도처럼 사용할 수 있다는 논리를 제공해 준다.
u 적당한 표본수는?
학자마다 100, 120, 500 등 다양하게 이야기한다.
정대연(1994)은 t분포값이나 F분포값이 사례수 120 미만일 경우 차이가 나지만, 그 이상일 경우는 거의 같은 값으로 나타난다고 한다.
※ 정규분포곡선을 통해서 확인한 후 등간척도처럼 활용하는 게 제일 안전하다.
타당도와 신뢰도
측정오류
• 추상적인 것을 개념화하여 측정하기 때문에 측정값은 실제의 추상적 개념에서 오차가 발생한다. 즉, 실제의 참값은 측정값과 측정오류의 합이라고 할 수 있다. 그러므로 참값을 정확하게 측정하기 위해서는 측정오류를 최소화하여야 한다.
• 체계적 오류 : 타당도의 문제이다. 측정도구를 만드는 과정에서 발생하는 문제들이 많다. 즉, 측정하고자 하는 개념과 다른 개념을 측정할 때 나타나는 오류이다. 설문문항이 잘못 구성되거나 측정되는 과정에 바뀌는 경우에 의하여 발생한다.
• 확률적 오류 : 신뢰도의 문제이다. 대체로 측정과정에서 발생하는 오류이다. 응답자가 부정확하게 응답하거나 기분에 따라 응답하는 등 발생한다.
• 타당도
Ø 측정하고자 하는 개념(concept)이나 구성체(construct)가 실제로 측정되었는지
Ø 또 이 측정이 얼마나 정확하게 이루어졌는지의 문제이다.
Ø 즉, 알아내고자 하는 것을 제대로 알아냈는가의 문제이다.
Ø 개념화나 조작적 정의가 일관되고 정확하게 구체화되지 않으면 엉뚱한 조사가 된다.
Ø 내용타당도, 구성타당도, 기준타당도 등 여러 가지가 있다.
(1) 내용타당도 content validity
• 새로 만들고자 하는 측정도구가 측정하고자 하는 개념이나 구성체를 제대로 측정할 수 있도록 구성되었는가에 대한 것이다. 즉, 개념화와 조작적 정의의 중요성이 다른 타당도보다 더 높은 것이라 할 수 있다.
• 질적척도에서는 배타성, 포괄성, 단일개념성이 중요한 판단기준이 되고,
• 양적척도에서는 개념을 잘 표현할 수 있는 대표성 있는 측정항목으로 구성되었는가가 판단기준이 된다.
• 전문가의 의견과 사전조사 그리고 주관적으로 판단한다.
• 그래서 어떤 면에서 다른 타당도보다 손쉽게 확인할 수 있다.
• 표면타당도(안면 타당도 face validity) 또는 논리적 타당도(logical validity)라고도 한다.
(2) 기준관련 타당도 criterion-related validity
• 기준관련 타당도(준거 타당도)는 이미 타당도가 있다고 인정된 측정도구에 의하여 나타난 결과와 새로 만들어진 측정도구에 의하여 나타난 결과의 상관관계에 따라 타당도를 판단하는 방법이다.
• 새로운 약식의 측정도구를 개발할 때 많이 사용된다.
• 예측 타당도와 동시 타당도가 있다.
• 전제조건:
첫째, 기준이 타당해야 한다.
둘째, 자신이 만들고자 하는 측정도구의 기준이 되는 측정도구를 얼마나 용이하게 확보할 수 있는가의 문제이다.
(3) 구성(개념) 타당도
• 구성(개념) 타당도는 새로 개발된 측정도구가 이미 체계화되고 발전되어진 이론적 개념의 관점에서 판단하여 적합하게 구성되어 있는지를 파악하는 것이다.
• 요인분석을 통하여 확인하며, 판별 타당도와 집중 타당도가 중요 기준이 된다
(4) 내적 타당도와 외적 타당도
• 내적 타당도는 종속변수의 변화가 독립변수에 의한 것인지를 의미한다.
• 외적 타당도는 대표성 있는 표본을 표집함으로 일반화가 가능한가에 대한 문제이다.
u 타당도 높이기 :
Ø 개념화와 조작적 정의가 타당하게 이루어져야 한다.
Ø 조사설계 논리적 근거를 가져야 한다.
Ø 척도의 적용과 질문이 정확하고 충실하게 다루어져야 한다.
• 신뢰도
Ø 응답된 결과들을 정말 신뢰할 수 있는가,
Ø 즉, 반복 측정해도 같은 결과가 나오는가에 대한 문제이다.
Ø 신뢰도를 분석하는 3 경우
① 측정하고자 하는 개념이 주사대상자로부터 정확하고 일관되게 측정되었는가 확인
② 설문에 응답하는 사람이 정확하고 일관되게 응하였는가 확인
③ 그 외에 정확성, 정밀성, 일치성 등을 확인
Ø 주로 양적연구에 적용되는 개념이다.
§ 질적연구는 반복 측정 자체가 어렵다.
§ 질적연구에서는 신뢰도를 높이는 방안이 더욱 중요한데, 삼각화, 녹음·녹화 등으로 재확인, 연구자의 전문적 연구수행 능력 등이 신뢰도를 높이는 방법이다.
Ø 신뢰도 측정방법
① 재검사: 기억효과 / 외생변수에 의한 영향력
② 반분법: 충분한 질문 수가 있어야 가능하며, 내적일관성이 있어야 한다.
③ 복수양식법: 최대한 비슷한 두 개의 측정도구를 사용하여 동일한 대상으로 측정하여 상관관계를 비교하는 방식이다. 평행양식법이라고도 한다.
④ Cronbach's Alpha 계수를 활용한 방법
u 신뢰도 높이는 방법
• 측정도구의 모호성을 줄이고 구체화하여야 한다.
• 동일한 개념을 나타내는 측정항목을 늘려야 한다.
• 응답자의 수준에 맞는 내용으로 측정해야 한다.
• 측정항목(하위변수) 구성 시 동일한 개념을 유지해야 한다.
• 기존에 신뢰도가 있다고 인정된 척도 활용이 유리하다.
• 낮은 신뢰도 항목을 제거한다.
• 역점수를 확인한다.
• 불성실한 응답은 미리 제거한다.
• 반복측정 시 기억효과를 유의한다.
• 조사도구나 조사환경에 유념한다.
- 수고하셨습니다 -