6강 측정도구만들기

사회복지조사론
Research Method for Social Welfare

이 수 천

(서울기독대학교 M.A., Ph.D.)

 

 

6강 측정도구 만들기

 

ü     척도내용의 결정

ü     질문화1- 질문의 유형

ü     질문화2- 선택에 대한 고려

 

척도 내용의 결정

 

•                  내용결정1-포괄성, 배타성, 단일개념성

● 질적인 측정도구를 만드는 데 있어서 기준과 같은 역할을 한다.

● 구체적으로 응답자가 선택할 항목이 없다면 어떻게 될까?

    무응답, 아무거나, 그리고 기타를 선택하기 쉽다. 이렇게 되면 결국 체계적 오류가 발생하여 타당도의 문제가 제기된다.

→ 이를 위해 필요한 개념들이 포괄성, 배타성, 단일개념성이다.

 

(1) 포괄성

● 측정하고자 하는 개념이 가지고 있는 내용을 최대한 포괄적으로 다루어야 한다.

● '사회복지관의 역할‘을 측정한다면 일부 역할만 응답항목으로 제시하면 안 된다.

● 그렇다고 하여 너무 많은 응답항목을 두면 응답자에게 혼란을 줄 수 있음도 유의해야 한다. 해결할 수 있는 방법으로는 ‘기타’라는 항목을 자세히 쓰도록 하는 것이다.

(2) 배타성

● 한 변수가 가지는 속성들을 측정도구로 만들 때 각각

    속성들이 중복되지 않아야 한다.

● 응답항목과 응답항목 사이에 서로 배타적이어야 한다.

    (50만원-100만원, 100-200만원)

● 배타성은 측정도구의 기본인 분류의 속성을 잘 나타낼 수 있도록 해야 한다.

(3) 단일개념성

● 질문을 통하여 얻고자 하는 것 이외의 다른 개념이 응답항목에 포함되어서는 안 된다.

● 응답항목간에 내적일관성이 있어야 한다.

 

•             실예를 통한 이해1-

•             실예를 통한 이해2-

° 포괄성- 막연하게 포괄하고는 있지만… 부족하다.

° 배타성-①,②,③

° 단일개념성-④

 

 

2. 내용결정2-용이성, 무결성, 통계적 검증력

● 용이성과 무결성은

    실제 설문조사과정에서 응답자의 반응에 기초한 관점이며,

● 통계적 검증력은

   조사 후에 분석하는 연구자 관점에서 설문지 구성이 고려되어야 한다는 의미이다.

 

(1) 용이성

● 척도로 측정할 때 얼마나 용이하게 측정할 수 있는지의 문제이다.

● 응답자의 수준에 따라 달라질 수도 있지만

    대체로 명목척도나 서열척도는 용이성이 높다.

● 등간척도는 다소 어려울 수도 있으나

    연령 같은 단순한 것을 묻는 경우는 용이성이 높다.

● 리커트척도를 이용하여 추상적인 개념을 조작적 정의를 통해 묻는 것은 응답에 어려움을 갖는 경우가 많이 발생한다.

     이 질문에 대해서 대답하기 쉬운가?

(2) 무결성

● 무응답(결측값)이나 기타 항목이 최소화되어야 한다는 의미이다.

● 민감한 이슈, 이익이 관련된 경우, 약점을 드러내는 경우 등을 묻는 질문은 무응답이 늘어나게 한다.

(3) 통계적 검증력

● 척도와 인과관계에 따라 통계기법은 달라진다.

● 간단한 빈도분석이나 교차분석을 할 수 있는 수준이라면 명목척도나 서열척도 중심으로 설문을 작성하는 것이 좋고,

    그 이상의 통계분석을 적용할 경우에는 등간척도나 비율척도로 구성하는 게 좋다.

● 통계적 검증력은 결국 연구자의 역량과도 직결되는 문제이다. 그러나 자신이 잘 활용할 수 있는 통계에 맞는 척도를 구성하는 것도 연구의 질을 높이는 방법 중 하나이다.

 

3. 척도의 적용 사례

(1) 자원봉사유무 :

     명목척도, 서열척도, 등간척도, 비율척도 중 어느 것이 제일 나을까?

(2) 연령과 현재 가구 월수입 :

     연령은 비율척도로,

     가구 월수입은 등간척도로 구성하였다면 그 이유는 무엇일까?

(3) 4점과 5점 척도

● 타당도나 통계적 검증력은 4점 척도보다는 5점 척도가 유리하기 때문에 중·고급 통계분석을 위해서는 5점 척도를 사용하는 것이 유리하다.

● 응답자의 반응을 긍정과 부정 등으로 양분하고자 할 때는 4점 척도가 유리하다.

(4) 5점 척도와 ‘잘 모르겠다’추가 척도

● 동일한 5점 척도라 할지라도 모르는 문제가 나올 수 있다. 이럴 경우 대개 ‘보통’으로 체크하게 되어 ‘보통’의 의미가 퇴색되는 경우가 있다.

→ 5점 척도에 ‘⑥ 잘 모르겠다’를 제공하면 ‘보통’의 의미가 보다 더 정확해 진다.

→ ‘잘 모르겠다’가 나올 확률이 적은 것은 그냥 5점 척도로 작성하는 것이 더 좋다.

(5) 대상에 따른 척도 구성

● 어르신의 경우, 학력에 따라 크게 좌우된다. 학력이 높은 어르신의 경우 5점 척도가 문제 없으나, 아직까지 우리나라에서는 학력이 낮은 어르신들이 더 많기 때문에 3점 척도(긍정-보통-부정)나 명목, 서열척도로 단순화시키는 게 좋다.

● 저소득층 밀집지역도 비문해자가 있을 수 있다. 이 경우 5점 척도가 어려울 수 있다.

● 어린이의 경우도 인지능력이 떨어지기 때문에 명목, 서열척도나 3점 척도를 사용하는 것이 유리하다.

 

질문화1- 질문의 유형

● 질문화는

    질문의 유형과 응답하는 형태나 구조를 어떻게 할지에 대한 고민을 담고 있다.

● 핵심: (질문/응답)

    짧고, 구체적이고, 중립적이고, 의사전달 정확하게

● 구성이 끝나면 선택에 대한 고려를 하고, 이후 편집을 통하여 보기 좋게 한다.

● 질문화가 끝나면 설문지가 제대로 만들어졌는지 확인하기 위하여 사전조사와 전문가 자문과정을 통하여 신뢰도와 타당도를 검사하게 된다.

 

1. 질문유형의 결정

(1) 어떤 형식으로 질문할 것인가?

● 같은 질문이라도 질적 정보를 얻는 형식을 사용할 수도 있고

    양적정보를 얻는 형식을 사용할 수도 있다.

    이에 따라 통계방법은 물론 의미나 해석도 달라질 수 있다.

(2) 주관식인가? 객관식인가?

● 주관식 질문(서술형, 개방형)

° 탐색적 조사에 유리한 경우가 많다.

° 응답자의 서술에 의존하기 때문에 객관식 질문보다 자세한 정보를 알 수 있다.

° 객관식 질문을 할 때 발생하는 배타성이나 포괄성의 문제와 응답문항 만들기에 대한 고민은 줄어들 수 있으며, 제한된 선택에 의한 오류를 줄일 수 있다.

→ 응답률이 높지 않을 수 있다. 신뢰도가 떨어질 수 있다.

→ 통계처리 하려면 다시 작업을 해야 한다. 아니면 그냥 내용분석 밖에 못한다.

● 객관식 질문(선택형, 폐쇠형)

° 응답자는 단순하게 선택하기만 하면 되기 때문에 응답률이 높다.

° 신속한 응답이 가능하므로 조사수행 시간도 단축된다.

→ 연구자의 능력에 따라 포괄성, 배타성, 단일개념성 등이 잘 구현되지 않으면 응답자 자신의 생각과 다른 것을 선택할 가능성이 있다. 목적한 결과가 도출되지 않을 수 있다.

→ 응답자가 관심이 없어 응답하지 않거나,

→ 반대로 응답해서는 안 되는 질문에 응답하는 경우가 종종 발생한다.

(3) 응답항목의 예측과 수정

● 응답할 수 있는 각각의 내용들을 조사대상자의 입장에서 예측해야 한다.

● 기타나 무응답이 많이 나오지 않도록 고려해야 한다.

● 사전조사나 전문가의 의견을 듣는 게 중요하다.

(4) 질문의 양과 위치를 고려한다.

● 일반적으로 질문의 양이 많으면 응답률이 떨어지거나 조사진행이 더디게 된다.

● 최소한의 시간에 설문조사가 마무리될 수 있도록 연구의 목적과 목표(가설)가 훼손되지 않는 범위 내에서 양을 최소화하여야 한다.

● 질문위치도 가볍게 생각해서는 안 된다. 인구사회학적 특성과 양에 따른 배분을 고려해야 한다. 사람의 집중력은 10분 사이가 최고조이다.

(5) 부정문으로 된 질문은 가급적 삼간다.

● 영어와 달리 우리말은 부정어가 문장 뒤에 있는 경우가 많다.

    대충 읽을 경우 긍정문처럼 응답하면 신뢰도가 낮아지게 된다.

(6) 가급적 표준화된 용어를 사용한다.

● 표준어, 사회적 가치를 높일 수 있는 언어를 사용하는 것이 좋다.

● 청소년이나 아동의 경우, 그들의 언어를 사용할 경우 관심을 불러일으킬 수 있다.

 

2. 질문과 응답항목의 선택

(1) 용어 선정에 신중하라

● 형용 또는 강조의 문구 사용 주의 :

   ‘사회복지사로 일하는데 급여는 중요하다.’ vs. '사회복지사로 일하는데 급여가 가장 중요하다.‘

● 전문용어 사용 주의 :

   ‘장애인 그룹홈(Group Home)이 필요하다고 생각하십니까?’

(2) 주관적 차이를 유념하라

(3) 모호성을 제거하라

● 1은 질문의 모호성, 2는 응답의 모호성

● ‘약간’이라는 표현은 잘못 해석될 가능성이 높다.

     사용하지 않는 것이 좋다.

(4) 암시를 주어서는 안 된다.

(5) 한 번에 한 가지 질문을 한다.

● 암시를 통하여 두 가지 이상을 묻거나 대답하게 되는 경우가 있다.

● 질문에서의 복수성향

● 응답항목에서 복수성향

● 질문과 응답의 부조화

(6) 응답자의 특성을 고려한다.

● 스티그마에 대한 고려 :

   무학, 이혼, 저소득의 경우 학력, 결혼, 수입에 관한 질문에 응답하기가 껄끄러울 수 있다.

● 집요하고 지나치게 자세한 질문의 문제 :

   수입을 상세하게 나눠서 물어보거나,

   부채액을 상세하게 나눠서 묻는 등

   지나치게 자세한 질문 역시 부담감을 준다.

 

질문화2- 선택에 대한 고려

1. 확률적 배려

● 응답항목에 있어 응답확률에 대한 배려를 하는 걸 의미한다

2. 편집을 통한 배려

● 글씨체를 통한 구분

° 질문과 응답항목의 글씨체를 다르게 하는 것이 좋다.

° 정해진 것은 아니지만 일반적으로 다음과 같이 이야기한다.

[질문: 명조체 계열, 응답항목: 고딕체 계열, 장평:94-96정도, 포인트: 11]

° 굵은 글씨가 너무 많으면 눈이 피곤함을 느끼게 된다.

● 선택할 수 있는 공간을 제시함

° 표시박스(□), 밑줄(  ), 괄호(  ) 등을 활용하여 선택하는 공간을 제시하는 게 좋다.

° 이는 응답자를 환기시키는 데 유용하다.

° 우선순위가 있는 질문의 경우는 이런 것을 제거하여 오히려 생길 혼란을 막아야 한다.

° 우선순위가 있는 경우 : 1순위        번,  2순위        번

● 여유 있는 편집의 활용

 

3. 복수응답의 고민과 선택

● 하나만 선택하는 경우

° 특별한 경우가 아니면 복수응답이 나오지 않도록 설문을 구성해야 한다.

° ‘가장’이라는 말은 원래 ‘하나만’이라는 의미이지만 우리나라의 언어 활용상 그렇지 않은 것으로 인식하는 경우가 많다. 따라서 ‘하나’라는 걸 강조할 필요가 있다.

● 복수응답 또는 우선순위

° 복수응답(다중응답)은 우선순위가 있는지 없는지에 따라 분석이나 해석결과가 달라진다.

•      우선순위시 1순위에 가중치는 빈도의 200%,

•      2순위에는 빈도의 100%를 준 것

4. 수반형 질문의 구성

● 한 질문과 그에 따른 연결되는 보완적 질문이 있는 경우를 말하며

● 응답자의 정보를 보다 세밀하게 분석해 주는 장점이 있다.

5. 인구사회학적 특성의 표 활용

● 인구사회학적 특성은 응답하는 데 있어 별로 어렵지 않은 문항들인 경우가 많다. 이럴 경우 길게 질문을 제시하는 것보다는 일목요연하게 표로 제시하는 게 더 낫다.

● 이것을 굳이 하나씩 묻는다면 설문의 양도 많아질 뿐 아니라 응답하는 사람도 질리게 만드는 경우가 있다.

● 표를 활용하면 편리하다.

 

6. 리커드 형식의 표 편집 조정

● 리커트 형식의 설문은 하나의 표로 작성하는 것이 보기 좋다.

● 신속한 설문에 도움을 주며, 설문지 양을 줄이는 데도 기여한다.

● 커다란 표가 답답함을 줄 수 있다.

→ 표 간격을 적당하게 하여야 한다.

● 표에 질려서 응답의 불편함을 느껴 그냥 생각 없이 ‘보통이다’에 표시할 가능성이 높다. 이 경우 외형적인 신뢰도는 높게 나오지만 그 신뢰도는 오히려 부정적인 결과를 나타내게 된다.

→ 영역별로 구분을 주면 불성실한 답변을 줄일 수 있다.

→ 이 경우 질문 자체가 암시적인 효과를 갖는 걸 주의해야 한다. 따라서 어떤 의도적인 설명은 넣지 않고, 간단하게 질문하는 것이 좋다.

 

- 수고하셨습니다 -