설문이 길면 응답자는 뒤로 갈수록 대충 답합니다. 응답 시간이 길어질수록 중도 이탈과 일직선 응답이 늘어난다는 것은 보고가 많습니다. 그래서 문항을 줄이자는 요청은 늘 옵니다. 문제는 어떤 문항을 빼느냐입니다.
예를 들어 42문항짜리 설문을 28문항으로 줄여 달라는 요청을 받았다고 해 보겠습니다. 아래는 그런 요청에 저희가 답하는 순서입니다.
먼저 지켜야 할 것
축소의 목적은 응답 부담을 줄이는 것이지 측정 대상을 바꾸는 것이 아닙니다. 설문이 재는 구성개념이 여러 개라면, 구성개념마다 최소 문항 수가 유지돼야 합니다. 한 구성개념을 세 문항 아래로 줄이면 신뢰도 계수가 낮아질 뿐 아니라 요인 구조를 확인하기 어려워집니다.
저희가 쓰는 순서
- 구성개념 지도 그리기. 문항마다 어떤 개념을 재는지 표로 만듭니다. 이 단계에서 같은 개념을 겹쳐 묻는 문항이 보통 드러납니다.
- 문항-총점 상관과 요인 적재량 확인. 자기 개념과 상관이 낮거나 다른 개념에 더 크게 적재되는 문항이 첫 번째 후보입니다.
- 한 문항씩 제거하며 신뢰도 재계산. 제거했을 때 신뢰도가 오르거나 거의 변하지 않는 문항은 정보 기여가 작다는 뜻입니다.
- 내용 검토. 통계가 빼라고 해도 정책적으로 꼭 물어야 하는 문항은 남깁니다. 반대로 통계가 남기라고 해도 의미가 중복되면 뺍니다.
- 축소판 재검증. 줄인 설문으로 파일럿을 돌려 요인 구조와 신뢰도가 원본과 비슷한지 확인합니다.
신뢰도 계수만 보고 문항을 빼면 안 됩니다. 계수는 문항이 많을수록 저절로 올라가므로, 계수가 높다는 것과 좋은 설문이라는 것은 다른 이야기입니다.
버리면 안 되는 문항
구성개념의 정의를 직접 담은 핵심 문항, 이전 조사와 비교하려고 유지해야 하는 추세 문항, 그리고 응답 품질을 확인하는 점검 문항은 축소 대상에서 뺍니다. 특히 추세 문항을 빼면 시계열 비교가 끊겨 축소로 얻은 이득보다 손해가 큽니다.
발주할 때 확인할 것
축소 작업을 맡길 때는 결과물로 축소판 설문지만 받지 마시고, 제거한 문항과 제거 근거, 축소 전후의 신뢰도와 요인 구조 비교표를 함께 요구하십시오. 이 표가 있어야 나중에 결과가 달라졌을 때 설문 탓인지 응답자 탓인지 가릴 수 있습니다.
