대학, 공공 체험시설, 교육 프로그램의 만족도 조사를 여러 해 맡다 보니 보고서를 받는 쪽이 어디서 막히는지 보입니다. 담당자는 평균 점수표를 받아 들고 다음 회의에서 무엇을 말해야 할지 모릅니다. 작년보다 0.1점 올랐다는 말로는 아무것도 바뀌지 않습니다. 보고서는 그 회의에서 쓸 말이 나오도록 씁니다.
응답 자료부터 정리합니다
회수된 설문 중 쓸 수 있는 것이 몇 부인지 먼저 셉니다. 모든 문항에 같은 번호를 찍은 응답, 응답 시간이 1분이 안 되는 온라인 응답, 역문항이 뒤집히지 않은 응답은 뺍니다. 뺀 수와 기준을 보고서 앞에 적습니다. 이것을 적지 않으면 나중에 표본 수가 왜 다르냐는 질문이 꼭 나옵니다.
응답자 구성도 이때 봅니다. 재학생 조사인데 특정 단과대가 절반을 넘으면 전체 평균은 그 단과대의 평균입니다. 모집단 비율과 응답 비율을 나란히 놓은 표 하나가 보고서의 신뢰를 정합니다.
평균보다 분포를 먼저 그립니다
문항별 평균과 표준편차 표는 넣되, 그 옆에 응답 분포 그림을 둡니다. 평균 4.1인 두 문항이 있어도 하나는 4점과 5점에 고르게 퍼져 있고 다른 하나는 5점이 많으면서 1점과 2점이 따로 몰려 있을 수 있습니다. 뒤의 문항이 문제입니다. 불만이 있는 집단이 분명히 있다는 뜻이고, 그 집단이 누구인지 다음 단계에서 찾습니다.
집단 비교는 차이가 의미 있는지까지 씁니다
학년별, 계열별, 이용 횟수별로 평균을 비교합니다. 여기서 검정 결과를 함께 적습니다. 차이가 0.3점인데 응답자가 각 20명이면 우연일 수 있고, 0.2점인데 각 300명이면 실제 차이입니다. 유의하지 않은 비교도 표에 남깁니다. 담당자가 차이 없음을 근거로 쓸 일이 생각보다 많습니다.
중요도와 만족도를 같이 묻습니다
설계 단계에서 손댈 수 있다면 각 항목의 중요도도 함께 묻습니다. 그러면 중요도는 높은데 만족도가 낮은 항목이 사분면 그림에서 바로 드러납니다. 공공 체험시설 조사에서는 대기 시간이 그 자리에 있었고, 대학 조사에서는 진로 지원이 그 자리에 있었습니다. 이 그림 한 장이 개선 우선순위 장의 전부가 됩니다. 중요도를 묻지 못했으면 전체 만족도에 대한 항목별 회귀계수로 대신합니다.
개방형 응답은 세어서 씁니다
개방형 응답은 인상적인 문장 몇 개를 인용하는 데서 끝나기 쉽습니다. 저희는 응답을 범주로 묶어 빈도를 세고, 범주별 대표 응답을 하나씩 붙입니다. 응답 300건 중 80건이 주차를 말했다면 그건 수치 결과와 같은 무게로 다뤄야 합니다. 범주 이름은 응답자의 말을 그대로 씁니다. 운영 개선 요구 같은 말로 바꾸면 현장이 보이지 않습니다.
작년과 비교할 때 주의할 점
전년도 결과와 비교하려면 문항이 같아야 합니다. 문항 표현이 조금이라도 바뀌었으면 비교표에 표시합니다. 척도가 5점에서 7점으로 바뀐 해가 있으면 환산하지 말고 비교를 끊습니다. 환산한 점수로 그린 추세는 믿을 수 없습니다.
보고서의 끝
마지막 장에는 조사 결과에서 바로 나오는 항목만 적습니다. 개선 우선순위 세 개 정도와 그 근거가 되는 표 번호입니다. 결과에 없는 제안은 쓰지 않습니다. 보고서는 짧아도 되고, 부록에 문항별 표를 전부 붙이면 됩니다.


