# 사전·사후 설문으로 프로그램 효과를 보고할 때 | MHResearch

> 교육·상담 프로그램의 효과를 사전·사후 설문으로 평가할 때 측정 시점, 응답 매칭, 변화량 검정, 효과크기, 보고 방식을 정리했습니다.

원본: https://mhresearch.net/insight-pre-post.html


## 사전·사후 설문으로 프로그램 효과를 보고할 때

교육·상담 프로그램의 효과를 사전·사후 설문으로 평가할 때 측정 시점, 응답 매칭, 변화량 검정, 효과크기, 보고 방식을 정리했습니다.

비영리 단체와 대학의 교육 프로그램은 후원사나 학교에 효과를 보고해야 합니다. 가장 흔한 방법이 사전·사후 설문인데, 설계 단계에서 몇 가지를 놓치면 분석 단계에서 복구할 수 없습니다. 저희가 청년 교육 프로그램과 멘토링 프로그램의 평가를 맡으며 정리한 순서입니다.


### 두 응답을 이을 열쇠를 먼저 정합니다

사전 설문은 프로그램 시작 전에, 사후 설문은 종료 직후에 받습니다. 두 응답을 같은 사람끼리 잇는 매칭 키를 설계 단계에서 정합니다. 이름 대신 생년월일 일부와 휴대폰 뒷자리 같은 조합을 쓰면 익명을 지키면서 이을 수 있습니다.


### 같은 문항으로 두 번 묻습니다

프로그램이 바꾸려는 것을 재는 척도를 고르고, 사전과 사후에 같은 문항을 씁니다. 분석 전에 영역별 신뢰도를 확인하고, 신뢰도가 낮은 영역은 해석에 제한을 둡니다.


### 변화량은 효과크기와 같이 적습니다

매칭된 응답으로 대응 검정을 하고, 유의성과 별도로 효과크기를 보고합니다. 참가자가 30명 안팎이면 비모수 검정을 함께 쓰고, 효과크기에는 신뢰구간을 붙입니다. 유의하지 않은 영역도 숨기지 않고 적습니다.

*그림 1 (예시 데이터). 영역별 사전·사후 평균입니다. 평균 차이 옆에 효과크기와 신뢰구간을 함께 적어야 작은 표본에서도 과장 없이 읽힙니다.*


### 누구에게 효과가 컸는지 봅니다

학년, 참여 횟수, 소속 같은 특성별로 변화량을 나누어 봅니다. 어떤 집단에서 효과가 컸는지가 다음 기수 운영에 바로 쓰이는 정보입니다.


### 개방형 응답도 셉니다

개방형 문항은 범주로 묶어 빈도를 세고, 각 범주의 대표 응답을 인용합니다. 수치 결과와 나란히 두면 변화의 내용이 보입니다.


### 보고서에 들어가야 할 것

영역별 사전·사후 평균과 변화량, 검정 결과와 효과크기, 특성별 비교표, 개방형 응답 범주와 대표 응답, 그리고 설문 회수율과 매칭 성공률을 함께 받으십시오. 매칭 성공률이 낮으면 결과의 대표성부터 설명해야 합니다.

More Insights


### 이어서 읽기


#### 효과 크기와 신뢰구간을 먼저 쓰는 결과 서술 순서

p값은 차이의 유무만 말하고 크기는 말하지 않습니다.


#### 설문 문항 축소 시 신뢰도를 유지하는 절차

문항을 줄일 때 어떤 문항을 빼야 하는지 정하는 순서입니다.


#### 심리 척도 개발과 타당화

문항 수를 줄이면서 요인 구조와 신뢰도를 지키는 순서입니다.


---
문의: advisor-ai@mhresearch.net · [문의 페이지](https://mhresearch.net/contact.html) · [llms.txt](https://mhresearch.net/llms.txt)