보고서를 읽는 의사결정자가 묻는 것은 “차이가 있느냐”가 아니라 “차이가 얼마나 크냐, 그래서 무엇을 바꿔야 하느냐”입니다. p값은 첫 번째 질문에만 답합니다. 그것도 표본이 크면 아주 작은 차이도 유의하게 나오기 때문에, p값만으로는 실질적 의미를 말할 수 없습니다.
효과 크기가 먼저 오는 이유
효과 크기는 차이의 크기를 단위와 무관하게 표현한 값입니다. 두 집단 평균 차이를 표준편차 단위로 나타낸 값이나 상관계수, 위험비 같은 것들입니다. 이 값이 있어야 “교육 프로그램이 효과가 있다”는 문장에 “얼마나”가 붙습니다. 저희는 결과 문단의 첫 문장에 효과 크기와 신뢰구간을 쓰고, p값은 그 뒤에 붙입니다.
신뢰구간을 같이 쓰는 이유
효과 크기 하나만 쓰면 그 값이 얼마나 확실한지 알 수 없습니다. 신뢰구간이 넓으면 효과가 크더라도 추정이 불안정하다는 뜻이고, 좁으면 작은 효과라도 믿을 만하다는 뜻입니다. 독자에게 이 둘을 함께 보여 주면 “유의하지만 작은 효과”와 “유의하지 않지만 큰 효과일 가능성”을 구분해 읽을 수 있습니다.
서술 순서 제안
- 무엇을 비교했는지 한 문장
- 효과 크기와 신뢰구간
- 그 크기가 실무적으로 어떤 의미인지 한 문장 (예: 한 학기 수업 효과에 해당하는 크기인지)
- 검정 통계량과 p값
- 표본 크기와 한계
p값을 빼자는 말이 아닙니다. 순서를 바꾸자는 말입니다. 독자가 첫 문장에서 “얼마나”를 읽게 하면 보고서의 결론이 달라지지 않아도 결정의 질이 달라집니다.
주의할 점
효과 크기의 해석 기준(“작다·중간·크다”)은 분야마다 다릅니다. 교육이나 사회과학에서 중간으로 보는 값이 임상에서는 크게 여겨질 수 있습니다. 보고서에는 어떤 기준을 썼는지 밝히고, 가능하면 같은 분야 선행연구의 효과 크기와 비교해 주는 것이 안전합니다.
