보고서를 읽는 의사결정자가 알고 싶은 것은 차이가 있는지보다 차이가 얼마나 큰지, 그래서 무엇을 바꿔야 하는지입니다. p값은 첫 번째 질문에만 답합니다. 표본이 크면 아주 작은 차이도 유의하게 나오기 때문에 p값만으로는 실질적 의미를 말하기 어렵습니다.
효과 크기
효과 크기는 차이의 크기를 단위와 무관하게 표현한 값입니다. 두 집단 평균 차이를 표준편차 단위로 나타낸 값, 상관계수, 위험비 등이 있습니다. 이 값이 있어야 프로그램에 효과가 있다는 문장에 얼마나가 붙습니다. 저희는 결과 문단의 첫 문장에 효과 크기와 신뢰구간을 쓰고 p값은 그 뒤에 붙입니다.
신뢰구간
효과 크기 하나만 쓰면 그 값이 얼마나 확실한지 알 수 없습니다. 신뢰구간이 넓으면 효과가 커도 추정이 불안정하다는 뜻이고, 좁으면 작은 효과라도 믿을 만하다는 뜻입니다. 둘을 함께 보여 주면 유의하지만 작은 효과와 유의하지 않지만 클 가능성이 있는 효과를 구분해 읽을 수 있습니다.
서술 순서
- 무엇을 비교했는지 한 문장
- 효과 크기와 신뢰구간
- 그 크기가 실무적으로 어떤 의미인지 한 문장. 예를 들어 한 학기 수업 효과에 해당하는 크기인지
- 검정 통계량과 p값
- 표본 크기와 한계
p값을 빼자는 제안이 아니고 순서를 바꾸자는 제안입니다. 독자가 첫 문장에서 크기를 읽으면 결론이 같아도 결정에 쓰이는 정보가 달라집니다.
해석 기준
효과 크기를 작다, 중간, 크다로 나누는 기준은 분야마다 다릅니다. 교육이나 사회과학에서 중간으로 보는 값이 임상에서는 크게 여겨질 수 있습니다. 보고서에는 어떤 기준을 썼는지 밝히고, 가능하면 같은 분야 선행연구의 효과 크기와 비교합니다.


