MHResearch

생성형 AI 자동채점과 피드백의 신뢰도 검증

국어교육 분야 KCI 등재 학술지에 게재된 논문입니다.
생성형 AI를 국어 논술 채점과 피드백 생성에 쓸 수 있는지, 신뢰도와 타당성 관점에서 검증했습니다.

연구 문제

생성형 AI는 같은 글에도 매번 다른 점수와 피드백을 낼 수 있습니다. 교육 현장에 쓰려면 얼마나 일관된지, 사람 채점과 얼마나 다른지를 숫자로 확인해야 했습니다.

방법

  1. 네 가지 생성형 AI 모델과 인간 채점자에게 동일한 논술글을 반복 채점·피드백 생성
  2. 점수 일관성과 피드백의 의미적 일관성을 정량 지표로 평가
  3. 모델별 점수 편향과 인간 채점 점수 분포와의 차이 분석
생성형 AI 자동채점과 피드백의 신뢰도 검증 연구 도식
그림 1. 연구 흐름 도식.

결과와 의의

생성형 AI가 일정 수준의 점수·피드백 일관성을 보여 보조 도구로서 가능성이 있지만, 일부 모델의 점수 편향과 분포 차이 때문에 단독 사용보다 교사의 보조 도구로 쓰는 것이 적절하다는 결론을 냈습니다.

저자

김길재.
김길재 · 교육측정 · 서·논술형 자동채점과 문항 자동 생성 연구. 연구 전체 보기

관련 서비스

연구 목록으로 이 주제로 상담하기