# 생성형 AI 자동채점과 피드백의 신뢰도 검증

> 2025 KCI 등재 학술지 논문. 저자 김길재. 국어교육 분야 KCI 등재 학술지에 게재된 논문입니다.

원본: https://mhresearch.net/paper-genai-scoring-reliability.html


## 생성형 AI 자동채점과 피드백의 신뢰도 검증

국어교육 분야 KCI 등재 학술지에 게재된 논문입니다. 생성형 AI를 국어 논술 채점과 피드백 생성에 쓸 수 있는지, 신뢰도와 타당성 관점에서 검증했습니다.


### 연구 문제

생성형 AI는 같은 글에도 매번 다른 점수와 피드백을 낼 수 있습니다. 교육 현장에 쓰려면 얼마나 일관된지, 사람 채점과 얼마나 다른지를 숫자로 확인해야 했습니다.


### 방법

- 네 가지 생성형 AI 모델과 인간 채점자에게 동일한 논술글을 반복 채점·피드백 생성
- 점수 일관성과 피드백의 의미적 일관성을 정량 지표로 평가
- 모델별 점수 편향과 인간 채점 점수 분포와의 차이 분석
*그림 1. 연구 흐름 도식.*


### 결과와 의의

생성형 AI가 일정 수준의 점수·피드백 일관성을 보여 보조 도구로서 가능성이 있지만, 일부 모델의 점수 편향과 분포 차이 때문에 단독 사용보다 교사의 보조 도구로 쓰는 것이 적절하다는 결론을 냈습니다.


### 저자

김길재. 김길재 · 교육측정 · 서·논술형 자동채점과 문항 자동 생성 연구. [연구 전체 보기](https://mhresearch.net/research.html)


### 관련 서비스

- [AI 기반 · 활용 연구](https://mhresearch.net/services.html#ai-research)
- [데이터 분석 · 통계](https://mhresearch.net/services.html#data)
More Insights


### 다른 연구 보기


#### 수능형 국어 문항 자동 생성에서 소규모 SFT의 효과와 한계에 대한 단계별 분석

Brain, Digital, & Learning 16권 1호 · 한국교원대학교 뇌·AI기반교육연구소 · 저자 김길재


#### 채점자질을 활용한 인공지능 기반 글쓰기 자동채점 방안 탐색

청람어문교육 96집 · 저자 박종임, 최숙기, 박강윤, 김길재


#### ChatGPT를 활용한 텍스트 데이터 증강 가능성 탐색

청람어문교육 93집 · 저자 김길재, 박강윤


---
문의: advisor-ai@mhresearch.net · [문의 페이지](https://mhresearch.net/contact.html) · [llms.txt](https://mhresearch.net/llms.txt)