# 서·논술형 자동채점 · 문항 자동 생성 연구 | 김길재 · 엠에이치리서치

> 연구 책임자 김길재의 서·논술형 자동채점, 채점 신뢰도 검증, 수능형 문항 자동 생성 연구. 평가원 프로젝트와 KCI 논문을 소개합니다.

원본: https://mhresearch.net/research.html

Research · 김길재


## 서·논술형 자동채점과 문항 자동 생성 연구

엠에이치리서치는 연구 책임자 김길재를 중심으로 서·논술형 채점의 자동화와 수능형 문항 자동 생성을 연구합니다. 연구 결과는 KCI 논문과 공공기관 프로젝트로 이어졌습니다.

01 서·논술형 자동채점


### 사람 채점자와 얼마나 일치하는지가 기준입니다

자동채점은 평균 일치도가 아니라 문항별, 점수대별 일치도로 도입 여부를 가립니다. 한국교육과정평가원 자동채점 AI 지원 프로그램 개발·개선과 KCI 논문이 이 원칙 위에 있습니다.

- [01 서·논술형 자동채점 AI 지원 프로그램 개발·개선 한국교육과정평가원 · 2025. 문항별 일치도 검증으로 도입 가능 문항을 가립니다.](https://mhresearch.net/works.html#w21)
- [02 생성형 AI 자동채점과 피드백의 신뢰도 검증 청람어문교육 · 2025. 생성형 AI 채점이 사람 채점과 어디서 어긋나는지 검증했습니다.](https://mhresearch.net/paper-genai-scoring-reliability.html)
- [03 채점자질을 활용한 인공지능 기반 글쓰기 자동채점 방안 탐색 청람어문교육 · 2023. 채점자가 실제로 보는 자질을 모형에 넣는 설계를 제안했습니다.](https://mhresearch.net/paper-rater-features-scoring.html)
- [04 서·논술형 자동채점의 도입 가능성 판정 기준 인사이트. 문항별·점수대별 일치도로 도입 여부를 판정하는 절차입니다.](https://mhresearch.net/insight.html)
02 수능형 문항 자동 생성


### 문항을 만들게 하는 것보다 걸러내는 기준이 어렵습니다

수능형 국어 문항을 생성형 AI로 만들 때 작은 규모의 미세조정이 어디까지 품질을 올리는지, 어디서 한계가 오는지를 단계별로 분석했습니다. 생성 문항의 검토 기준과 데이터 증강 방법도 함께 다룹니다.

- [01 수능형 국어 문항 자동 생성에서 소규모 SFT의 효과와 한계에 대한 단계별 분석 2026. 작은 규모의 지도 미세조정이 문항 생성 품질을 어디까지 끌어올리는지 단계별로 확인했습니다.](https://mhresearch.net/paper-sft-item-generation.html)
- [02 ChatGPT를 활용한 텍스트 데이터 증강 가능성 탐색 청람어문교육 · 2023. 생성형 AI로 만든 답안을 학습 데이터로 쓸 수 있는지 검토했습니다.](https://mhresearch.net/paper-chatgpt-augmentation.html)
03 채점자 훈련 · 채점 신뢰도


### 자동채점 전에 사람 채점의 흔들림을 잽니다

채점자의 엄격성과 일관성을 다국면 Rasch 모형으로 진단하고, 기준 채점과 비교하며 연습하는 채점자 훈련 서비스를 개발했습니다. 같은 방법이 라벨링 기준의 품질 관리에도 쓰입니다.

- [01 AI 활용 에세이 채점 훈련·자동채점 서비스 개발 창업진흥원 청년창업사관학교 · 2025. 채점자가 기준 채점과 자기 채점을 비교하며 연습하는 서비스입니다.](https://mhresearch.net/works.html#w30)
- [02 연구진 참여 특허 출원: AI 채점 훈련·연구보조·설문 플랫폼 R&D. 채점 훈련과 연구 보조 기능을 특허로 출원했습니다.](https://mhresearch.net/works.html#w29)
- [03 라벨링 가이드라인 개정 비용을 줄이는 파일럿 절차 인사이트. 채점 기준과 라벨링 기준의 모호함을 일치도로 재는 방법입니다.](https://mhresearch.net/insight-labeling.html)

### 자동채점이나 문항 생성을 검토하고 있다면

문항과 답안 자료의 형태만 알려 주시면 어떤 검증이 필요한지, 어느 단계부터 가능한지 검토해 답장드립니다. 검토 및 견적 비용은 발생하지 않습니다.


---
문의: advisor-ai@mhresearch.net · [문의 페이지](https://mhresearch.net/contact.html) · [llms.txt](https://mhresearch.net/llms.txt)