MHResearch

수능형 국어 문항 자동 생성에서 소규모 SFT의 효과와 한계에 대한 단계별 분석

한국교원대학교 연구소 학술지에 게재된 논문입니다.
수능형 국어 읽기 문항을 대규모 언어모델로 자동 생성할 때, 적은 데이터로 한 지도 미세조정(SFT)이 지문 품질과 문항 품질에 각각 어떤 영향을 주는지 살폈습니다.

연구 문제

문항 생성은 형식 제약이 강한 과제라 겉보기 형식만 맞고 내용이 나빠질 수 있습니다. 지문과 문항을 한 덩어리로 평가하면 어느 단계에서 품질이 떨어지는지 알 수 없었습니다.

방법

  1. 1단계 지문 생성, 2단계 문항·오답지 생성의 2단계 파이프라인 설계
  2. Qwen2.5-7B-Instruct와 EXAONE 3.5 7.8B를 base, QLoRA SFT, 확장 학습셋, JSON 출력 조건으로 비교
  3. LLM 판정자의 쌍대 비교와 부트스트랩 추정으로 지문 품질과 문항 품질을 분리 평가
수능형 국어 문항 자동 생성에서 소규모 SFT의 효과와 한계에 대한 단계별 분석 연구 도식
그림 1. 연구 흐름 도식.

결과와 의의

소규모 SFT의 효과는 단계와 모델군에 따라 달랐습니다. Qwen 계열은 미세조정 후 오답지 매력도와 변별력이 오히려 떨어졌고, EXAONE 계열은 일부 조건에서 개선 신호가 있었습니다. 형식 적합성과 실질 품질은 따로 봐야 한다는 결론입니다.

저자

김길재.
김길재 · 교육측정 · 서·논술형 자동채점과 문항 자동 생성 연구. 연구 전체 보기

관련 서비스

연구 목록으로 이 주제로 상담하기