연구 문제
문항 생성은 형식 제약이 강한 과제라 겉보기 형식만 맞고 내용이 나빠질 수 있습니다. 지문과 문항을 한 덩어리로 평가하면 어느 단계에서 품질이 떨어지는지 알 수 없었습니다.
방법
- 1단계 지문 생성, 2단계 문항·오답지 생성의 2단계 파이프라인 설계
- Qwen2.5-7B-Instruct와 EXAONE 3.5 7.8B를 base, QLoRA SFT, 확장 학습셋, JSON 출력 조건으로 비교
- LLM 판정자의 쌍대 비교와 부트스트랩 추정으로 지문 품질과 문항 품질을 분리 평가
결과와 의의
소규모 SFT의 효과는 단계와 모델군에 따라 달랐습니다. Qwen 계열은 미세조정 후 오답지 매력도와 변별력이 오히려 떨어졌고, EXAONE 계열은 일부 조건에서 개선 신호가 있었습니다. 형식 적합성과 실질 품질은 따로 봐야 한다는 결론입니다.
저자
김길재.
김길재 · 교육측정 · 서·논술형 자동채점과 문항 자동 생성 연구. 연구 전체 보기


