MHResearch

생성형 AI 문항 생성의
검토 절차

문항 설계표, 자동 검사, 교사 검토, 수정 기록으로 이어지는 생성 문항의 검토 순서를 정리했습니다.

생성형 AI에 교육과정과 지문을 주면 문항은 짧은 시간에 나옵니다. 문항 생성 사업에서 시간이 드는 곳은 생성 뒤입니다. 만들어진 문항 가운데 실제로 쓸 수 있는 것을 가려내는 단계입니다. 수능형 국어 문항 생성을 연구하며 정리한 검토 순서를 적습니다.

1. 문항 설계표

어떤 성취기준을 재는지, 지문의 종류와 길이, 발문 유형, 선지 수, 정답 위치의 분포까지 표로 정합니다. 이 표가 없으면 생성된 문항을 판단할 기준이 없습니다. 같은 표를 자동 검사와 교사 검토의 점검표로 다시 씁니다.

2. 소규모 미세조정의 효과와 한계

수백 문항 규모의 자료로 모형을 미세조정하면 발문의 어투, 선지의 길이, 해설의 구성 같은 형식은 빠르게 안정됩니다. 정답이 하나뿐인지, 오답이 그럴듯한지, 지문에 근거가 있는지 같은 내용의 품질은 그만큼 오르지 않습니다. 형식과 내용을 따로 평가해야 어디에 더 투자할지 정할 수 있습니다.

3. 자동 검사

정답 번호가 설계표에 맞는지, 선지가 서로 겹치지 않는지, 발문에 쓰인 단어가 지문에 있는지, 다른 문항과 지문이나 발문이 중복되지 않는지는 규칙으로 걸러집니다. 모형에게 자기 문항을 다시 풀게 해 정답이 일치하는지 보는 검사도 넣습니다. 이 단계에서 걸러지는 비율을 기록해 두면 생성 조건을 고칠 근거가 됩니다.

4. 교사 검토

남은 문항은 교사가 검토합니다. 정답의 유일성, 오답의 매력도, 성취기준과의 일치, 지문 활용의 적절성처럼 항목별로 점수를 매깁니다. 검토자 두 명이 같은 문항을 보게 해 일치도를 확인하면 검토 기준의 신뢰도도 함께 잴 수 있습니다. 고쳐서 쓸 문항과 버릴 문항의 비율은 이 단계의 결과로 보고합니다.

생성 문항 수가 검사 단계마다 줄어드는 막대그래프
그림 1 (예시 데이터). 생성한 1,000문항이 단계를 거치며 줄어드는 수입니다. 자동 검사에서 가장 많이 걸러지고, 교사 검토를 통과한 문항 중에도 절반 이상은 수정을 거쳐 쓰입니다.

5. 수정 기록

교사가 어떤 문항을 왜 고쳤는지를 남기면 그 기록이 다음 미세조정과 생성 조건 수정의 자료가 됩니다. 문항 생성은 생성, 검토, 수정이 반복되는 작업입니다.

도입 검토 시 받아야 할 것

생성된 문항 수 외에 문항 설계표, 자동 검사 항목과 탈락 비율, 교사 검토 기준표와 검토자 간 일치도, 수정 기록을 함께 받으십시오.

Insights 목록으로 이 주제로 상담하기