MHResearch

AI 부정행위 시대의
평가 설계

생성형 AI가 과제와 시험의 정답을 대신 내는 일이 사회 문제가 됐습니다.
감시를 강화하는 것보다 평가 형식을 바꾸는 쪽이 먼저입니다.
어떤 평가를 AI가 쉽게 대신하고 어떤 평가는 그러지 못하는지, 학교가 지금 정할 수 있는 것을 적었습니다.

AI 부정행위 뉴스가 이어지고 있습니다. 과제를 챗봇이 쓰고, 온라인 시험의 선다형 문항을 사진 한 장으로 풀고, 자기소개서와 보고서를 대필시킵니다. 학교가 처음 택한 대응은 탐지 도구와 감시 강화였는데 효과가 오래가지 못했습니다. 탐지는 오판이 잦고, 감시는 학생과 교사를 같이 지치게 합니다. 저희가 평가 연구와 자동채점 연구를 하면서 보게 된 것은 원인이 부정행위 자체보다 평가 형식에 있다는 점입니다.

AI가 가장 쉽게 푸는 형식은 선다형입니다

선다형은 정답이 보기 안에 있습니다. AI에게는 가장 쉬운 형식입니다. 문항을 그대로 넣으면 정답과 풀이를 함께 돌려줍니다. 그래서 선다형 중심 평가에서는 AI 부정행위가 가장 쉽게 일어나고, 부정행위가 없더라도 재는 것이 기억과 개념 적용에 그칩니다. 학생이 무엇을 어떻게 생각했는지는 보기 번호에 남지 않습니다.

탐지 도구가 답이 되지 못하는 이유

AI 작성 탐지기는 확률을 내놓을 뿐 증거를 내놓지 못합니다. 같은 글을 두 번 넣으면 다른 판정이 나오기도 하고, 문장이 단정한 학생이나 한국어가 모국어가 아닌 학생의 글을 AI로 오판하는 사례가 보고됩니다. 탐지 결과를 근거로 학생을 불러 세우면 학교에는 증명할 수 없는 의심만 남습니다. 반대로 학생이 AI 초안을 받아 몇 문장만 고치면 탐지기는 대개 놓칩니다. 탐지기는 참고용으로는 쓸 수 있어도 그 위에 평가를 세울 수는 없습니다.

서술형으로 바꾸면 해결되나

절반만 그렇습니다. 집에서 써 오는 과제형 서술은 선다형보다 오히려 AI가 대신 쓰기 쉽습니다. 서·논술형에서 AI 대필을 막는 것은 형식이 아니라 실시 방식입니다. 수업 중에 쓰고, 제시된 자료를 근거로 쓰고, 쓴 과정이 남고, 필요하면 짧은 구술로 확인하는 평가는 AI가 대신하기 어렵습니다. 형식만 서술형으로 바꾸고 집에서 써 오게 하는 학교가 많은데, 그러면 바뀐 것이 없습니다. 전환의 단위는 문항이 아니라 문항과 실시 조건을 합친 세트여야 합니다.

같은 내용, 다른 문항

사회 과목의 예를 들겠습니다. 선다형은 이렇게 묻습니다. 다음 중 지방자치제도의 목적으로 옳은 것은. 학생은 보기 다섯 개 중 하나를 고르고, AI는 이 문항을 1초에 풉니다. 같은 성취기준을 서·논술형으로 바꾸면 이렇게 묻습니다. 제시된 두 지역의 주민참여예산 자료를 비교하고, 지방자치의 목적에 비추어 어느 지역의 운영이 더 타당한지 근거 두 가지를 들어 쓰시오. 자료는 시험지에만 있고, 수업 중 30분 안에 씁니다. 답안에는 자료를 읽은 흔적, 기준을 세운 과정, 근거의 연결이 드러나고 채점 기준도 그것을 봅니다. 소재는 같고 묻는 방식만 달라졌는데 AI가 대신 쓰기는 훨씬 어려워집니다.

평가 형식을 AI 대행 용이성과 측정 사고 수준으로 배치한 도식
그림 1 (예시 도식). 가로는 AI가 학생 대신 풀기 쉬운 정도, 세로는 측정하는 사고의 수준입니다. 선다형과 집에서 하는 과제형 서술은 오른쪽에, 수업 중 자료 제시 논술과 과정 기록은 왼쪽 위에 놓입니다.

과정과 결과를 함께 보는 채점

잘 만든 서·논술형 문항은 정답 하나를 묻지 않습니다. 자료를 읽고 근거를 고르고 주장을 세우는 과정이 답안에 드러나도록 묻습니다. 그러면 채점 기준도 정답 여부가 아니라 근거의 타당성, 논리의 연결, 표현의 정확성처럼 과정을 보는 항목으로 짜입니다. 이 기준이 있어야 두 교사가 같은 답안에 비슷한 점수를 줄 수 있고, AI 보조 채점도 사람의 기준에 맞춰 쓸 수 있습니다.

학교가 전환을 미루는 이유

서·논술형 확대는 교육과정과 정책이 이미 가리키는 방향입니다. 그런데도 학교가 전환을 미루는 이유는 두 가지입니다. 문항을 새로 만들 시간이 없고, 채점 부담이 크며 점수 시비가 걱정되기 때문입니다. 둘 다 평가 형식의 문제가 아니라 도구의 문제입니다. 선다형 문항은 이미 수년치가 있어 전환 대상이 되고, 채점 부담은 기준표와 채점자 훈련, AI 보조 채점으로 줄어듭니다.

채점 쪽은 순서가 중요합니다. 한 반 30명, 네 반이면 120편을 읽어야 하고 교사마다 점수가 다르면 민원이 옵니다. 먼저 채점 기준을 항목과 수준으로 적어 두고, 교사들이 같은 답안 몇 편을 채점해 보며 기준을 맞춘 다음, 그 뒤에 AI가 1차 점수와 근거 표시를 붙여 교사가 확인만 하게 합니다. 기준 없이 AI부터 넣으면 교사가 AI 점수를 믿지 못하고 결국 전부 다시 읽습니다.

학교가 먼저 점검할 것

  • 과목별 평가 가운데 집에서 수행하는 서술·보고서형 평가가 몇 개인지 세어 보십시오. 그 평가에서 AI 부정행위가 가장 쉽게 일어납니다.
  • 선다형 문항 가운데 자료 해석이나 입장 세우기를 묻는 문항이 얼마나 되는지 보십시오. 그 문항들이 전환 후보입니다. 전부 바꿀 필요는 없습니다.
  • 서술형 평가에 채점 기준표가 문서로 있는지, 두 교사가 같은 답안을 채점해 본 적이 있는지 확인하십시오. 없다면 전환보다 이것이 먼저입니다.
  • 수업 중 실시가 가능한 시간과 공간이 과목별로 확보되는지 보십시오. 실시 조건이 없으면 문항을 바꿔도 소용이 없습니다.
  • 첫 학기는 과목 하나로 시범 운영하고, 채점 시간과 채점자 간 일치도를 숫자로 남기십시오.

저희는 학교가 갖고 있는 선다형 문항과 정답률을 받아 이 과정을 한 묶음으로 진행합니다. 구성은 서비스 페이지의 서·논술형 전환에 있습니다.

Insights 목록으로 이 주제로 상담하기