MHResearch

서·논술형 자동채점의
도입 가능성 판정 기준

AI 채점과 사람 채점의 일치도는 평균 한 값으로 판단하지 않습니다.
채점자 간 일치도, 점수대별 일치도, 편향 방향을 함께 보는 판정 절차를 설명합니다.

서·논술형 답안의 자동채점을 검토할 때 보통 AI 점수와 사람 채점자 점수의 일치도를 가중 카파나 상관계수 한 값으로 보고받습니다. 이 값은 필요하지만, 평균 일치도가 같아도 도입할 수 있는 문항과 어려운 문항이 갈립니다. 저희가 채점 데이터를 검증할 때 함께 보는 항목과 판정 절차를 정리했습니다.

평균 일치도와 함께 보는 항목

첫째, 사람 채점자끼리의 일치도입니다. AI와 사람의 일치도 0.82는 채점자 간 일치도가 0.90일 때와 0.75일 때 의미가 다릅니다. 후자라면 AI가 채점자 수준에 가깝고, 전자라면 아직 차이가 큽니다. AI의 일치도는 채점자 간 일치도와 나란히 놓고 읽습니다.

둘째, 점수대별 분포입니다. 중간 점수대 답안이 대부분인 문항에서는 AI가 중간 점수를 주기만 해도 평균 일치도가 높게 나옵니다. 판별이 중요한 최상위와 최하위 답안에서 어긋나면 그 모형은 쓰기 어렵습니다.

셋째, 어긋나는 방향입니다. AI가 사람보다 일관되게 후하게 주는지, 박하게 주는지, 무작위로 흩어지는지에 따라 대응이 다릅니다. 일관된 편향은 보정할 수 있고 무작위 오차는 보정하기 어렵습니다.

판정 절차

아래 수치는 절차를 설명하기 위해 만든 예시이며 특정 기관의 검증 결과가 아닙니다. 앞 단계를 통과하지 못한 문항은 뒤 단계로 가지 않습니다.

  1. 채점자 간 일치도 확보. 채점자 3인 이상의 점수가 있는 답안만 씁니다. 채점자 간 가중 일치도가 0.70 미만인 문항은 채점 기준부터 손봐야 하므로 AI 검증 대상에서 뺍니다.
  2. 준거 점수 산출. 채점자마다 엄격성이 다르므로 다국면 라쉬 모형으로 보정한 점수를 준거로 삼습니다. 단순 평균은 엄격한 채점자가 많이 배정된 답안에 불리합니다.
  3. 전체 일치도 계산. AI 점수와 준거 점수의 가중 카파를 구합니다. 보통 여기까지가 보고됩니다.
  4. 점수대별 분해. 준거 점수를 상·중·하 세 구간으로 나눠 구간마다 일치도와 평균 편차를 따로 봅니다.
  5. 편향 방향 확인. AI 점수에서 준거 점수를 뺀 값의 분포를 문항별로 그립니다. 평균이 0에서 멀면 체계적 편향, 분산이 크면 무작위 오차입니다.
문항별 AI–준거 점수 일치도
그림 1 (예시 데이터). 전체 평균은 0.84이지만 문항별 일치도는 0.55에서 0.93까지 벌어집니다. 점선 아래 문항은 별도 검토 대상입니다.

예시 결과

전체 일치도 0.84는 채점자 간 일치도 0.86과 거의 같았습니다. 여기서 멈췄다면 모든 문항을 도입 가능으로 판정했을 것입니다. 점수대별로 나누면 결과가 달라집니다.

구간답안 비율일치도평균 편차해석
상위 (만점 근처)12%0.71−0.6점AI가 박하게 줌
중간68%0.88+0.1점안정적
하위 (0점 근처)20%0.79+0.4점AI가 후하게 줌

상위 구간에서 박하게 주는 경향은 세 문항에 몰려 있었습니다. 셋 다 근거를 두 가지 이상 제시하면 만점을 주는 개수 기준 문항이었고, AI는 근거를 하나로 묶어 세는 경우가 많았습니다. 이 세 문항은 도입 불가로 판정하고 채점 기준을 다시 쓰도록 권고했습니다. 나머지 11개 문항은 편차가 작고 방향이 일정해 보정 후 도입 가능으로 판정했습니다.

검증 결과로 받아야 할 것

자동채점을 검토하는 기관이라면 일치도 한 값 대신 다음 항목을 함께 받기를 권합니다.

  • 같은 답안에 대한 채점자 간 일치도
  • 점수 구간별 일치도와 평균 편차
  • 문항별 편향 방향과 크기
  • 도입 불가로 판정한 문항과 그 이유

마지막 항목이 특히 중요합니다. 모든 문항이 도입 가능하다고만 보고하는 검증은 신뢰하기 어렵습니다. 어떤 문항에서 안 되는지를 말할 수 있어야 되는 문항에 대한 판정도 믿을 수 있습니다.

사람 채점과의 관계

이 절차는 AI 채점을 사람 채점의 대체로 보지 않습니다. 도입 가능 판정을 받은 문항도 상위 구간 답안은 사람이 한 번 더 보도록 설계합니다. AI는 사람이 봐야 할 답안을 줄이는 역할을 맡습니다.

Insights 목록으로 이 주제로 상담하기