# 서·논술형 자동채점의 도입 가능성 판정 기준 | MHResearch

> AI 채점과 사람 채점의 일치도는 평균 한 값으로 판단하지 않습니다. 채점자 간 일치도, 점수대별 일치도, 편향 방향을 함께 보는 판정 절차를 설명합니다.

원본: https://mhresearch.net/insight.html


## 서·논술형 자동채점의 도입 가능성 판정 기준

AI 채점과 사람 채점의 일치도는 평균 한 값으로 판단하지 않습니다. 채점자 간 일치도, 점수대별 일치도, 편향 방향을 함께 보는 판정 절차를 설명합니다.

서·논술형 답안의 자동채점을 검토할 때 보통 AI 점수와 사람 채점자 점수의 일치도를 가중 카파나 상관계수 한 값으로 보고받습니다. 이 값은 필요하지만, 평균 일치도가 같아도 도입할 수 있는 문항과 어려운 문항이 갈립니다. 저희가 채점 데이터를 검증할 때 함께 보는 항목과 판정 절차를 정리했습니다.


### 평균 일치도와 함께 보는 항목

첫째, 사람 채점자끼리의 일치도입니다. AI와 사람의 일치도 0.82는 채점자 간 일치도가 0.90일 때와 0.75일 때 의미가 다릅니다. 후자라면 AI가 채점자 수준에 가깝고, 전자라면 아직 차이가 큽니다. AI의 일치도는 채점자 간 일치도와 나란히 놓고 읽습니다.

둘째, 점수대별 분포입니다. 중간 점수대 답안이 대부분인 문항에서는 AI가 중간 점수를 주기만 해도 평균 일치도가 높게 나옵니다. 판별이 중요한 최상위와 최하위 답안에서 어긋나면 그 모형은 쓰기 어렵습니다.

셋째, 어긋나는 방향입니다. AI가 사람보다 일관되게 후하게 주는지, 박하게 주는지, 무작위로 흩어지는지에 따라 대응이 다릅니다. 일관된 편향은 보정할 수 있고 무작위 오차는 보정하기 어렵습니다.


### 판정 절차

아래 수치는 절차를 설명하기 위해 만든 예시이며 특정 기관의 검증 결과가 아닙니다. 앞 단계를 통과하지 못한 문항은 뒤 단계로 가지 않습니다.

- 채점자 간 일치도 확보. 채점자 3인 이상의 점수가 있는 답안만 씁니다. 채점자 간 가중 일치도가 0.70 미만인 문항은 채점 기준부터 손봐야 하므로 AI 검증 대상에서 뺍니다.
- 준거 점수 산출. 채점자마다 엄격성이 다르므로 다국면 라쉬 모형으로 보정한 점수를 준거로 삼습니다. 단순 평균은 엄격한 채점자가 많이 배정된 답안에 불리합니다.
- 전체 일치도 계산. AI 점수와 준거 점수의 가중 카파를 구합니다. 보통 여기까지가 보고됩니다.
- 점수대별 분해. 준거 점수를 상·중·하 세 구간으로 나눠 구간마다 일치도와 평균 편차를 따로 봅니다.
- 편향 방향 확인. AI 점수에서 준거 점수를 뺀 값의 분포를 문항별로 그립니다. 평균이 0에서 멀면 체계적 편향, 분산이 크면 무작위 오차입니다.
*그림 1 (예시 데이터). 전체 평균은 0.84이지만 문항별 일치도는 0.55에서 0.93까지 벌어집니다. 점선 아래 문항은 별도 검토 대상입니다.*


### 예시 결과

전체 일치도 0.84는 채점자 간 일치도 0.86과 거의 같았습니다. 여기서 멈췄다면 모든 문항을 도입 가능으로 판정했을 것입니다. 점수대별로 나누면 결과가 달라집니다.

상위 구간에서 박하게 주는 경향은 세 문항에 몰려 있었습니다. 셋 다 근거를 두 가지 이상 제시하면 만점을 주는 개수 기준 문항이었고, AI는 근거를 하나로 묶어 세는 경우가 많았습니다. 이 세 문항은 도입 불가로 판정하고 채점 기준을 다시 쓰도록 권고했습니다. 나머지 11개 문항은 편차가 작고 방향이 일정해 보정 후 도입 가능으로 판정했습니다.


### 검증 결과로 받아야 할 것

자동채점을 검토하는 기관이라면 일치도 한 값 대신 다음 항목을 함께 받기를 권합니다.

- 같은 답안에 대한 채점자 간 일치도
- 점수 구간별 일치도와 평균 편차
- 문항별 편향 방향과 크기
- 도입 불가로 판정한 문항과 그 이유
마지막 항목이 특히 중요합니다. 모든 문항이 도입 가능하다고만 보고하는 검증은 신뢰하기 어렵습니다. 어떤 문항에서 안 되는지를 말할 수 있어야 되는 문항에 대한 판정도 믿을 수 있습니다.


#### 사람 채점과의 관계

이 절차는 AI 채점을 사람 채점의 대체로 보지 않습니다. 도입 가능 판정을 받은 문항도 상위 구간 답안은 사람이 한 번 더 보도록 설계합니다. AI는 사람이 봐야 할 답안을 줄이는 역할을 맡습니다.

More Insights


### 이어서 읽기


#### 설문 문항 축소 시 신뢰도를 유지하는 절차

문항을 줄일 때 어떤 문항을 빼야 하는지 정하는 순서입니다.


#### 공공기관 AX 진단의 우선 점검 항목

도구보다 데이터 접근, 결재 구조, 반복 업무 비율을 먼저 봅니다.


#### 라벨링 가이드라인 개정 비용을 줄이는 파일럿 절차

가이드라인을 고치는 시점이 재작업 비용을 결정합니다.


---
문의: advisor-ai@mhresearch.net · [문의 페이지](https://mhresearch.net/contact.html) · [llms.txt](https://mhresearch.net/llms.txt)