학습 데이터 구축 사업에서 가장 흔한 사고는 라벨링이 절반쯤 진행됐을 때 가이드라인이 바뀌는 것입니다. 바뀐 기준으로 이미 작업한 데이터를 다시 보게 되고 일정과 예산이 함께 밀립니다. 저희도 초기 프로젝트에서 같은 일을 겪었고 지금은 아래 절차로 막고 있습니다.
첫 가이드라인이 바뀌는 원인
가이드라인은 보통 대표적인 사례를 보고 씁니다. 작업자가 실제로 헷갈리는 것은 대표 사례보다 경계 사례입니다. 두 범주에 걸치는 답안, 판독이 안 되는 이미지, 기준에 없는 새 유형이 본작업에서 나오고 그때마다 기준을 덧붙이게 됩니다.
파일럿의 역할
본작업 전에 작은 파일럿을 돌리면 경계 사례가 먼저 모입니다. 파일럿의 목적은 데이터 생산보다 가이드라인을 고칠 거리를 찾는 데 있습니다. 파일럿에서는 작업자에게 애매했던 사례를 기록하게 하고, 그 기록을 모아 가이드라인 2판을 씁니다. 이 한 번의 개정으로 본작업 중 개정 횟수가 크게 줄어듭니다.
일치도로 기준의 모호함 측정
같은 자료를 두 명이 독립적으로 라벨링하게 하고 일치도를 봅니다. 일치도가 낮은 범주는 작업자 문제보다 기준이 모호한 범주일 가능성이 높습니다. 작업자를 교육하기 전에 기준을 고칩니다. 이중 검수는 품질 확인 수단이면서 가이드라인 진단 도구이기도 합니다.
실무 점검 항목
- 파일럿 규모는 본작업의 몇 퍼센트 수준으로 잡되, 유형이 골고루 들어가게 뽑습니다.
- 경계 사례는 가이드라인 본문 대신 별도 부록에 사례집으로 모읍니다. 본문은 짧게 유지합니다.
- 개정할 때마다 버전 번호를 붙이고, 어떤 데이터가 어떤 버전으로 작업됐는지 기록합니다.
- 재작업이 필요한 범주만 골라 다시 봅니다. 전량 재검수는 마지막 수단입니다.


