MHResearch

라벨링 가이드라인 개정 비용을
줄이는 파일럿 절차

본작업 전에 파일럿으로 경계 사례를 모아 가이드라인을 고치면 본작업 중 재작업이 줄어듭니다.

학습 데이터 구축 사업에서 가장 흔한 사고는 라벨링이 절반쯤 진행됐을 때 가이드라인이 바뀌는 것입니다. 바뀐 기준으로 이미 작업한 데이터를 다시 보게 되고 일정과 예산이 함께 밀립니다. 저희도 초기 프로젝트에서 같은 일을 겪었고 지금은 아래 절차로 막고 있습니다.

첫 가이드라인이 바뀌는 원인

가이드라인은 보통 대표적인 사례를 보고 씁니다. 작업자가 실제로 헷갈리는 것은 대표 사례보다 경계 사례입니다. 두 범주에 걸치는 답안, 판독이 안 되는 이미지, 기준에 없는 새 유형이 본작업에서 나오고 그때마다 기준을 덧붙이게 됩니다.

파일럿의 역할

본작업 전에 작은 파일럿을 돌리면 경계 사례가 먼저 모입니다. 파일럿의 목적은 데이터 생산보다 가이드라인을 고칠 거리를 찾는 데 있습니다. 파일럿에서는 작업자에게 애매했던 사례를 기록하게 하고, 그 기록을 모아 가이드라인 2판을 씁니다. 이 한 번의 개정으로 본작업 중 개정 횟수가 크게 줄어듭니다.

일치도로 기준의 모호함 측정

같은 자료를 두 명이 독립적으로 라벨링하게 하고 일치도를 봅니다. 일치도가 낮은 범주는 작업자 문제보다 기준이 모호한 범주일 가능성이 높습니다. 작업자를 교육하기 전에 기준을 고칩니다. 이중 검수는 품질 확인 수단이면서 가이드라인 진단 도구이기도 합니다.

그림 1 (예시). 파일럿 없이 시작한 가이드라인은 본작업 중에 여러 번 고쳐지고, 고칠 때마다 이미 작업한 데이터를 다시 봐야 합니다.

실무 점검 항목

  • 파일럿 규모는 본작업의 몇 퍼센트 수준으로 잡되, 유형이 골고루 들어가게 뽑습니다.
  • 경계 사례는 가이드라인 본문 대신 별도 부록에 사례집으로 모읍니다. 본문은 짧게 유지합니다.
  • 개정할 때마다 버전 번호를 붙이고, 어떤 데이터가 어떤 버전으로 작업됐는지 기록합니다.
  • 재작업이 필요한 범주만 골라 다시 봅니다. 전량 재검수는 마지막 수단입니다.
Insights 목록으로 이 주제로 상담하기