숫자 인식기가 시험 자료에서 정확도 90%를 기록하면, 모든 숫자를 비슷하게 잘 읽었다고 할 수 있을까요? 가상의 시험 자료 100장 중 10장은 숫자 1이고, 나머지 90장은 다른 숫자예요. 인식기는 다른 숫자 90장은 모두 맞히지만 숫자 1의 10장은 모두 7로 읽었다고 정하겠습니다. 실제 제품 성능이나 특정 필체의 측정 결과는 아니에요.
전체 정확도는 맞힌 장수를 전체 시험 장수로 나눈 비율이에요. 반면 ‘실제 숫자 1 중 1로 읽은 비율’은 실제로 1이 적힌 자료만 분모에 넣어 계산해요.
두 결과는 동시에 맞아요. 전체 자료에서 숫자 1이 차지하는 비중이 작아서 그 숫자를 모두 놓쳐도 전체 점수는 높게 남아요. 전체 수치 하나만으로 개별 숫자의 성능에 하한을 줄 수 없다는 반례예요.
반대로 같은 100장에서 숫자 1은 열 장 모두 맞히고, 다른 숫자는 90장 중 80장만 맞히는 두 번째 인식기를 생각할 수 있어요. 전체 정답 수는 여전히 90장이고 정확도도 90%입니다. 하지만 숫자 1만 보면 첫 인식기는0%, 둘째는100%입니다. 자료 구성과 전체 점수까지 같게 유지해도 개별 숫자의 성능은 양끝으로 달라질 수 있어요.
실제 숫자 1을 맞힌 장수를 로 적으면 이고, 다른 숫자를 맞힌 수는 입니다. 이 값은 모든 정수 에서 80부터90사이에 있어 가능한 구성이에요. 전체 점수만으로는1을찾은비율이0%에서100%중어디인지정해지지않습니다. 각 숫자별 결과를 추가로 기록해야 놓친 부분을 확인할 수 있어요.
참고한 수학 개념: IMAGINARY · Neural Numbers.
이 글의 생활 상황과 계산 예시는 수학 이야기에서 새로 구성했습니다.