한 문제만 맞힌 기록의 정답과 한 문제만 틀린 기록의 오답은 같은 문항이 가장 흔할까요? NCES의 문항반응·조건부 독립 설명에서 착안한 자체 종이 모형이에요. 실제 시험 성적이나 학생 능력을 추정한 자료는 아니에요.
문항 A,B,C의 기준값 dᵢ는 각각1,2,3입니다. 공통 양수 u를 고정했을 때 정답 사건들은 서로 독립이에요. i는 세 문항 중 하나이며 pᵢ는 정답 확률, 오답 확률은1−pᵢ=dᵢ/(u+dᵢ)입니다. 답안은 정답1·오답0의 세 자리로 적고 D를 공통 분모로 써요.
정답 수를 K라 해 볼까요? 곱셈정리로 A만 맞는100의 확률은6u/D입니다. B만 맞는010은3u/D, C만 맞는001은2u/D입니다. 세 확률 합11u/D로 각 항을 나누면 K=1인 기록 안에서의 조건부 확률이 돼요. 세 기록을 똑같이1/3로 세지 않아요.
K=2에서는 하나만 틀려요. A만 틀리는011은u²/D, B만 틀리는101은2u²/D, C만 틀리는110은3u²/D입니다. 이번에는 합6u²/D로 나눠요. A,B,C 순서의 조건부 확률벡터를 정답 쪽 q₊, 오답 쪽 q₋라 쓰면
따라서 하나만 맞힌 기록에선 A, 하나만 틀린 기록에선 C가 유일하게 가장 흔해요. u가 어떤 양수여도 각각 공통 인자가 약분되므로 답은 같아요. 예를 들어 u=1에서 A만 맞을 전체 확률은6/24=1/4입니다. 이것을 K=1 안의6/11과 혼동하면 분모를 바꾼 조건이 사라져요.
교사는 여덟 답안의 확률표를 먼저 만든 뒤 정답 수별로 줄을 묶게 해요. 틀린 문항과 맞힌 문항 중 무엇을 세는지 표시해야 두 순위를 바르게 읽어요. 유한한 실제 답안 수가 이 비율을 꼭 따른다는 뜻은 아니에요.
착안: NCES 기술문서.