다음은 설명을 위해 만든 가상 점수표다. 복습 방식 A를 쓴 두 학생의 사전 점수는 40,60, 사후 점수는 각각 60,80이다. 방식 B의 두 학생은 사전 70,90, 사후 80,100이다. 학생들이 방식에 무작위 배정된 것은 아니다. 최종 평균과 개인별 상승량 평균을 구하고 ‘B가 A보다 더 효과적’이라고 단정할 수 있는지 판단하라.
A의 사전 평균은 50, 사후 평균은 70, 상승량은 두 학생 모두 20이다. B는 사전 평균 80, 사후 평균 90, 상승량은 두 학생 모두 10이다. 최종 평균만 보면 B가 20점 높지만, 시작 평균부터 B가 30점 높았다. 상승량 평균에서는 A가 10점 더 크다.
그렇다고 이 표가 A의 우월한 효과를 증명하는 것도 아니다. 서로 다른 시작 수준, 학생 수 두 명, 배정 방식과 다른 학습 조건 때문에 어느 차이가 복습 방식에서 왔는지 분리할 근거가 없다. 계산한 두 지표는 각각 맞지만 답하는 질문이 다르다.
교사 질문은 ‘효과라는 단어를 쓰기 전에 어떤 비교를 했는가’다. 출처의 연구 요약을 한국 고교 수업의 확정된 결과로 옮기지 않고, 결과 해석에 필요한 조건을 수학 자료 읽기로 바꾸어 볼 수 있다.
착안한 공개 원문: Research Bite #78: Mixing problems increases performance of all students but especially of low-achieving ones in college calculus. 원문의 수업 관점으로 새 문항을 구성했다.