자체 자료 세 점은 (0,0),(1,0),(10,1)이에요. 수직 오차 제곱합이 가장 작은 직선은 아래 식이에요. 마지막 점의 보통 잔차가 작으면 나머지 자료도 그 점을 잘 예측한다고 말할 수 있을까요? 마지막 점을 빼고 앞의 두 점만으로 다시 직선을 맞춰 비교해 볼까요?
전체 직선의 x=10 예측은 (−9+190)/182=181/182예요. 관측값에서 예측값을 빼면 잔차는1/182예요. 이 수만 보면 마지막 점과 직선이 거의 맞아 보여요.
하지만 그 점을 빼면 상황이 달라져요. 남은 두 점 (0,0),(1,0)에 정확히 맞는 직선은 y=0이에요. 두 다른 입력에서 오차를 모두0으로 만드는 직선이 유일하므로 제곱합도 최소예요. 이 직선으로 제외했던 입력10을 예측하면0이 나와요.
전체 직선의 계수도 검산할 수 있어요. 제곱합의 두 계수에 대한 최소 조건은 3a+11b=1, 11a+101b=10이고, 풀면 a=−9/182,b=19/182예요. 이차식의 제곱합은 앞의 서로 다른 x 두 점 덕분에 엄격 볼록이라 이 해가 유일한 최소예요.
Penn State는 한 관측을 제외하고 남은 자료로 재적합한 예측과 그 관측의 차를 삭제잔차로 설명해요. 위3점은 자체 구성이에요. 이 예에서 보통 잔차가 작은 이유는 마지막 점이 자신의 예측에 큰 영향을 주기 때문이에요. 작은 오차를 보고 측정 오류 없음이나 실제 예측 성능 좋음을 단정하지 않아요.
“어느 자료로 직선을 정했고, 어느 자료로 오차를 확인했는가”를 따로 확인해 봐요. 자료를 제외하면 변화가 큰지를 살펴보는 것과 그 점을 반드시 삭제해야 한다는 결정도 다른 질문이에요.
착안: Penn State, STAT501 Lesson11,11.4 Deleted Residuals. 원문 데이터·그림은 사용하지 않았어요.