두 자료를 맞추는 가상 조절값 x를 생각해 봐요. 첫 자료의 오차는 L₀(x)=x²이고, 둘째 자료의 오차는 L₄(x)=(x−4)²입니다. 전체 손실 L은 두 오차의 같은 가중 평균이에요. x는 단위 없는 실수이며 실제 AI의 성능 측정값은 아니에요.
식의 평균을 정리하면 L(x)=(x−2)²+4이므로 최솟값은 x=2에서 4입니다. 이 점의 전체 기울기는 0입니다. 그러나 첫 자료만 보면 기울기 2x=4, 둘째 자료만 보면 2(x−4)=−4입니다.
각 단계에서 두 자료 중 하나를 같은 확률로 고르고, 선택한 자료 기울기의 1/4을 x에서 뺀다고 정해요. 처음 x=2에서는 새 값이 각각 1 또는 3이 돼요. 따라서 새 위치 X′의 평균은 다음과 같아요.
하지만 전체 손실은 L(1)=L(3)=5이므로 E(L(X′))=5입니다. 평균 위치는 그대로인데, 갱신 전의 최소 손실 4보다 평균 손실이 커졌습니다. 확률적 경사 하강은 작은 자료만 계산해 한 단계 비용을 줄일 수 있지만, 평균 기울기가 정확하다는 말만으로 모든 단계의 평균 손실 감소를 보장하지 않아요. 이번 한 단계의 잡음 효과와 전체 학습의 장기 결과는 구별해야 해요.
참고한 수학 개념: Plus · Maths in a minute: Stochastic gradient descent.
이 글의 생활 상황과 계산 예시는 수학 이야기에서 새로 구성했습니다.