사진 밝기의 가상 조절값 x를 목표값 3에 맞춘다고 해 볼까요? x는 단위 없는 실수이고, 목표와의 차이를 제곱한 E(x)=(x−3)²를 오차 점수로 삼습니다. 실제 카메라의 자동 노출 성능을 설명하는 측정 자료는 아니에요.
오차 그래프의 기울기는 E′(x)=2(x−3)입니다. 경사 하강은 양수 α를 정해 기울기의 반대 방향으로 x를 바꿔요. 갱신된 값을 x′라고 쓰면 다음 식을 사용해요.
처음 x=7이면 오차는 16입니다. α=1/4에서는 x′=5, 새 오차 4가 되어 줄어들어요. 그러나 α=3/2에서는 x′=−5, 새 오차 64가 돼요. 두 경우 모두 처음의 양의 기울기와 반대로 이동했지만, 큰 보폭은 목표를 지나쳐 더 멀어졌습니다.
목표와의 차이를 e=x−3이라고 하면 e′=(1−2α)e입니다. 차이의 크기가 매번 줄어들 조건은 |1−2α|<1, 즉 0<α<1입니다. α=1에서는 차이의 부호만 뒤집혀 오차가 그대로예요. 이 조건은 이번 이차식에 대한 답이며 모든 학습 문제에 같은 수치를 적용하는 규칙은 아니에요. 내려가는 방향과 한 번에 얼마를 움직이는지를 함께 정해야 해요.
참고한 수학 개념: Plus · Maths in a minute: Gradient descent algorithms.
이 글의 생활 상황과 계산 예시는 수학 이야기에서 새로 구성했습니다.