출력이 같은 인공지능, 가중치도 똑같을까요?

가상 신경망 두 개가 모든 입력에서 같은 출력을 낸다면, 안쪽 가중치도 같을까요? 이 활동에서 입력 $x$는 단위 없는 실수이고, 숨은 뉴런은 음수 값을 0으로 바꾸는 함수 $R(u)=\max(0,u)$를 사용해요. 첫 모형의 숨은 값은 $R(3x-1)$, 최종 출력은 $y=2R(3x-1)+5$입니다. 숫자는 이해를 위한 가상 설정이며 특정 전시의 학습 결과를 옮긴 것이 아니에요.

숨은 뉴런 안의 식을 두 배로 키우면 $R(6x-2)$가 돼요. 두 배는 양수이므로 음수와 양수의 구분이 유지되어 다음 관계가 모든 실수 입력에서 맞아요.

이를 이용해 새 모형의 출력 가중치를 1로 줄이면 돼요.

입력이 0이면 두 출력은 모두 5이고, 1이면 모두 9입니다. 하지만 같은 답이 나오는 이유는 이 두 입력의 검사를 통과했기 때문이 아니라, 양의 배율에 대한 위 등식이 모든 입력에서 성립하기 때문이에요. 입력 가중치는 3에서 6으로, 숨은 바이어스는 −1에서 −2로, 출력 가중치는 2에서 1로 바뀌었어요.

일반적으로 양수 $c$배로 숨은 식을 키우고 다음 가중치를 $1/c$배 하면 이 모형의 전체 출력은 그대로예요. 음수 배율은 양수와 음수를 뒤집으므로 같은 설명을 적용할 수 없어요.

따라서 출력이 정확하다는 조건만으로 내부 가중치가 유일하다고 결론 내릴 수 없어요. 보이지 않는 중간 값의 크기를 어떻게 정규화할지 같은 추가 조건이 필요해요. 신경망의 구성요소를 조절할 때 전체 행동과 각 가중치의 의미를 구별해 읽을 수 있는 사례예요.

참고한 수학 개념: IMAGINARY · Simple Networks.

이 글의 생활 상황과 계산 예시는 수학 이야기에서 새로 구성했습니다.