출구를 찾는 로봇에게 보상을 주면, 가장 큰 점수가 붙은 길을 선택하면 될까요? 가상 게임에서는 선택 A가 지금 4점을 주고 끝나며, 선택 B는 두 단계 뒤 6점을 주고 끝나요. 중간 보상과 위험, 다른 이동 비용은 없어요. 규칙은 단계 뒤 보상을 지금 평가할 때 를 곱하는 것이며, 할인 인자 는 0보다 크고 1 이하예요. 이것은 게임의 평가 규칙이지 실제 돈이나 시간에 대한 가치 판단이 아니에요.
일 때 A의 현재 평가값은 4입니다. B의 현재 평가값은 두 단계의 비율을 각각 곱해야 해요.
따라서 지금 정한 평가 규칙에서는 A가 더 커요. B가 실제로 지급하는 점수는 여전히 6점이에요. 점수가 줄어 지급되는 것이 아니라, 기다리는 행동을 평가하는 기준값이 달라진 거예요. 한 단계만 할인해 로 비교하면 시점을 잘못 센 계산이에요.
어떤 할인 인자에서 두 선택이 같아지는지도 구할 수 있어요.
경계는 약 0.8165입니다. 이보다 큰 인자에서는 B, 작은 인자에서는 A의 평가값이 더 커요. 경계에서는 동률이고, 인자를 1로 놓으면 기다림을 할인하지 않아 B가 6점으로 더 커요.
학습하는 로봇이 무엇을 유리한 행동으로 보는지는 보상의 크기뿐 아니라 보상을 받는 시각과 평가 규칙에도 달려 있어요. 세 조건을 함께 적어야 ‘큰 보상을 선택한다’는 설명을 계산으로 확인할 수 있어요.
참고한 수학 개념: IMAGINARY · Reinforcement Learning.
이 글의 생활 상황과 계산 예시는 수학 이야기에서 새로 구성했습니다.