교육용 측정값 X의 밀도는 0<x<1에서 2x, 그 밖에서 0입니다. 하나의 경계 0<t<1을 정해 X<t면 0, X≥t면 1이라는 한 비트만 저장해요. 복원할 때 0은 a, 1은 b라는 실수로 바꿔요. 평균 제곱오차를 가장 작게 하는 t, a, b를 구해 볼까요? 경계를 0.5 또는 두 구간의 확률이 같은 1/√2에 두어도 최적인가? 관측 노이즈/헤더 비용은 없는 자체 모형이에요.
t를 고정하고 각 제곱을 전개하면 a, b의 유일 최소는 각 구간의 조건부 평균이에요. 아래쪽 확률은 t²라 a=(∫₀ᵗ2x²dx)/t²=2t/3이고, 위쪽은 b=2(1−t³)/[3(1−t²)]입니다. 이를 대입한 최소 오차는 D(t)=1/2−(4/9)[−t²+2t−1+2/(1+t)]로 정리돼요. 미분하면 D′(t)=8t(t²+t−1)/[9(1+t)²]입니다. 0<t<1에서 분모/8t는 양수이고 t²+t−1은 증가하므로 한 번만 부호가 바뀌어요.
도함수는 t* 앞에서 음수, 뒤에서 양수라 전체 구간의 유일 최소예요. 최적 경계는 약 0.618이고 아래쪽 확률은 t²=1−t로 약 0.382라 확률을 절반씩 나누지도 않아요. t=1/2에서 최적 복원값 1/3, 7/9를 써도 오차 1/54가 남으며 최소 약 0.01548보다 커요. a=1/4, b=3/4라는 두 구간 중점을 쓰면 오차는 더 큰 1/48입니다. 한 비트를 저장한다는 같은 비용 조건에서도 밀도에 맞는 경계와 복원값을 함께 골라야 해요.
강의는 손실 압축에서 주어진 비트의 조건부 평균으로 값을 복원하고 제곱오차를 정의해요. 원문은 대칭 정규분포 예를 쓰지만 현재는 별도 밀도 2x에서 경계까지 함께 설계해요. 실험한 센서/실제 압축기 성능 수치가 아니며 엔트로피나 통신용량 정리를 이 계산의 답으로 사용하지 않아요.
저장할 두 기호가 같은 빈도로 쓰이는 설계와 제곱오차가 작은 설계를 구별해 봐요. 먼저 경계를 고정해 복원값을 정하고 그 최소 오차의 함수에서 경계를 최적화해요. 도함수가 0이라는 식뿐 아니라 허용 구간에서의 부호 변화까지 답에 남겨 봐요.
착안 원문: Stanford EE376A, Lecture2: Binary Sources, Lossy Compression and Channel Capacity (11 January2018). 밀도 2x와 한 비트 경계·복원값을 자체 모형으로 정하고 최소 제곱오차를 계산했으며, 원문의 분포 예나 실제 센서 측정값을 옮긴 것이 아니에요.