Statistical LMS Theory (1)

• LMS filter

▫ A linear adaptive filter

w는 뒤에 값에 의존하는 값임

실제로 뜯어봤을 때는 non-linear로 해석

 

손실을 작게 하기 위해서

 

이걸 어느정도 누적을 시켜도 에러가 없을 거다?

양변이 만족되는 것을 epsilon 0로 둔다

 

위의 식의 간단한 것을

이것으로 나타내고

 

추가적은 보정을 진행

 

 

ㅇ위의 식 두개의 차이를 R과 허미션을 아래와 같이 표현

연쇄적인 점화식을 만들어가는 형태

A study of the transmission of a stationary stochastic process through a low-pass filter with an extremely low cutoff frequency as approaches zero.

 

dampling force=> 억제하는 힘 /

화이트 노이즈로 움직임이 있지만 억제하는 힘 => 브라운 운동(공기중 먼지가 움직이는 괘적을 표현, 물위의 파티클의 움직임을 표현)

 

이 자체는 해석이 어렵지만 expectation 으로 하면 해석이 쉬움

 

Learning Curves (1)

 

 

입력에 의해 베리에이션이 매우 느리다

출력에서 에러를 줄이는 게 중요한데,

w가 실제로 Wo와의 차이가 얼마나 되느냐가 중요함

이제부턴 그걸 보겠음

 

Transient Behavior and Convergence Considerations

 

The ensemble-average learning curve of an LMS filter decays exponentially to the constant value

만약 뮤가 그렇게 작지 않을 때의 stability는?

=> granty할 수 있는 것은 없음

이렇게 추측해볼 수 있음

더 센 필요조건을 걸어줘야 함

=> trial error로 찾을 수 밖에 없음

 

lms는 수학적으로 해석이 불가능한데, 굳이 수학적으로 해석하고자하니, 뮤를 0으로 보내는 극한에서만 가능

하지만 현실적으로 적용하기엔, 수렴이 매우 느리다는 문제가 있음 => 우리가 원하는 방향이 아님

뮤를 크게 할 수 밖에 없는데, 수렴한다는 보장은 없음 

 

그러므로, 각각의 문제에 따라 trial error로 적절한 뮤를 설정해야함

현재상황에 맞춰서 키우거나 줄여보는 시도로

값을 빠르게 수렴할 수 있는 뮤를 찾아가야함

 

Misadjustment

성능ㅇ을 비교하기 위해서는 normalize를 시켜줘야함

그 값은 J_min을 기준으로 normalize 시켜주자

처음에는 error가 클 수 밖에 없음

 

성능을 평가하는 척도를 Misadjustment로 평가해보자

 

Average Time Constant (1)

뮤가 크면 충분히 수렴한 다음 Wo로부터의 진폭이 상당히 크게 나타남 => MSE크게 나타남

따라서 Misadjustment와 뮤가 비례

time constant는 뮤에 반비례하는 것이 당연

 

따라서, 뮤를 적절하게 잘 선택해야 한다

 

Comparison of the LMS Algorithm with the Steepest-Descent Algorithm (1)

일단 steepest-descent algorithm gradient를 정확하게 메저먼트함

반면, LMS는 에러가 있을 수 밖에 없는 구조

지점을 기준으로 왔다갔다 하므로 J_min에서 J_ex에러가 발생함

 

 

lComparison of the LMS Algorithm with the Steepest-Descent Algorithm (2)

• Learning curve

steepest-descent algorithm

수식적으로 깔끔하게 정리할 수 있음

 

반면에 LMS 는 복잡하게 써짐

뮤가 충분히 작다는 가정하에서 대략적으로 구해짐

Consist of noisy, decaying exponentials 텀들로 이루어져 있음

 

Comparison of the LMS Algorithm with the Steepest-Descent Algorithm (3)

Ensemble-averaging operations for determining their learning curves

결정함에 있을 땨,

R, P를 먼저 계산 -> determistic하게 러닝 커브가 만들어짐

 

 

LMS 

반대

RP를 입력 데이터의 순서에 따라 스토캐스택하게 바뀌므로 noisy함

입력에 따라 매우 다양하게 나타남

ensemble-averaging learning curve.를 만들 수 있음

not reflected by the zero-order solution => 뮤가 0이므로,

higher order corrections에만 적용됨

 

zero-order solution으로 ensemble-averaging learning curve.가 만들어짐