특징추출2- 주성분 분석

주성분 분석 principle component analysis (PCA)

훈련 집합을 이용하여 매개 변수를 추정하고 그것을 이용하여 특징 추철

정보의 손실을 최소화하는 조건에서 차원 축소

Karhunen-Loeve(KL) 변환, Hoteling 변환이라 부름

 

주성분 분석의 동기

U는' 정보 손실을 최소화하며' 신호 s를 보다 낮은 차원의 특징 벡터 x로 변환(d<D)

변환 행렬 U는 d*D행렬(신호 s D차원, 특징 벡터 x는 d차원)

두가지 문제

차원 축소를 어떻게 표현하고 정보 손실을 어떻게 수량화?

 

차원 축소의 표현

D차원단위 벡터 u축으로의 투영

분산 1.0 /&nbsp; 분산 1.0938

 

원래 훈련 집합이 가진 정보는?

샘플들 간의 거리, 상대적인 위치

 

샘플들의 분산이 최대가 되는 축

최적의 축을 찾기 위해 투영된 점의 평균과 분산

 

=>분산을 최대화하는 u를 찾는 과정

 

eigen equation

 

훈련 집합의 공분산 행렬을 구하고, 그것의 고유 벡터를 구하면 그것이 바로 최대 분산을 갖는 u가 됨

 

u = (u1, u2,,,,, ud)

upper D -> lower d

 

x = u**t s

x = Us (dx1) = (dxD)(Dx1)

 

 

고유 얼굴

얼굴 데이터는 평균이 존재하는 데이터 => PCA