비선형 SVM

특징벡터의 내적이 들어가므로 커널 활용 가능

 

2차원 데이터를 3차원으로 매핑 가능 / high dimensional mapping

SVM 커널 함수의 성질 : L공간 상의 두 벡터 x와 y를 매개 변수로 갖는 커널 함수를 K(x,y) 라 함

mapping function

h space에서 계산 x / L space에서 내적 => 결과 동일

커널 대치(커널 트릭) L->H

어떤 수식이 벡터 내적을 포함할 때, 그 내적을 커널 함수로 대치하여 계산하는 기법

실제 계산은 L공간에서 K()의 계산으로 이루어짐

고차원 공간 H에서 작업하는 효과

적용 예, Fisher LD의 커널 LD로의 확장, PCA를 커널 PCA(Principal component Analysis 차원축소 H->L) 로 확장

Linear discriminant 

 

 

SVM에 적용 가능

실제 계산은 L에서 이루어지지만 분류는 선형 분류에 유리한 H에서 수행

추가적인 noise가 생기지 않아 차원의 저주를 피할 수 있다 어느정도 일리는 있음

고차원으로 가서 선형적으로 풀 수 없는 문제를 풀게 함 하지만 noise가 발생하지는 않음

분류기의 성능을 높인 결과

 

 

SVM 학습은

w,b 를 구하는 과정으로 라그랑제 승수 (alpha)를 구하는 과정

비선형 SVM 에서는 아래 식을 풀어 라그랑제 승수를 구함

linear SVM - analystic solution

비선형 SVM - training

 

xk - support vector

 

M 부류 SVM

(d1 ,,,,,dn) 분별 함수를 만들어서 max가 되는 

1:1

1: M-1 / 1:1 분류기

SVM	Deep learning
classifier	feature extraction classifier