[2장] 베이시언 결정이론(2/2) - 정규분포

정규분포

현실 세계에 맞는 경우 있음

평균과 분산이라는 두 종류의 매개 변수만으로 표현 가능

수학적인 매력

 

가우시언x 가우시언 = 가우시언 (계산에 유리)

1차원 d차원 정규분포

우도

g(x)는 변수 x에 대한 2차식

복잡도가 증가하는 순서

결정 경계

class 영역 decision boundary

dimension은 dgree각도를 결정, class는 linear, non-linear를 결정

대칭행렬일 수록 분포가 동그랗게 모인다

직접 해볼 것

 

임의의 공분산 행렬

2차 함수로 표현된 경우

곡선으로 나타남

이것도 풀어보쟈

결정영역이 하나가 아닌 2개 이상의 영역으로도 나타날 수 있다.

사전 확률이 변하면 decision 경계도 바뀜

 

최소 거리 분류기

공분산 행렬을 사용, 분산을 포함해서 계산한다.

실제 거리로 봤을 때, 멀리 있어 보이는 sample을 마할라노비스 거리로 봤을 때,

같은 분포에 속하므로 해당 sample과 더 가까운 거리일 수 있다.

풀어볼 것 / 그림 2,15 이해 필요

가우시언을 사용하지 않고 사전확률을 공분산으로 구함

 

베이시언 분류의 특성

나이브 베이시언 분류기

각 dimension이 독립적인 특징을 가지고 있어서 각 sample의 dimension이 서로 독립이라는 가정

iid(independent and identically distributied)

sample 차원간에 의존성이 없다.

얻은 것: 차원의 저주를 피함

잃은 것: 성능 저하

기각

신뢰도가 충분치 않은 경우는 의사 결정 포기

그림 2.16에서 두 부류의 확률 차이가 Δ보다 작으면 기각