[3장]확률 분포 추정(1/2) - 모수적 방법

베이시언 분류에서의 학습은 사전 확률과 우도의 추정

 

 

사전 확률의 추정

N은 X의 크기, Ni는 Wi에 속하는 샘플 수

N이 클수록 실제 값에 근접

우도의 추정

 

히스토그램

총 s**d개의 빈이 발생 (각 차원을 s 개 구간으로 나눈다 했을 때)

차원의 저주 방지

N(sample 개수)은 충분히 크고, d(dimension)는 작아야 함

최대우도

주어진 x를 발생시켰을 가능성이 가장 높은 매개변수 Θ를 찾는 문제

G(μ, Σ)분포

Θ1 = (μ1, Σ1) > Θ2=(μ2, Σ2)

 

최대우도 ML 방법

sample mean

 

MAP 방법 (Maximum A Posteriori)

p(Θ)가 균일하지 않은 경우, Θ값이 가질 수 있는 값의 사전확률을 고려한다.