[2장] 베이시언 결정이론(1/2) - 확률기초 ~ 분별 함수

보편적인 인식 법칙

가장 그럴듯한 부류(category) 부류로 분류

error가 적은 방향으로 분류하는 것이 중요

사후확률의 추정

p(wi|x)가 주어졌을 때, 그것이 부류 wi에서 발생했을 확률

'6'이 분류가 잘 되지 않는 이유, 혼제되어 나타나는 이유

1. feature를 잘못 넣음

2. 잘못된 분류기 모델에 넣음

확률 밀도 함수의 조건

1. 모든 x에 대해서 양수

2. sum = 1

 

feature vector

d - dimension(random 변수) / n - sample / c - class

 

확률기초

사전확률 P(A) : 상자 A 가 선택될 확률

우도 P(하양|B): 상자 B에서 하얀공이 나올 확률

가능성을 큰 쪽을 구하고 error를 줄어기 위해서는 사전 확률과 우도를 모두 고려하는 것이 타당하다.

사후확률 P(A|하양)

 

베이스 정리(Bayes Rule)

P(X, Y) = P(Y, X)

P(Y)P(X|Y) = P(X)P(Y|X)

 

prior나 likehood만 가지고도 결정할 수 있지만, posterior를 고려하는 것이 최선

posterior 에서 w1 + w2는 항상 1이다. w1, w2가 가지는 공동의 아랫 영역은 오류 영역이다.

 

평균과 분산

가우시언 함수에서 평균과 분산을 활용함

parameter 개수는 (d**2-d)/2 + d = (d**2)+d / 2

 

간단한 계산 문제 풀어볼 것

계산법1 공분열 이용 / 계산법 2 매트리스 곱셈(좀 더 빠름)

이산인 경우 - 차원의 저주, 변수의 수가 d이고 각 변수가 q개의 구간을 가진다면 q d 에 비례하는 메모리 필요

연속인 경우 - 일정한 형태를 갖는 상황

nomral distribution (μ, σ**2) / Gaussian distribution(μ, Σ)

 

최소 오류 베이시언 분류기

분모는 공통 분모이기도 하고 계산할 수 없기 때문에 무시할 수 있다.

 

사전 확률 계산

P(ω1 )=n1 /N, P(ω2 )=n2 /N

N이 충분히 크지 않으면 왜곡 될 수 있지만 충분히 큰 값을 가지면 실제 값에 가까워진다.

 

우도 계산

P(x|ωi) 추정(parametric density function (μ, σ**2))

class-conditional probability 부류 조건부 확률

 

특수한 경우

사전 확률이 0.5인 경우 우도(likelyhood)만으로 분류 (eaual prior)

 

파란 면적의 합이 우리가 얻는 전체 eroor

원래 전체 1의 면적인 것(pdf)이 2개가 합쳐진 것이므로 최대 2의 값을 가지지만,

나누기 2를 해줌으로 1이하의 값을 갖도록 설정해준다.

임계값 t보다 크면 R2영역이므로, w2 / 작으면 R1영역이므로 w1

임계값 t지점이 오류를 최소화할 수 있는 적정값이다. t를 좌우로 옮길 수록 error가 늘어나게 된다.

오류가 달라지면 weight도 달라지게 된다.

 

최소 오류 베이지언 분류방법에서 w1이 w2로 되는 경우와 w2가 w2로 분류되는 상대적 손실이 달라질 수 있음

-> 그래서 risk 함수를 계산하는 최소위험 베이지언 분류기 등장 !

최소 위험 베이시언 분류기

오류 확률을 포함한 분류 확률

성능기준으로 오류가 적절하지 못한 상황

- 정상인과 암 환자 분류 

- 과일을 상품과 하품으로 분류

상대적인 손실 (risk)를 고려하는 것이 필요하다.

q1은 w2에 대한 사후확률, 1번으로 분류시 risk(2번일때, 1번으로 분류) / q2는 w1의 사후확률, 2번으로 분류시 risk(1번일 때, 2번으로 분류)

오류 ∝ 1/확률

확률 ∝ 1/ 위험 

오류 ∝  위험

우도비 결정규칙 유도

 

risk가 작은 쪽으로 판단, 사후확률이 큰 쪽으로 판단

decision dgree의 변화에 따라 decision region의 크기가 달라진다.

임계값이 작아지면 w1, 커지면 w2

분별함수

분별함수의 값이 항상 최대가 되게 분류

Neural network와 유사한 형태를 가진다.

분별 함수 표현의 장점

- 여러 분류기를 하나의 틀로 표현

- f(.)가 단조 증가라면 p(x|ωi) P(ωi)대신 gi(x)=f(p(x|ωi) P(ωi)) 사용하여도 같은 결과(손실값 자체가 아니라 그들 사이의 상대적인 크기를 비교하기 때문에) 

- f(.)로 log 함수를 주로 사용 

- log는 곱셈을 덧셈으로 바꾸어 주므로 수식 전개에 유리하고 log 취하면 값의 규모가 커져 수치 오류에 둔감한 이점