시계열 데이터1 - Markov chain
지진파, 음성, 주식 거래량, 온라인 필기 문자 등
순차 데이터 또는 문맥 의존 데이터라 부름
HMM
패턴 인식, 컴비, 데이터 마이닝 등에 쓰임
시간성이 없는 데이터 : 특징들의 선후 관계 무의미
시간성이 있는 데이터(순차 데이터) : 특징들의 선후 관계가 매우 중요
순차 데이터의 특징
가변 길이, 관측 벡터로 표현
O=(o1, o2,,,,,ot)
관측 oi가 가질 수 있는 값의 집합 알파벳이라 함
V={v1, v2,,,vm}
마코프 모델(Markov model)
시간 t에서의 관측은 가장 최근 r개 관측에만 의존한다는 가정 하의 확률 추론
1차 마코프 체인을 사용하면
P(ot=비 | ot-1=비, ot-2=비, ot-3=해) = P( ot=비 | ot-1=비)
주로 1차 마코프 체인 사용
2차 이상에서는 추정할 매개 변수가 많아 현실적인 문제 발생
알파벳을 구성하는 기호 각각을 상태로 간주
예1)
상태전이 행렬state transtion probability matix
예2)
지금까지 1차 마르코프 체인 모델
꼭 이해하고 기억!
마코프 모델에서는 상태를 나타내는 노드에 관측(비, 해, 구름) 그 자체가 들어 있어서 상태를 볼 수 있다.
HMM에서는 상태를 볼 수 없다. 즉, 상태가 은닉된다.
은닉 마코프 모델로의 발전
마코프 모델은 한계를 가짐, 보다 복잡한 현상이나 과정에 대한 모델링 능력의 한계
모델의 용량을 키우기 위해 상태를 감춤
어떤 비겨에 의해 이런 뛰어난 능력이 가능한가 => 상태를 감춘다
상태를 감추면,
마코프 모델이 은닉 마코프 모델이 됨
우리가 관찰할 수 있는 것은 공의 색깔 뿐, 실험이 커튼 뒤에서 이루어지고 실험하는 사람이 단지 공의 색깔만 불러 준다고 생각하면 됨.
우리가 가진 것은 O뿐이다.
O= (빨강, 하양, 하양, 파랑)이 관측되었따면?
발생확률? 어느 상태에서 관측되었을까?
예2) 여자 친구의 삶
*모델을 알 때 확률 추론
그녀의 삶 예에서는 날씨와 그녀의 행위에 대한 확률 분포 알고 있음
*또 다른 측면
어느 것이 상태인가? 상태는 몇 가지인가?(아케텍쳐 설계)
확률분포는 어떻게 구하나?(학습)
예)온라인 필기 인식
- 무엇이 상태이고 상태를 몇 가지로 할까?
- 가진 것은 오로지 훈련 집합