공부 정리 블로그

특징 벡터가 가변 길이의 스트링으로 표현되는 응용 궤적을 동서남북으로 표현, DNA 스트링의 거리 계산 방법이 필요한 이유 거리를 정의하면 k-NN이나 군집화 등에 적용 가능 거리 정의하더라도 SVM, 신경망에는 적용 불가능 Levenshtein 거리 계산은 최적화 문제이다 edit distance가 작은 방향으로 움직임 최소 비용의 변환을 찾고 동적 프로그래밍 기법을 적용 동적 프로그래밍 2차원 배열 D에 그때까지 최적 거리 기록해 나감 D[j][i] 는 x1,x2,,,,xi를 y1,y2,,,yj로 변환하는데 드는 최소 비용을 가짐 D[r][c]가 갑을 가짐 Levenshtein 거리 계산 알고리즘 초기화, 전방 계산, 역 추적의 세 단계 Levenshtein 거리 특징 교정 연산마다 비용을 다르게 ..

계량 데이터(quantitative 양적인) 비계량 데이터(qualitative 질적인) 점수, 매출액, 거리개넘 직업, 행정구역, 거리 개념 없음 distance 비례 1/ similarity metric 에 의한 데이터 계량 불가 질적 분류기 결정 트리 decision tree 스트링 인식기 distance metric 결정 트리 스무고개와 개념이 비슷, 최적 기준에 따라 자동으로 질문을 만들어야 함 고려 사항 1. 노드에서 몇 개의 가지로 나눌 것인가 2. 각 노드의 질문은 어떻게 만들 것인가 3. 언제 멈출 것인가 4. 잎 노드를 어느 부류에 할당할 것인가 결정 트리의 표현 이진 트리 또는 트리 사용 질문을 어떻게 만들 것인가 - d개의 특징이 있고 그들이 평균 n개의 값을 가진다면 dn개의 후보..

특징벡터의 내적이 들어가므로 커널 활용 가능 SVM 커널 함수의 성질 : L공간 상의 두 벡터 x와 y를 매개 변수로 갖는 커널 함수를 K(x,y) 라 함 커널 대치(커널 트릭) L->H 어떤 수식이 벡터 내적을 포함할 때, 그 내적을 커널 함수로 대치하여 계산하는 기법 실제 계산은 L공간에서 K()의 계산으로 이루어짐 고차원 공간 H에서 작업하는 효과 적용 예, Fisher LD의 커널 LD로의 확장, PCA를 커널 PCA(Principal component Analysis 차원축소 H->L) 로 확장 Linear discriminant SVM에 적용 가능 실제 계산은 L에서 이루어지지만 분류는 선형 분류에 유리한 H에서 수행 추가적인 noise가 생기지 않아 차원의 저주를 피할 수 있다 어느정도 일리..

선형 SVM 라그랑제 multipier 도입 선분과 sample 사이에 속하는 margin 각각의 class에 있는 sample들과 만나게 되는 처음 sample => support vector 여백을 가장 크게하는 w를 찾아라 => 최적화 문제 *해의 유일성 아래로 볼록이므로 해는 유일 구한 해는 전역 최적 점 보장 *문제의 난이도 N개의 선형 부등식을 조건으로 가진 2차 함수의 최적화 문제 조건부 최적화 문제는 라그랑제 승수로 푼다(lagrange multiplier) ㅈWolfe 듀얼로 최댓값을 구하는 문제로 변환 => (x1+x2)**2 = x1x1 + x1x2 + x2x1 + x2x2 => (a1t1x1 .... antnxn) 1. 최대화 문제로 바뀜 (2차 함수) 2. w와 b 사라짐(라그랑제..

인식 사람에겐 쉽지만 기계에겐 어려움 컴퓨터라는 기계도 인식을 할 수 있게 만드는 것이 우리의 목표 왜 패턴인식인가? 뇌가 패턴을 어떻게 처리하는가를 이해하는 것이 필요 사람의 뇌 작동과 유사한 방식 -> 성능 낮음 -> 관심 식음 -> 다시 붐업 -> 좌절 -> 붐업~ 물체의 중요한 특징을 어떻게 추출한 것인가 -> 분류/인식 패턴인식은 대부분 신경망을 이용하지만 최근에는 딥러닝으로 분류, 특징 추출을 자동화하고 있다 공학적 접근 영상 - 우편물 분류기, 필기 입력기, 동작인식 핸드폰(모션인식), 지문인식 마우스, 과속 단속기(땅에 매설된 센서 이용), 청소로봇 음성 텍스트 - 음성 인식기 패턴은 무질서의 반대이다. 무질서 하지 않은 모든 데이터 형태(홍채, 발바닥, 바코드 등) 흑백이 주로 나오는 이..

정규분포 현실 세계에 맞는 경우 있음 평균과 분산이라는 두 종류의 매개 변수만으로 표현 가능 수학적인 매력 가우시언x 가우시언 = 가우시언 (계산에 유리) 우도 g(x)는 변수 x에 대한 2차식 결정 경계 dimension은 dgree각도를 결정, class는 linear, non-linear를 결정 대칭행렬일 수록 분포가 동그랗게 모인다 임의의 공분산 행렬 결정영역이 하나가 아닌 2개 이상의 영역으로도 나타날 수 있다. 사전 확률이 변하면 decision 경계도 바뀜 최소 거리 분류기 실제 거리로 봤을 때, 멀리 있어 보이는 sample을 마할라노비스 거리로 봤을 때, 같은 분포에 속하므로 해당 sample과 더 가까운 거리일 수 있다. 가우시언을 사용하지 않고 사전확률을 공분산으로 구함 베이시언 분류..

보편적인 인식 법칙 가장 그럴듯한 부류(category) 부류로 분류 error가 적은 방향으로 분류하는 것이 중요 사후확률의 추정 p(wi|x)가 주어졌을 때, 그것이 부류 wi에서 발생했을 확률 '6'이 분류가 잘 되지 않는 이유, 혼제되어 나타나는 이유 1. feature를 잘못 넣음 2. 잘못된 분류기 모델에 넣음 확률 밀도 함수의 조건 1. 모든 x에 대해서 양수 2. sum = 1 feature vector d - dimension(random 변수) / n - sample / c - class 확률기초 사전확률 P(A) : 상자 A 가 선택될 확률 우도 P(하양|B): 상자 B에서 하얀공이 나올 확률 가능성을 큰 쪽을 구하고 error를 줄어기 위해서는 사전 확률과 우도를 모두 고려하는 것이..

베이시언 분류에서의 학습은 사전 확률과 우도의 추정 사전 확률의 추정 N이 클수록 실제 값에 근접 우도의 추정 히스토그램 차원의 저주 방지 N(sample 개수)은 충분히 크고, d(dimension)는 작아야 함 최대우도 G(μ, Σ)분포 Θ1 = (μ1, Σ1) > Θ2=(μ2, Σ2) 최대우도 ML 방법 MAP 방법 (Maximum A Posteriori) p(Θ)가 균일하지 않은 경우, Θ값이 가질 수 있는 값의 사전확률을 고려한다.