ML Note

노드들이 이산 변수인 경우에 대해 살펴보자. K개의 상태를 가질 수 있는 단일 이산 변수 x(원-핫 인코딩)의 확률 분포 p(x|µ)를 다음과 같이 표현할 수 있다. 그리고 이 확률 분포는 매개변수 µ = (µ1, ... , µK)T에 의해 조절된다. 또한 µ 의 모든 원소를 합하면 1이므로 K-1개의 µk값만 설정하면 된다. 이번에는 변수를 한 개 더 늘려보자. K개의 상태를 가지는 두 개의 이산 변수 x1, x2를 고려해 보자. 그리고 이들의 결합 분포를 모델링한다고 하자. x1k = 1과 x2l = 1를 둘 다 관측할 확률을 µkl이라고 하자. 여기서 x1k는 x1의 k번째 성분, x2l은 x2의 l번째 성분을 의미한다. µkl이 제약 조건 으로 다음을 가진다. 따라서 이 분포는 K^2-1개의 매개..

베이지안 네트워크를 이해하기 위해 베이지안 다항 회귀 예시를 생각해 보자. 여기서 확률 변수는 다항 계수의 벡터 w와 t = (t1, ... , tN)T 이다. t, w의 결합 분포는 확률의 곱의 법칙에 의해 다음과 같이 표현된다. 이 결합 분포를 다음과 같은 그래프 모델로 표현할 수 있다. 그래프의 노드가 '.......' 으로 연결된 것을 볼 수 있다. 이는 타깃 집합 벡터 t를 개개의 데이터 tn으로 표현하고자 할 때 노드를 생략하기 위해 위와 같이 표현한다. 그러나 위와 같이 표현하는 것도 간결하지 못하다. 따라서 이제는 대표 노드 tn을 그리고 판으로 둘러쌈으로써 표현할 것이다. 위의 결합 확률 모델은 많은 매개 변수들이 생략되어 있다. t, w로만 확률 분포를 표현하였는데 사실 이 결합 확률에..

확률 분포를 그래프로 표현하기 위한 방법에 대해 알아보자. 세 개의 변수 a, b, c에 대한 결합 분포 p(a, b, c)를 고려해 보자. 확률의 곱 법칙을 사용하면 다음 형태로 적을 수 있다. 확률의 곱 법칙을 이용하여 조건부 분포로 만들었으나 아직 p(a, b)의 결합 분포가 존재한다. 한 번 더 곱의 법칙을 적용하자. 이제 다음 식을 그래프 모델로 만들어 보자. 조건부 분포를 방향성 링크로 하여 그래프에 추가하도록 하자. 예를 들어, p(b|a)의 경우 a -> b로 표현하는 것이다. 이렇게 표현한 그래프는 다음과 같다. 조건부 분포를 방향성 링크로 표현함으로써 확률 변수들의 조건부 성질들을 그래프가 표현하게 되었다. 여기서 중요한 점은 결합 분포 p(a, b, c)에서 확률 변수들은 대칭적이었으..

확률적 그래프 모델이란 확률 모델을 도식적으로 표현한 것이다. 이를 이용하면 다양한 장점이 존재한다. 확률 모델의 구조를 시각화하며, 새로운 모델 설계에 이용 조건부 독립 성질과 같은 모델에 대한 통찰을 얻을 수 있음 복잡한 계산들을 그래프 조작의 형태로 표현할 수 있다. 그래프 모델은 크게 두 가지로 나뉜다. 방향성 그래프 모델(directed graphical model) 비방향성 그래프 모델(undirected graphical model) 방향성 그래프 모델은 베이지안 네트워크(Bayesian network)라고도 부르며, 링크들이 방향성을 가지는 그래프 모델이다. 비방향성 그래프 모델은 마르코프 무작위장(Markov random field)이라고도 부르며, 링크가 방향성을 가지지 않는다. 앞으로..