선형 가우시안 모델

베이지안 네트워크 - 이산 변수 (tistory.com)

베이지안 네트워크 - 이산 변수

위의 장에서 이산 변수의 베이지안 네트워크에 대해 살펴보았다. 이번 장에서는 다변량 가우시안을 방향성 그래프로 표현하는 것에 대해 살표볼 것이다. 이는 성분 변수들에 대한 선형 가우시안 모델에 해당한다.

 

D개의 변수들에 대한 임의의 방향성 비순환 그래프(DAG)를 고려해 보자. 이때 그래프의 노드 i는 가우시안 분포를 가지는 하나의 연속 확률 변수 xi를 지칭한다. 이 분포의 평균은 해당 노드의 부모 노드들의 상태 pai의 선형 결합으로 이루어진다.

식으로 나타내면 다음과 같다.

위의 식을 보면 평균이 부모 노드들에 의해 결정되는 것을 알 수 있다. 또한 우리가 관심을 가지는 확률변수 p(x) (여기서 x=(x1, ... ,xD)T이다)는 모든 p(xi|pai)들의 곱으로 나타난다. 따라서 p(x)에 로그를 취하면 곱이 아닌 덧셈으로 나타낼 수 있다.

위의 식이 x의 성분들에 대해 제곱식이라는 것을 알 수 있다. 따라서 결합 분포 p(x)는 다변량 가우시안이다.

 

결합 분포의 평균과 공분산을 구해보자. 각각의 변수 xi는 가우시안 분포를 가진다. 따라서 xi는 다음과 같다.

여기서 ei는 0 평균값과 단위 분산값을 가지는 가우시안 확률 변수로써 크게 신경쓰지 않아도 된다.

 

기댓값은 다음과 같이 나타난다.

따라서 가장 낮은 순번의 노드부터 재귀적으로 그래프를 따라가며 E[x] = (E[x1], ... ,E[xD])T의 성분들을 찾을 수 있다.

 

다음으로 공분산을 구해보자.

따라서 공분산도 가장 낮은 순번 노드부터 시작해서 재귀적으로 구할 수 있다.

 

독립적인/완전 연결된 가우시안

 

이제 이산 변수에서 링크가 하나도 없는 그래프와 완전 연결된 그래프를 고려했던 것처럼, 여기서도 극단적인 두 케이스를 고려해 보자.

 

첫 번째로 링크가 하나도 없는 경우를 고려하자. 즉, 그래프가 D개의 고립된 노드로 구성되어 있는 것이다. 이 경우 매개변수 wij가 존재하지 않으며, D개의 bi와 D개의 vi만 존재한다. 따라서 위의 평균과 공분산을 구하는 식에서 p(x)의 평균은 (b1, ... , bD)T로 주어지며, 공분산 행렬은 대각 행렬로써 diag(v1, ... , vD)의 형태를 가지는 것을 알 수 있다.

 

이제 반대의 케이스인 완전 연결된 그래프를 고려하자. 이 경우 각각의 노드들이 그보다 낮은 순번의 노드를 전부 부모로 가진다. 이때 행렬 wij는 i번째 행에 i-1개의 원소들을 가지게 되며, 하삼각 행렬이 된다(대각선 부분에는 원소가 없다). 따라서 {wij}행렬의 매개변수 숫자는 D(D-1)/2가 되며, {vi}의 매개변수 숫자를 합하면 D(D+1)/2가 된다.

 

마지막으로 중간 정도의 복잡도를 가지는 그래프를 생각해보자.

중간 정도의 복잡도를 가진 선형 가우시안

이산변수에서 보았던 것처럼 사슬 형태의 그래프이다. 위에서 살펴본 평균과 공분산을 구하는 재귀식을 이용하면 다음과 같이 구할 수 있다.

 

다변량 가우시안으로 확장

 

각 노드들이 일변량 가우시안을 가지는 선형 가우시안 모델이었다. 이제 각 노드들이 다변량 가우시안을 표현하도록 확장해보자. 이는 다음과 같다.

여기서 Wij는 행렬이다.