베이지안 네트워크

확률 분포를 그래프로 표현하기 위한 방법에 대해 알아보자. 세 개의 변수 a, b, c에 대한 결합 분포 p(a, b, c)를 고려해 보자. 확률의 곱 법칙을 사용하면 다음 형태로 적을 수 있다.

확률의 곱 법칙을 이용하여 조건부 분포로 만들었으나 아직 p(a, b)의 결합 분포가 존재한다. 한 번 더 곱의 법칙을 적용하자.

이제 다음 식을 그래프 모델로 만들어 보자. 조건부 분포를 방향성 링크로 하여 그래프에 추가하도록 하자. 예를 들어, p(b|a)의 경우 a -> b로 표현하는 것이다. 이렇게 표현한 그래프는 다음과 같다.

조건부 분포를 방향성 링크로 표현함으로써 확률 변수들의 조건부 성질들을 그래프가 표현하게 되었다. 여기서 중요한 점은 결합 분포 p(a, b, c)에서 확률 변수들은 대칭적이었으나, 곱의 법칙을 이용하여 분해한 후에는 대칭적이지 않다. 즉, 방향성이 생성되었다. 만약 우리가 다른 순서로 곱의 법칙을 적용했다면 링크의 방향이 다른 그래프가 생성되었을 것이다.

 

K개의 변수에 대한 결합 분포 p(x1, ... , xK)의 경우로 확장시켜 보자. 확률의 곱의 법칙을 반복적으로 적용하면 다음과 같은 조건부 분포들의 곱으로 나타낼 수 있다.

이 경우 임의의 변수에서 모든 변수에 연결되는 링크를 하나씩 가지게 될 것이다(나가는 방향이든 들어오는 방향이든). 이러한 그래프를 완전 연결(fully connected)되었다고 표현한다.

 

완전 연결되지 않은 그래프

반면 위의 그래프 같은 경우 완전 연결되지 않았다. (x1, x2), (x6, x7) 등의 연결이 부재하기 때문이다. 

이 그래프를 결합 분포로 나타내면 다음과 같다.

그래프 모델을 결합 분포로 나타내는 것을 조금 더 일반화 해보자. K개의 노드를 가지는 그래프의 경우 결합 분포는 다음과 같이 주어진다.

pak는 xk의 부모 노드들을 지칭한다. 이 공식은 방향성 그래프 모델에서 결합 분포의 인수분해(factorization) 성질을 표현하고 있다. 

 

방향성 그래프는 한 가지 중요한 제약을 가진다. 바로 방향성 순환(directed cycle)이 없어야 한다는 것이다. 이러한 그래프를 directed acycle graph, DAG)라고 부르기도 한다. 이는 전체 노드에 순서 부여가 가능하다는 것과 동일하다.