조건부 독립(conditional independence)

여기서는 확률 분포에서 중요한 개념인 조건부 독립(conditional independence)에 대해 알아본다.

 

세 개의 변수 a, b, c를 고려해 보자. 다음과 같은 식이 있다.

변수 a가 b, c가 주어진 상황과 c만 주어진 상황에서 같은 값을 가진다. 이는 다시 말해, c가 주어진 상황에서 b가 주어져도, 안주어져도 같은 값을 가진다는 것 즉, 독립적이라는 것이다. 이런 경우 a는 c가 주어진 상황하에 b로부터 조건부 독립적이라고 한다. 이를 다른식으로도 표현할 수 있다.

위의 식에서 조건부 c를 제외하고 생각하면 p(a,b) = p(a)p(b)이다. 이는 독립의 대표적 성질이다. 조건부 독립은 여기에 조건부 c를 붙여 위와 같이 표현하게 된다. 때로 조건부 독립을 다음과 같이 간단히 기호로 표현하기도 한다.

이는 c가 주어졌을 때 a가 b에 대해 조건부 독립임을 의미한다.위의 식과도 동일한 의미이다.

 

꼬리 대 꼬리 노드

 

방향성 그래프에서 조건부 독립 성질에 대한 논의를 위해 세 가지 예시 그래프를 고려해 보자. 세 그래프는 각각 3개의 노드를 가지고 있다.

첫 번째 예시이다. 방향성 그래프를 결합 분포로 나타내는 것은 이전 글들에서 알아보았다. 따라서 다음과 같이 적을 수 있다.

a와 b가 독립적인지 확인하기 위해 양변을 c에 대해 적분하여 확인할 수 있다.

우변을 어떻게 하여도 p(a)p(b)와 같이 나타낼 수 없다. 따라서 a와 b는 독립적이지 않다.

이제 변수 c가 주어져 이에 의해 조건부인 경우를 고려해 보자. 이 경우 변수 c가 주어지지 않았을 때 p(a, b, c)였던 것이 p(a, b|c)로 바뀌게 된다. 

꼬리 대 꼬리 노드

이는 방향성 그래프의 표기법에 따라 위와 같이 표현되게 된다. 이 경우 다음과 같이 식을 유도할 수 있다.

위의 식과 같이 조건부 독립 성질을 만족하게 된다. 따라서 다음과 같이 표현된다.

위와 같은 노드에 대해 꼬리 대 꼬리(tail to tail)노드라고 불린다. 이 경우 a와 b는 c에 대해 조건부 독립적이게 된다.

 

머리 대 꼬리 노드

 

이제 다음과 같은 상황을 고려해 보자.

이는 다음과 같이 결합 분포로 표현된다.

c에대한 적분, 주변화를 통해 독립 성질을 확인할 수 있다. 

위의 식은 p(a)p(b)로 인수분해 되지 않는다. 따라서 다음과 같이 정의된다.

이제 c값이 관측되어 조건부인 경우를 고려해 보자.

머리 대 꼬리 노드

이 경우 다음과 같이 유도할 수 있다.

c에 대해 조건부 독립 성질을 가지게 된 것을 확인할 수 있다.

머리 대 머리 노드

 

마지막으로 다음 그래프를 고려해보자.

이는 결합 분포로 다음과 같이 나타낼 수 있다.

c에 대해 적분하면 다음을 얻는다.

위의 다른 그래프들과 달리 a와 b가 아무 변수도 관측되지 않은 상황에서 서로 독립적이다. 이는 다음과 같이 적을 수 있다.

이제 다음 그림과 같이 c의 값이 주어진 상황을 고려해 보자.

이 경우 다음과 같이 적을 수 있다.

위의 식은 p(a|c)p(b|c)의 형태로 유도할 수 없다. 따라서 조건부 독립 성질을 띄지 않는다.

이 예시는 위의 두 예시와는 완전히 반대의 행동 양식을 보인다. 이는 머리 대 머리라 불린다. 

 

세 가지 예시를 다음과 같이 정리할 수 있다.

 

• 꼬리 대 꼬리 노드: 독립x, 조건부 독립 o
• 머리 대 꼬리 노드: 독립x, 조건부 독립 o
• 머리 대 머리 노드: 독립o, 조건부 독립 x