조건부 확률과 베이즈 정리

확률의 기본적인 컨셉을 이해하기 위해 다음 예시를 살펴보자

 

다음과 같이 빨간색, 파란색 상자 안에 사과(초록색)와 오렌지(주황색)이 들어있다고 가정하자. 여기서 랜덤하게 상자 하나를 골라 임의로 과일 하나를 꺼내고, 어떤 과일인지 확인 후 꺼냈던 상자에 다시 집어 넣는다고 하자. 이를 여러번 반복할 것이다. 이 과정에서 빨간 상자를 고를 확률이 40%, 파란 상자를 고를 확률이 60%이라고 가정하자.

여기서 상자는 바로 확률 변수이다. 상자를 확률 변수 B라고 하면 이 확률 변수 B는 r, b 두 개의 값을 가질 수 있다. 또한 과일의 정체 역시 확률 변수이며, 이를 F라고 지칭하자. 확률 변수 F는 a(사과), o(오렌지) 두 개의 값을 가질 수 있다.

 

빨간 상자를 고를 확률이 40%, 파란 상자를 고를 확률이 60%라고 했으므로 이는 다음과 같이 표현할 수 있다.

p(B=r) = 4/10
p(B=b) = 6/10

https://mldiary.tistory.com/38

여기서 잠시 베이즈 정리에 대해 정리하고 넘어가자.

합의 법칙과 곱의 법칙을 이용하여 다음 식을 도출할 수 있다.

베이즈 정리

베이즈 정리는 머신 러닝과 패턴 인식 전반에 걸쳐 아주 중요한 역할을 차지하는 베이즈 정리이다. 베이즈 정리의 분모는 정규화 상수이다. 다음 그림을 통해 조건부 분포에 대해 이해할 수 있다.

1. 60개의 표본값 분포  2. Y의 확률 분포  3. X의 확률 분포  4. Y=1일때 X의 조건부 확률

 

이제 다시 과일 상자 예시로 돌아가자. 빨간 상자와 파란 상자를 고를 확률은 다음과 같이 나타난다.

어떤 한 상자를 골랐는데 파란 상자였다고 해보자. 그 상황에서 사과를 고를 확률은 3/4이고 따라서 p(F=a | B=b) = 3/4이다. 같은 방법으로 사과 또는 오렌지를 선택할 확률 네 가지를 다음과 같이 적을 수 있다.

이제 확률의 합의 법칙과 곱의 법칙을 적용하여 사과를 고를 전체 확률을 계산할 수 있다.

p(F=a | B=r)p(B=r) 는 결합확률 p(F=a, B=r)을 나타내고 p(F=a | B=b)p(B=b)는 결합확률 p(F=a,B=b)를 나타낸다. 따라서 두 결합확률의 합이 p(F=a)가 된다. 

 

어떤 한 종류의 과일을 선택했는데 그것이 오렌지고, 이 오렌지가 어떤 상자에서 나왔는지 알고 싶다고 가정해 보자. 이를 위해서는 과일이 주어졌을 때 고른 상자가 어떤 것이었는지에 대한 조건부 확률을 계산해야 한다. 이는 베이즈 정리에 따라 다음과 같이 풀 수 있다.

 

베이지안 정리를 다음과 같이 해석할 수 있다. 어떤 과일이 선택되었는지를 알기 전에 어떤 박스를 선택했냐고 묻는다면 그 확률은 p(B)일 것이다. 이를 사전 확률(prior probability)이라고 부른다. 왜냐하면 어떤 과일이 선택되었는지 관찰하기 '전'의 확률이기 때문이다. 선택된 과일이 오렌지라는 것을 알게 된다면 베이지안 정리를 이용하여 p(B|F)를 구할 수 있다. 이는 사후 확률(posterior probability)이라고 부를 수 있다. 그 이유는 사건 F를 관측한 '후'의 확률이기 때문이다. 

 

베이지안 정리는 머신러닝에서 다음과 같이 사용된다. 관측 데이터(학습 데이터) D를 알고 있을 때 학습시키고자 하는 매개변수인 w를 피팅하는 것을 다음과 같이 베이지안 정리로 나타낼 수 있다.

p(w|D) = p(D|w)p(w)/p(D)

이 식에서 가능도p(D|w)와 사전 확률p(w)을 통해서 사후 확률인 p(w|D)를 최적화 할 수 있다. 

 

 

※이 글은 Christopher Bishop 교수님의 Pattern Recognition & Machine Learning을 공부하고 정리한 글입니다.