베타 분포
베르누이 분포, 이항 분포 이산 확률 변수 - 베르누이 분포, 이항 분포 베르누이 분포 동전 던지기 이진 확률 변수 x ∈ {0,1}을 고려해 보자. x=0은 뒷면, x=1은 앞면이다. 동전이 망가져서 앞면, 뒷
mldiary.tistory.com
이항 분포에서 사전 분포를 도입하기 위해 켤레성을 가지게 하는 베타 분포에 대해 알아보았다.
여기서는 이항 분포가 아닌 다항 분포에서 사전 분포를 도입하기 위해 켤레성을 가지게 하는 디리클레 분포에 대해 알아보자. (사전 분포를 도입하는 이유는 위의 글에서 설명했듯이 베이지안 접근법을 이용하여 불확실성을 표현하고자 하기 때문이다.)
다항 분포의 매개변수 {µk}에 대해 살펴보자. 다항 분포의 형태를 살펴보면 켤레성을 띄기 위해 사전 분포가 다음의 형태를 띄어야 하는 것을 알 수 있다.
여기서 0 <= µk <= 1, 모든 µk의 합은 1이라는 사실을 쉽게 알 수 있다. α1, ... ,αk들은 분포의 매개변수이다. 이런 제약조건으로 인해 {µk}상에서의 분포는 K-1차원의 단체(simplex)로 제약된다. K=3인 경우 다음 그림과 같다.
이 분포의 정규화 형태는 다음과 같다.
감마 분포의 정의는 위에 첨부한 베타 분포 링크에 설명되어 있다. α0은 다음으로 정의된다.
다양한 매개변수 αk에 따른 단체상의 디리클레 분포 그래프는 다음과 같다.
여기서 x, y, z축에 대해 헷갈리기 쉬운데 차근차근 이해해보자. 위에서 설명했듯이, 디리클레 분포는 {µk}상에서의 분포는 K-1차원의 단체(simplex)로 제약된다. 앞서 봤던 그림 2.4에서의 {µk}는 k는 3이라고 가정하면 3차원 공간이다. 여기서 디리클레 분포는 K-1차원인 2차원의 단체로 제약되므로 이를 위의 디리클레 분포 예시의 수평 축이라고 생각하면 된다. 따라서 우리는 그 단체 위에서의 확률값을 고려하면 된다. 그렇기 때문에 z축을 '단체의 각 부분에서의 확률값'으로 이해하자. 그리고 다시 그림을 보면 이해가 쉬울 것이다 왼쪽의 경우 단체의 가장자리 부분에서 확률이 높게 나타나며, 가운데의 경우 모든 부분에서 확률값이 동일하다. 오른쪽 그림은가운데 부분에서 높은 확률을 띈다. 이는 베타 분포와 비슷한 성질을 나타낸다.
가능도 함수와 사전 분포를 구하였으므로 사후 분포를 고려해보자.
사후 분포가 다시금 디리클레 분포의 형태를 띄는 것을 확인할 수 있다. 이를 통해 다항 분포의 켤레 사전 분포임을 확인할 수 있다. 사후 분포와 디리클레 분포의 비교를 통해 정규화 계수를 구할 수 있다.
'Mathematics > Statistics' 카테고리의 다른 글
| 다항 분포 (0) | 2023.01.30 |
|---|---|
| 베타 분포 (0) | 2023.01.29 |
| 이산 확률 변수 - 베르누이 분포, 이항 분포 (0) | 2023.01.29 |
| 상대 엔트로피, 쿨백 라이블러 발산(Kullback-Leibler divergence) (0) | 2023.01.29 |
| 정보 이론 (0) | 2023.01.28 |