확률 밀도

때때로 변수는 오렌지의 개수, 박스의 종류와 같이 셀수있는 것이 아니라 키, 몸무게와 같이 연속적인 경우가 있다. 이러한 경우 확률을 표현하는 데 있어 다른 방식을 사용해야 할 것이다. 이러한 연속적인 변수의 확률 p(x)를 확률 밀도(probability density)라고 부른다.

확률 밀도 함수 예시

위의 그래프는 확률 밀도 함수의 예시이다. P(x)는 누적 분포 함수라고 부르며 p(x)의 적분값으로 볼 수 있다. p(x)는 확률 밀도 함수라고 부르며 P(x)의 미분값으로 볼 수 있다. 

연속형 변수에서 어떤 특정한 값을 가질 확률을 구하는 것은 쉽지 않다. 예를 들어, 키가 임의의 한 사람의 키가 180일 확률을 구한다고 치자. 실제로 그의 키가 정확히 180일 확률 극히 희박하다. 따라서 우리는 179.5~180.5 사이의 키를 가진 사람을 180이라고 부르곤 한다. 이렇게 연속형 변수는 특정 구간을 정하고 그 구간에 속할 확률을 구하는 것이 더 타당하다.

 

실수 변수 x가 (a,b)구간 사이의 값을 가질 확률은 다음과 같이 주어진다.

x가 a, b구간 사이의 값을 가질 확률

확률은 양의 값을 가지고 x의 값은 실수축상에 존재해야 한다. 따라서 확률 밀도 함수 p(x)는 다음 두 조건을 만족시켜야 한다.

확률 밀도 함수의 두 조건

x가 (-∞,z)범위에 속할 확률은 누적 분포 함수로 표현된다.

누적 분포 함수

만약 여러 개의 연속적인 변수 x1,...xD가 주어지고 이 변수들이 벡터 x로 표현될 경우에 결합 확률 밀도 p(x) = p(x1,...,xD)를 정의할 수 있다. 이 다변량 확률 밀도는 다음의 조건을 만족해야 한다.

다변량 확률 밀도의 두 조건

연속 변수의 확률 밀도와 이산 변수/연속 변수가 조합된 경우의 확률 밀도에도 합의 법칙, 곱의 법칙, 베이지안 정리를 적용할 수 있다. 예를 들어 만약 x와 y가 각각 실수와 변수일 경우, 합과 곱의 법칙은 다음의 형태를 띈다.

 

 

 

※이 글은 Christopher Bishop 교수님의 Pattern Recognition & Machine Learning을 공부하고 정리한 글입니다.