정보 이론은 확률론 결정 이론 등과 함께 머신러닝 & 패턴인식에서 중요한 개념이다. 이번 글에서는 정보이론에 대해 소개한다. 이산확률 변수 x를 고려해보자. 이 변수가 특정 값을 가지고 있는 것을 확인했을 때 전달되는 정보의 양은 얼마만큼일까? 여기서 정보의 양은 '놀라움의 정도'로 생각할 수 있을 것이다. 매우 일어날 가능성이 높은 사건이 일어났다는 사실을 전해들었을 때보다 일어나기 매우 힘든 사건이 발생했다는 사실을 전해 들었을 때 더 많은 정보를 전달받는게 된다. 따라서 우리가 사용하게 될 정보량의 측정 단위는 해당 사건이 일어날 확률 p(x)의 종속적이게 된다. p(x)에 단조 함수인 정보량을 표현하는 함수 h(x)에 대해 살펴보도록 하자. 서로 연관되어 있지 않은(독립적인) 두 사건 x, y가 ..
