ML Note

세 가지 결정 이론 세 가지 결정 이론(오분류 비율 최소화, 기대 손실 최소화, 거부 옵션) 결정 이론(decision theory)란 불확실성이 존재하는 상황에서 최적의 의사결정을 내리는 방법에 대한 이론이다. 특히 분류 문제에서 여러가지 label값들 중 하나의 값의 확률이 100%로 나타나는 것이 mldiary.tistory.com 지금까지 분류 문제를 두 개의 단계로 나누어 보았다. 첫 번째는 추론 단계(inference stage)로 훈련 데이터셋을 활용하여 p(Ck|x)에 대한 모델을 학습시키는 단계이다. 두 번째는 결정 단계(decision stage)로 학습된 사후 확률들을 이용해서 최적의 클래스 할당을 시행하는 것이다. 두 가지 문제를 한 번에 풀어내는 방법을 생각해 볼 수도 있는데, x..

확률의 기본적인 컨셉을 이해하기 위해 다음 예시를 살펴보자 다음과 같이 빨간색, 파란색 상자 안에 사과(초록색)와 오렌지(주황색)이 들어있다고 가정하자. 여기서 랜덤하게 상자 하나를 골라 임의로 과일 하나를 꺼내고, 어떤 과일인지 확인 후 꺼냈던 상자에 다시 집어 넣는다고 하자. 이를 여러번 반복할 것이다. 이 과정에서 빨간 상자를 고를 확률이 40%, 파란 상자를 고를 확률이 60%이라고 가정하자. 여기서 상자는 바로 확률 변수이다. 상자를 확률 변수 B라고 하면 이 확률 변수 B는 r, b 두 개의 값을 가질 수 있다. 또한 과일의 정체 역시 확률 변수이며, 이를 F라고 지칭하자. 확률 변수 F는 a(사과), o(오렌지) 두 개의 값을 가질 수 있다. 빨간 상자를 고를 확률이 40%, 파란 상자를 고..