선형 회귀 파라미터 최적화 - 최대 가능도
선형 회귀의 파라미터 w를 최적화하기 위해 최대 가능도 방법을 이용해보자. 최대가능도를 이용한 w 최적화 타깃 변수 t는 결정 함수 y(x,w)와 가우시안 노이즈의 합으로 주어진다고 가정하자. 여
mldiary.tistory.com
위의 글에서 살펴본 것처럼 최대 가능도 해와 같이 일괄 처리 테크닉을 활용하기 위해서는 전체 데이터셋을 한 번에 처리해야 한다. 하지만 큰 데이터셋에 있어 이러한 방식이 계산적으로 어려울 수 있다. 이런 경우 순차적 알고리즘을 활용하는 것이 나을 수 있다. 이러한 방식을 확률적 경사 하강법(Stochastic Gradient Descent)이라고 부른다. 이 방법으로 w를 다음과 같이 업데이트 할 수 있다.
여기서 τ는 반복 수를 의미하며, η는 학습률을 의미한다. 제곱합 오류함수의 경우의 위의 식은 다음과 같다.
여기서 φn = φ(xn)이다. 이를 최소 제곱 평균(least mean square) 알고리즘이라 한다.
'Machine Learning > Regression' 카테고리의 다른 글
| 편향 분산 트레이드 오프 (0) | 2023.02.01 |
|---|---|
| 정규화된 최소 제곱법 (0) | 2023.02.01 |
| 선형 회귀 파라미터 최적화 - 최대 가능도 (0) | 2023.02.01 |
| 선형 회귀 - 선형 기저 함수 모델 (0) | 2023.02.01 |
| 회귀에서의 손실 함수 (0) | 2023.01.28 |