선형 회귀 - 선형 기저 함수 모델

가장 단순한 형태의 선형 회귀 모델은 입력 변수들의 선형 결합을 바탕으로 한 모델이다.

선형 회귀

이를 선형 회귀(linear regression) 모델이라고 부른다. 선형 회귀의 가장 중요한 성질은 매개변수 w0, ... , wD의 선형 함수라는 것이다. 또한 이 모델은 입력 변수 xi의 선형 함수이기도 한데, 바로 이 성질 때문에 선형 회귀 모델에는 심각한 한계점이 존재한다. 이러한 한계점을 극복하기 위해 다음처럼 입력 변수에 대한 고정 비선형 함수들의 선형 결합을 사용할 수 있다.

기저 함수의 선형 결합

여기서 φj (x)가 기저 함수(basis function)이다. 이 모델의 배개변수의 총 숫자는 M-1 + 1(w0) = M이 된다.

 

매개변수 w0은 데이터에 있는 편향을 표현할 수 있게 해준다. 따라서 편향 매개변수라고 부르기도 한다. 편의를 위해 w0의 기저함수를 1이라고 가정하면 다음과 같이 축약할 수 있다.

비선형 기저 함수들을 사용하여 함수 y(x,w)가 입력 벡터 x에 대한 비선형 함수가 되도록 할 수 있다. 그럼에도 불구하고 위의 형태를 가진 함수들을 선형 모델이라고 부르는데, 이는 여전히 이 함수들이 w에 대해 선형 함수이기 때문이다. 다시 말해, x가 아니라, w를 변수라고 생각하고 위의 식을 보면, 여전히 선형 함수라는 것을 알 수 있다.

선형 결합의 특성으로 인해 이러한 모델은 심각한 한계점이 존재하는데, 이는 뒤에서 논의하기로 하고 넘어간다.

 

곡선 피팅

오차 최소화 측면에서의 곡선 피팅

위의 글에서 살펴본 예시가 다항 회귀로써, 선형 기저 함수 모델의 예시 중 하나이다. 이 경우 입력 변수는 벡터 x가 아닌 단일 변수 x이며, 기저 함수는 x의 거듭제곱으로 나타난다.

다항 회귀의 기저 함수

 

이 외에도 다양한 기저 함수가 있다. 다음이 그 중 하나이다.

가우시안 기저 함수

여기서 µj는 입력 공간에서의 기저 함수의 위치를 결정하고, 매개변수 s는 공간적 크기를 결정한다.이는 가우시안 기저 함수라고 불리지만 확률적으로 해석해야 하는 것은 아니며, 특히 정규화 계수가 중요하지 않은데, 이는 어차피 매개변수 w가 피팅되어 곱해질 것이기 때문이다.

 

시그모이드 기저 함수

또다른 기저 함수의 예시로써 이는 시그모이드 기저 함수라고 일컫는다. 여기서 σ()는 다음과 같이 정의되는 로지스틱 시그모이드 함수이다.

위에서 설명한 3개의 기저함수를 그림으로 표현하면 다음과 같다.

왼쪽부터 다항 기저 함수, 가우시안 기저함수, 시그모이드 기저 함수이다.

그래프 안에서도 색깔이 다른 것을 알 수 있는데 이는 매개변수 wi에 대응하는 각각의 그래프 개형을 나타낸다. 즉 연두색은 w1에 대응하는 기저 함수φ1, 파란색은 w2에 대응하는 φ2, 카키색은 w3에 대응하는 φ3이다. 

 

앞으로 작성할 글들에서 기저 함수를 어떤 것을 사용하는지는 중요하지 않다. 즉 일반적인 논의이다. 또한 표현을 간단하게 하기 위해서 타깃 변수는 단일 타깃 t의 경우만 고려할 것이다.