선형 예측모형은 입력데이터인 벡터와 가중치 벡터의 내적으로 계산된 예측값이 실제 출력데이터와 유사한 값을 출력하도록 하는 모형이다. 그럼 올바른 가중치 벡터는 어떻게 구할 수 있을까?
연립방정식과 역행렬을 이용하여 선형 예측모형의 가중치 벡터를 구하는 방법을 알아본다.
선형 연립방정식
복수의 미지수를 포함함고 있는 선형방정식을 선형 연립방정식이라 부른다. A: 계수행렬, x: 미지수벡터, b: 상수벡터에서 선형 연립방정식은 다음처럼 표현된다. Ax = b
이때 x를 구하고자 한다면 역행렬을 사용한다.
역행렬
정방 행렬 A에 대한 역행렬(inverse matrix) $A^{-1}$은 원래의 행렬 A와 다음 관계를 만족하는 정방 행렬을 말한다.
역행렬의 성질
$(A^{T})^{-1} = (A^{-1})^{T}
\tag{2.4.2}$
$(ABC)^{-1} = C^{-1} B^{-1} A^{-1}
\tag{2.4.3}$
역행렬의 계산
$A^{-1} = \dfrac{1}{\det (A)} C^T = \dfrac{1}{\det (A)}
\begin{bmatrix}
C_{1,1} & \cdots & C_{N,1}
\vdots & \ddots & \vdots
C_{1,N} & \cdots & C_{N,N}
\end{bmatrix}
\tag{2.4.4}$
역행렬과 선형 연립방정식의 해
선형 연립방정식에서 미지수의 수와 방정식의 수가 같다면 계수행렬 AA 는 정방행렬이 된다.
Ax = b
$A^{-1}$Ax = $A^{-1}$b
Ix = $A^{-1}$b
x = $A^{-1}$b
선형 연립방정식과 선형 예측모형
선형 에측모형의 가중치벡터를 구하는 문제는 선형 연립방정식을 푸는 것과 같다.
Xw = y
$w = X^{-1} y
\tag{2.4.5}$
미지수의 수와 방정식의 수
최소자승문제
선형 연립방정식의 해가 존재하지 않는다면 선형 예측모형은 어떻게 구할까?
선형 연립방정식의 해가 존재하지 않을수도 있다. 하지만 꼭 양변이 똑같지 않아도 된다. 미지수의 갯수보다 < 방정식의 갯수가 많아서 선형 연립방정식으로 풀수 없는 문제는 좌변과 우변의 차이를 최소화하는 문제로 바꾸어 풀 수 있다.
그 차이를 잔차라 한다.
$e = Ax - b \tag{2.4.6}$
잔차는 벡터이므로 최소자승문제에서는 벡터의 크기가 가장 작은, 즉 벡터의 놈을 최소화하는 문제로 푼다. 놈을 최소화는 놈의 제곱을 최소화하는 것과 같다. 잔차제곱합이 놈의 제곱과 같다. (잔차제곱합=놈의 제곱)
$e^Te = \Vert e \Vert^2 = (Ax-b)^T(Ax-b)
\tag{2.4.19}$
위 식을 최소화하는 x값을 수식으로 표현하면
$x = \text{arg} \min_x e^Te = \text{arg} \min_x \; (Ax-b)^T(Ax-b)
\tag{2.4.20}$
위 식 $\text{arg} \min_x f(x)$는 함수 f(x)를 가장 작게 만드는 x값을 의미한다.
이러한 문제를 최소자승문제라고 한다.