Key word: 선형독립, 기저벡터, 좌표
선형종속 선형독립
선형 독립
- $c_1 = c_2 = \cdots = c_N = 0$ 일 경우 선형 독립.
- 두 벡터가 같은 방향일 경우 선형 독립.
- 역행렬이 존재하면 선형 독립.
선형 종속
- $c_1, c_2, \ldots, c_N$ 값이 존재할 경우 선형 종속
선형독립과 선형 연립방정식
역행렬이 존재하면 선형 독립이다.
행렬 X의 행의 개수보다 열의 개수가 많으면 미지수의 수가 방정식의 수보다 커서 해가 무한히 많기 때문에 영벡터가 아닌 해 C도 존재한다. 따라서 선형 종속이다.
반대로 행의 개수가 열의 개수와 같거나 크면 대부분 선형 독립이다.[대부분의 우리가 분석할 데이터는 여기에 해당한다.]이 경우 가끔 선형 종속인데 (1)같은 열이 중복되거나 (2)어떤 열이 다른 열의 값으로 계산되면 선형 종속이 된다.
만약 특징행렬 X가 선형 종속이면 데이터 분석이 어려워질 수도 있으므로 이러한 경우는 피하거나 또다른 데이터 처리가 필요하다. 이러한 경우를 다중공선성(multicollinearity) 라고 한다.
랭크
- 독립인 벡터의 갯수가 랭크이다.
- 행랭크나 열랭크 모두 그냥 랭크라고 부른다.
- 풀랭크: 랭크가 행의개수와 열의개수중 작은값과 같을때.
랭크와 역행렬
정방행렬이 풀랭크 <-> 역행렬 존재
예측모형 특징행렬의 랭크
풀랭크가 아닌 경우
- 특징행렬에 중복된 데이터가 있다.
- 어떤 열이 다른 열들의 선형조합이다. 이같은 특징행렬 집합은 데이터 분석에 나쁜영향을 준다.
로우-랭크 행렬
[필기 그림 참조]
벡터공간과 기저벡터
여러개의 벡터를 선형조합을 하면 다른 벡터를 만들 수 있다.
벡터 N개가 서로 선형 독립일 경우, 이 벡터들의 선형조합으로 만들어지는 모든 벡터의 집합을 공간벡터 라 한다.
그 벡터들을 벡터공간의 기저벡터 v라고 한다.
N차원 벡터 N개 $x_1, x_2, \cdots, x_N$ 이 선형 독립이여서 기저벡터를 이룬다면 이 기저벡터를 선형조합하여 모든 N차원 벡터를 만들 수 있다.
벡터공간 투영
2개의 3차원 기저벡터 $v_1, v_2$ 가 존재할때 (2<3)
모든 3차원 벡터 x에 대해 기저벡터 $v_1, v_2$를 선형조합하여 만든 벡 $x^{\Vert v}$와 원래 벡터 x의 차 $x^{\Vert v}$가 모든 기저벡터에 직교하면 벡터 $x^{\Vert v}$를 $v_1, v_2, \cdots, v_M$벡터 공간에 대한 투영벡터라 한다.
정규직교인 기저벡터로 이루어진 벡터 공간
표준기저벡터
기저벡터 중에서도 원소중 하나만 1이고 나머지는 0인 기저벡터를 표준기저벡터라고 한다.
좌표
기저벡터를 선형조합하여 그 벡터를 나타내기 위한 계수벡터를 말함.
[필기 그림 참고]
변환행렬
좌표변환
좌표변환은 행렬의 곱으로 표현된다. [필기 그림 참고]
이미지 변환
사진에서
벡터가 길어지면 그림은 줄어들고
두 벡터 사이 각도가 작아지면 그림은 늘어난다.