레버리지와 아웃라이어

레버리지와 아웃라이어(데이터사이언스스쿨)

→ 각 데이터 표본이 회귀분석 결과에 미치는 영향력 분석 : (레버리지 & 아웃라이어) 분석

레버리지 → 실제 종속변수값

y

가 예측치(predicted target)

\hat{y}

에 미치는 영향을 나타낸 값임.

영향을 미침. → 영향도 행렬

(H)

의 대각 행렬

영향도 행렬?

종속 변수 값

y

가

\hat{y}

에 미치는 영향

(H)

\hat{y} = Hy

\begin{pmatrix} \hat{y}_1\\ \hat{y}_2\\ \cdot\\ \cdot\\ \cdot\\ \hat{y}_N \end{pmatrix} = \begin{pmatrix} h_{11}, h_{12}, \cdot\cdot\cdot,h_{1N}\\ h_{21}, h_{22}, \cdot\cdot\cdot, h_{2N}\\ \cdot\\ \cdot\\ \cdot\\ h_{N1}, h_{N2}, \cdot\cdot\cdot,h_{NN} \end{pmatrix} \begin{pmatrix} y_{1}\\ y_{2}\\ \cdot\\ \cdot\\ \cdot\\ y_{N} \end{pmatrix}

\hat{y}_i = h_{i1}y_1 + h_{i2}y_{2} + \cdot\cdot\cdot + h_{ii}y_{i} + \cdot\cdot\cdot + h_{iN}y_{N}

h_{ii} = 1, h_{ij} = 0 \quad (for \quad i \neq j), \quad \hat{y} = y

h_{ii}

값이 1이 되고 나머지 성분들이 모두 0이 된다면, 실제 결과 값과 예측 값이 일치하게 된다.

→ 따라서, 레버리지는 수학적으로 영향도 행렬의 대각 성분

h_{ii}

로 정의된다.

다만, 위의 가정은 불가능하다. 

아웃라이어 분석 → 모형에서 설명하고 있는 데이터와 동떨어진 값을 가지는 데이터 / 잔차가 큰 데이터

잔차의 크기는 독립 변수의 영향을 받으므로 표준화된 잔차를 계산해야 함.

표준화 잔차

개별적인 잔차의 표준편차 구하기(명시적인 편리함을 위해 분산으로 표현함.)

→ 표준편차 =

\sqrt{분산}

→ 개별적인 잔차의 분산 → 공분산(Covariance) 계산

e = (I - H)\epsilon = M\epsilon

\begin{align} Cov[e] & = E[M\epsilon\epsilon^{T}M^{T}]\\ & = ME[\epsilon\epsilon^{T}]M^{T}\\ & = M\sigma^{2}IM^{T}\\ & = \sigma^{2}MM^{T}\\ & = \sigma^{2}MM\\ & = \sigma^{2}M\\ & = \sigma^{2}(I-H) \end{align}

H

가 대칭 행렬이므로,

M

은 대칭 행렬이다. 따라서,

M^{2} = M

이다.

대각 성분을 대상으로 계산하는 잔차의 표준편차는 다음과 같음.

Var[e_i] = \sigma^{2}(1-h_{ii})

→ 오차의 표준 편차는 모든 표본에 대해 같으나(회귀 분석에서는 모든 표본에 대한 오차의 분산이 동일하다고 가정함.

Var[\epsilon_i] =\sigma^{2}

)

개별적인 잔차의 표준편차는 레버리지에 따라 달라진 다는 것을 위의 식에서 알 수 있음.

오차의 분산을 알 수 없으므로, 잔차 분산으로부터 추정한다.

Var[e_i] \approx s^{2}(1 - h_{ii})

s

는 다음과 같이 구한 오차의 표준편차 추정 값이다. (잔차를 레버리지와 잔차의 표준 편차로 나누어 동일한 표준 편차를 가지도록 스케일링 한 것 : 표준화 잔차)

s^2 = \frac{e^{T}e}{N-K} = \frac{RSS}{N-K}

s = \sqrt{\frac{e^{T}e}{N-K}} = \sqrt{\frac{RSS}{N-K}}

표준화 잔차 :

r_i

r_i = \frac{e_i}{Std[e_i]} = \frac{e_i}{s\sqrt{1-h_{ii}}}

데이터 세트 : 데이콘, 데이터·AI를 활용한 물가 예측 경진대회 : 농산물 가격을 중심으로(https://dacon.io/competitions/official/236381/data)

train.csv

1778.5KB

레버리지와 아웃라이어_예시.html

910.3KB

5.2 회귀분석의 기하학 : 5.2 회귀분석의 기하학 — 데이터 사이언스 스쿨

투영 행렬과 부분 공간 : TISTORY[Linear Algebra] Lecture 15-(2) 투영행렬(Projection matrix)과 부분 공간(subspaces)

 Projection matrix : WikipediaProjection matrix

PCA를 통한 Eigenface recognizer : Woozu Engineering techlogPCA(고유 성분 분석)를 통한 Eigenface recognizer