다중 공선성
IT 위키
- Multicollinearity; 다중공선성
- 회귀모형의 설명변수(독립변수)들 사이에 강한 선형 상관관계가 존재해 회귀계수 추정이 불안정해지는 현상
- 회귀계수의 분산이 커져 추정값이 불안정해진다
- 표본이 조금만 바뀌어도 계수의 크기와 부호가 뒤집힌다
- 계수의 개별 해석이 사실상 불가능해진다
- 모형 전체의 설명력(결정계수)은 높은데 개별 계수는 유의하지 않은 모순이 나타난다
설명변수 사이의 선형 관계가 원인이다. 비선형 관계가 있다고 해서 다중공선성이 생기는 것은 아니다.
| 지표 | 판단 기준 |
|---|---|
| VIF(분산팽창요인, Variance Inflation Factor) | 10 이상이면 다중공선성이 있다고 본다. VIF = 1/(1−R²) |
| 공차한계(Tolerance) | VIF 의 역수. 0.1 이하면 문제 |
| 상관계수 행렬 | 설명변수끼리 상관계수가 높은 쌍을 찾는다 |
| 상태지수(Condition Index) | 30 이상이면 의심 |
- Cook's Distance 는 이상치·영향점을 찾는 지표이고, Mallow's Cp 는 변수 선택 기준이다. 다중공선성 진단 지표가 아니다.
- 상관이 높은 변수 중 하나를 제거한다
- 주성분 분석으로 서로 직교하는 새 변수(주성분)를 만들어 쓴다
- 능형회귀(Ridge), 라쏘(Lasso) 같은 규제 회귀를 쓴다
- 표본 수를 늘린다
