변수 선택법
IT 위키
- Variable Selection; 변수 선택법
- 회귀모형에 포함할 설명변수의 조합을 찾는 방법
| 방법 | 진행 방식 |
|---|---|
| 모든 가능한 회귀(All Possible Regression) | 변수의 모든 조합을 다 만들어 비교한다. 변수가 p 개면 2ᵖ 개의 모형을 본다 |
| 전진 선택법(Forward Selection) | 상수항만 있는 모형에서 시작해 가장 기여가 큰 변수를 하나씩 추가한다. 한 번 들어간 변수는 빠지지 않는다 |
| 후진 제거법(Backward Elimination) | 모든 변수를 넣은 모형에서 시작해 기여가 가장 작은 변수를 하나씩 제거한다. 남은 변수가 모두 유의하면 거기서 멈춘다 |
| 단계적 선택법(Stepwise) | 전진 선택을 하되 매 단계마다 이미 들어간 변수도 다시 검토해 제거할 수 있다 |
- "후진선택법"이라는 이름은 쓰지 않는다. 후진 제거법이다.
- 후진 제거법은 상수항만 남을 때까지 제거하지 않는다. 더 뺄 변수가 없으면 멈춘다.
- 수정 결정계수(Adjusted R²) — 클수록 좋다
- AIC, BIC — 작을수록 좋다
- Mallow's Cp — 변수 개수에 가까울수록 좋다
- 라쏘(Lasso) : 계수를 0으로 만들어 변수를 자동으로 걸러낸다
- 능형회귀(Ridge) : 계수를 줄이되 0으로 만들지는 않는다
- 엘라스틱넷 : 둘의 결합
주성분 분석은 변수 선택법이 아니다. 기존 변수 중에서 고르는 것이 아니라 새로운 변수를 만들어 내는 차원 축소(변수 추출) 기법이다.
