일반화 선형 모형
IT 위키
- GLM; Generalized Linear Model; 일반화 선형 모형
- 반응변수가 정규분포를 따르지 않는 경우까지 다룰 수 있도록 선형 회귀를 확장한 모형
일반 선형회귀는 반응변수가 정규분포를 따르고 분산이 일정하다고 가정한다. 0/1, 횟수, 양수 같은 자료에는 그 가정이 맞지 않는다.
- 확률 성분(Random Component) — 반응변수가 따르는 확률분포. 지수족(exponential family)에 속해야 한다
- 체계적 성분(Systematic Component) — 설명변수의 선형 결합 η = β₀ + β₁x₁ + …
- 연결함수(Link Function) — 반응변수의 평균 μ 를 선형예측자 η 에 이어 주는 함수. g(μ) = η
| 반응변수 | 분포 | 표준 연결함수 | 모형 이름 |
|---|---|---|---|
| 연속형, 대칭 | 정규분포 | 항등(Identity) g(μ) = μ | 선형 회귀 |
| 0 또는 1, 비율 | 이항분포 | 로짓(Logit) g(μ) = ln(μ/(1−μ)) | 로지스틱 회귀 |
| 셈 자료(횟수) | 포아송 분포 | 로그(Log) g(μ) = ln(μ) | 포아송 회귀 |
| 양수, 오른쪽 꼬리 | 감마 분포 | 역수(Inverse) g(μ) = 1/μ | 감마 회귀 |
- 자연로그 함수를 연결함수로 쓰는 것은 포아송 분포다. 평균이 항상 양수여야 하는 셈 자료에 맞추기 위해서다. 로그를 취하면 (0, ∞)가 (−∞, ∞)로 펴져 선형 예측자와 이어진다
- 이항분포는 로짓, 정규분포는 항등, 감마는 역수가 표준이다
반응변수의 평균이 가질 수 있는 범위가 제한돼 있기 때문이다.
- 확률은 0~1 사이 → 로짓이 이를 실수 전체로 펴 준다
- 횟수는 0 이상 → 로그가 이를 실수 전체로 펴 준다
선형예측자 η 는 −∞ ~ ∞ 를 오가므로, 그대로 두면 확률이 1을 넘거나 횟수가 음수가 되는 예측이 나온다.
최소제곱법이 아니라 최대우도추정(MLE)으로 계수를 구한다. 반복 가중 최소제곱(IRLS)으로 수치 계산한다.
