설명 가능한 인공지능
IT 위키
- XAI; eXplainable AI; 설명 가능한 인공지능
- 모델이 왜 그런 결과를 냈는지를 사람이 이해할 수 있는 형태로 제시하는 인공지능 기술
딥 러닝 모델은 성능이 높지만 내부 동작을 사람이 따라갈 수 없어 블랙박스라 불린다. 의료·금융·채용처럼 결정이 사람에게 직접 영향을 주는 분야에서는 근거를 대지 못하는 모델을 쓰기 어렵다. 유럽 GDPR 이 자동화된 결정에 대한 설명을 요구하는 등 제도적 요구도 커졌다.
성능과 설명 가능성은 대체로 상충한다. 선형 회귀나 의사결정 나무처럼 구조가 단순한 모델은 그 자체로 해석되지만 성능이 낮고, 심층 신경망은 반대다.
- 해석 가능한 모델을 쓴다 — 선형 모델, 의사결정 나무, 규칙 기반 모델
- 사후 설명(Post-hoc) — 이미 학습된 모델의 동작을 나중에 설명한다
| 기법 | 방식 |
|---|---|
| LIME | 설명하려는 한 건의 주변에서 데이터를 만들어, 그 근처에서만 맞는 단순 모델로 근사한다 |
| SHAP | 게임 이론의 섀플리 값을 써서 각 변수가 예측에 기여한 정도를 공정하게 나눈다 |
| Grad-CAM | 합성곱 신경망에서 예측에 영향을 준 이미지 영역을 열지도로 보여 준다 |
| 부분 의존도 그림 | 한 변수를 바꿀 때 예측이 어떻게 변하는지를 그린다 |
| 대조 설명 | "무엇이 달랐다면 결과가 달라졌을까"를 제시한다 |
- 전역 설명 — 모델 전체가 어떤 규칙으로 움직이는지
- 국소 설명 — 특정 한 건을 왜 그렇게 판단했는지. LIME 과 SHAP 이 여기에 강하다
