모형 평가

Model Evaluation

만들어진 분석 모형이 얼마나 잘 맞는지를 정해진 지표로 측정하는 일

모형의 종류에 따라 쓰는 지표가 다르다.

분류 모형

• 정오행렬(Confusion Matrix) → 정확도, 정밀도, 재현율, F1 점수
• ROC 그래프 : 가로축 거짓 긍정률(FPR), 세로축 참 긍정률(TPR). 왼쪽 위로 붙을수록 좋다
• AUC : ROC 곡선 아래 면적. 1 에 가까울수록 좋다
• 향상도 곡선(Lift Chart), 이익 도표(Gain Chart)

회귀 모형

• 결정계수(R²) : 모형이 설명하는 분산의 비율
• MSE / RMSE / MAE / MAPE
• AIC, BIC

군집 모형

• 실루엣 지수(Silhouette) : −1 ~ 1. 1 에 가까울수록 군집이 잘 나뉜 것
• Dunn Index, 엘보우 기법

헷갈리는 것

엔트로피는 모형 성과 평가 지표가 아니다. 의사결정 나무가 노드를 나눌 때 쓰는 불순도 측정값으로, 지니 지수와 같은 자리에 놓인다.

검증 방법

• 홀드아웃(Holdout) : 학습용·검증용으로 한 번 나눈다
• K-fold 교차검증 : k 개로 나눠 돌아가며 검증
• 부트스트랩 : 복원추출로 표본을 여러 번 만든다

같이 보기

• K-fold 교차검증
• 과적합 문제
• 지니 지수