모형 선택과 적합도 지수
모형 선택 데이터를 여러 모형에 학습 가장 좋은(?) 모형을 선택한다 모형의 좋음을 나타내는 지표는 여러 가지가 있음
적합도 지수(fit indices) 회귀(Regression) 분류(Classification)
적합도 지수(fit indices) 회귀(Regression) 분류(Classification) MSE MAE 설명된 분산
적합도 지수(fit indices) 회귀(Regression) 분류(Classification) 정확도(accuracy) 코헨의 카파(kappa) 정밀도(precision), 재현도(recall), F1 AUC 자카드 유사도(Jaccard similarity)
회귀의 적합도 지수
오차 오차(error): 예측과 실제의 차이 평균 오차 제곱(MSE) 평균 오차 절대값(MAE)
설명된 분산과 R2 설명된 분산 결정계수 R2
우도, 로그우도, 사후확률 우도(likelihood): 모형이 참일 때 주어진 데이터가 관찰될 확률 로그-우도: 우도에 로그(log)를 적용한 것 사후 확률(posterior probability): 데이터가 주어졌을 때 모형이 참일 확률 (알 수 없음)
우도와 오차의 관계 오차가 정규분포를 따른다고 가정하면 오차가 커질 수록 우도는 작아짐 우도가 높을 수록 오차는 작아짐
분류의 적합도 지수
크로스 엔트로피 분류에서 확률로 예측할 때 로그-우도 𝐻 𝑝,𝑞 =− 𝑝 𝑥 log 𝑞(𝑥)
혼동 행렬 confusion matrix 예측 양성 Positive 음성 Negative 실제 양성 Positive 진양성 True Positive 위음성 False Negative 음성 Negative 위양성 False Positive 진음성 True Negative
정확도 Accuracy 예측 양성 Positive 음성 Negative 실제 양성 Positive 진양성 True Positive 위음성 False Negative 음성 Negative 위양성 False Positive 진음성 True Negative
O : observed accuracy, E : Expected Accuracy Kappa O : observed accuracy, E : Expected Accuracy
정밀도 Precision 예측 양성 Positive 음성 Negative 실제 양성 Positive 진양성 True Positive 위음성 False Negative 음성 Negative 위양성 False Positive 진음성 True Negative
재현도 Recall 예측 양성 Positive 음성 Negative 실제 양성 Positive 진양성 True Positive 위음성 False Negative 음성 Negative 위양성 False Positive 진음성 True Negative 의학에서는 주로 민감도(sensitivity)라고 함
특이도 Specificity 예측 양성 Positive 음성 Negative 실제 양성 Positive 진양성 True Positive 위음성 False Negative 음성 Negative 위양성 False Positive 진음성 True Negative
F1 score 정밀도와 재현율의 조화평균
자카드 유사도 예측 양성 Positive 음성 Negative 실제 양성 Positive 진양성 True Positive 위음성 False Negative 음성 Negative 위양성 False Positive 진음성 True Negative
자카드 유사도
ROC 커브 Receiver Operating Characteristic 1-특이도와 민감도(재현도)의 관계를 표현 두 수치는 같은 방향으로 변함 특이도 적게 ↓하면서 민감도 ↑
ROC 곡선
AUC Area Under Curve (곡선 하 면적) ROC 곡선에서 곡선 아래쪽 면적 클 수록 좋음