可打印速查表
模型指标与错误成本
先决定哪类错误更贵，再选指标和阈值。
二分类混淆矩阵
| 实际正类 | 实际负类 | |
|---|---|---|
| 预测正类 | TP | FP：误报 |
| 预测负类 | FN：漏报 | TN |
| 指标 | 公式 | 优先场景 |
|---|---|---|
| Accuracy | (TP + TN) / All | 类别平衡、错误成本接近 |
| Precision | TP / (TP + FP) | 误报昂贵 |
| Recall / TPR | TP / (TP + FN) | 漏报昂贵 |
| Specificity / TNR | TN / (TN + FP) | 正确排除负类重要 |
| F1 | 2PR / (P + R) | 需要平衡 precision/recall |
| ROC-AUC | 跨阈值 TPR 对 FPR | 一般排序能力 |
| PR-AUC | 跨阈值 Precision 对 Recall | 正类极少 |
回归
| 指标 | 性质 | 陷阱 |
|---|---|---|
| MAE | 线性惩罚，原单位 | 对大误差不如 RMSE 敏感 |
| MSE | 平方惩罚 | 单位为目标平方 |
| RMSE | 平方惩罚，原单位 | 被极端误差显著影响 |
| R² | 相对均值基线解释方差 | 可为负，不代表绝对误差小 |
| MAPE | 百分比尺度 | 目标为零/接近零时不稳定 |
快速决策
先把业务损失映射到 FP、FN 或回归大误差。
选择与损失一致的主指标，不用 accuracy 掩盖不平衡。
在验证集上选择阈值，保持独立测试集做最终估计。
生产中同时监控模型指标、数据分布和业务结果。
记忆：误报贵看 Precision，漏报贵看 Recall，两者兼顾看 F1，极不平衡看 PR-AUC，大回归误差特别贵看 RMSE。