模型评估与选择
模型评估概述
模型评估是机器学习中的重要环节，用于衡量模型的性能和泛化能力。选择合适的评估指标和评估方法对于模型的选择和优化至关重要。
分类问题评估
- 准确率（Accuracy）
- 精确率（Precision）
- 召回率（Recall）
- F1分数
- ROC曲线和AUC
回归问题评估
- 均方误差（MSE）
- 均方根误差（RMSE）
- 平均绝对误差（MAE）
- 决定系数（R²）
评估方法
- 留出法（Hold-out）
- 交叉验证（Cross-validation）
- 自助法（Bootstrap）
- 时间序列验证
评估指标详解
1. 分类问题评估指标
- 准确率 = (TP + TN) / (TP + TN + FP + FN)
- 精确率 = TP / (TP + FP)
- 召回率 = TP / (TP + FN)
- F1分数 = 2 * (精确率 * 召回率) / (精确率 + 召回率)
2. 回归问题评估指标
- MSE = 1/n * Σ(y_true - y_pred)²
- RMSE = √MSE
- MAE = 1/n * Σ|y_true - y_pred|
- R² = 1 - Σ(y_true - y_pred)² / Σ(y_true - y_mean)²
3. 交叉验证
通过将数据集分成多个子集，轮流使用不同子集作为训练集和验证集
- K折交叉验证
- 留一交叉验证
- 分层交叉验证
- 时间序列交叉验证