表格类评价指标介绍

表格类任务分为表格预测和时序预测，其中表格预测任务采用表格分类算法。

时序预测

均方误差（Mean Square Error）

作用：

用于衡量回归模型的误差。

定义：

预测值和实际值的残差平方的均值。

计算过程：

\[\text{MSE} = \frac{1}{N} \sum_{i=1}^{N} (y_i - y_{i}^{gt})^{2}\]

其中， \(y_i\) 是第 i 个样本的实际观测值， \(y_{i}^{gt}\) 是第 i 个样本的模型预测值， N 是样本数量。

平均绝对误差（Mean Absolute Error）

作用：

用于衡量回归模型的误差。

定义：

预测值和实际值的残差绝对值的均值。

计算过程：

\[\text{MAE} = \frac{1}{N} \sum_{i=1}^{N} |y_i - y_{i}^{gt}|\]

其中， \(y_i\) 是第 i 个样本的实际观测值， \(y_{i}^{gt}\) 是第 i 个样本的模型预测值， N 是样本数量。

平均绝对百分比误差（Mean Absolute Percentage Error）

作用：

用于衡量回归模型的误差程度。

定义：

预测值和实际值的残差绝对值的百分比的均值。

计算过程：

\[\text{MAPE} = \frac{1}{N} \sum_{i=1}^{N} \frac{(y_i - y_{i}^{gt})^{2}}{y_i}\]

其中， \(y_i\) 是第 i 个样本的实际观测值， \(y_{i}^{gt}\) 是第 i 个样本的模型预测值， N 是样本数量。

表格预测（二分类）

ROC 曲线（Receiver Operating Characteristic Curve）

作用：

用于衡量二分类模型的表现。

定义：

ROC曲线是以假正率（False Positive Rate，FPR）作为横轴，真正率（True Positive Rate，TPR，也称为召回率）作为纵轴所绘制的曲线。通常情况下，ROC 曲线越靠近左上角，表示模型性能越好。

计算过程：

根据模型预测结果以及真实标签，按照不同的分类阈值计算 TPR 和 FPR，然后在以 FPR 为横轴，TPR 为纵轴的坐标系上绘制 ROC 曲线。

AUC（Area Under the Curve）

作用：

用于衡量二分类模型的表现。

定义：

AUC 是 ROC 曲线（Receiver Operating Characteristic Curve）下的面积，AUC 取值越接近1表示模型的性能越好。

计算过程：

根据模型预测结果以及真实标签，按照不同的分类阈值计算 TPR 和 FPR ，然后在以 FPR 为横轴，TPR 为纵轴的坐标系上绘制 ROC 曲线。通过对 ROC 曲线下的面积进行积分计算得到 AUC 值。

P-R 曲线（Precision-Recall Curve）

作用：

用于衡量二分类模型的表现。

定义：

P-R 曲线以真正率（True Positive Rate，也称为召回率）作为横轴， 以精确率（Precision）为纵轴绘制的曲线。P-R 曲线上的每个点对应于模型在某个分类阈值下的精确率和召回率。通常情况下，P-R 曲线越靠近右上角（1,1），表示模型的性能越好，因为此时精确率高且召回率也高。

计算过程：

根据模型预测结果以及真实标签，按照不同的分类阈值计算召回率和精确率，然后在以召回率为横轴，精确率为纵轴的坐标系上绘制 P-R 曲线。