機器學習中常見的評估指標：Precision、recall、F

轉載自：https://blog.csdn.net/weixin_42111770/article/details/81015809

在使用機器學習算法的過程中，我們需要對建立的模型進行評估來辨別模型的優劣，下文中主要介紹我在學習中經常遇見的幾種評估指標。以下指標都是對分類問題的評估指標。

將標有正負例的數據集喂給模型后，一般能夠得到下面四種情況：

• True Positive(TP)，模型將正實例判定為正類
• False Negative(FN)，模型將正實例判定為負類
• False Positive(FP), 模型將負實例判定位正類
• True Negative(TN)，模型將負實例判定位負類

精度（Precision）：精度是針對判定結果而言，預測為正類的樣本（TP+FP）中真正是正實例（TP）的比率

召回率（Recall）：召回率是針對樣本而言，被正確判定的正實例（TP）在總的正實例中（TP+FN）的比率

精度和召回率雖然沒有必然的關系，然而在大規模數據集合中，這兩個指標卻是相互制約的。一般情況下，召回率高時，精度低；精度高時，召回率低。

F-measure是精度（Precision）和召回率（Recall）的加權調和平均

當時，就是常見的F1-measure：

準確率（Accuracy）：模型正確分類的樣本數（正實例被判定為正類，負實例被判定為負例）在總樣本中的比重

ROC曲線(受試者工作特征曲線 receiver operating characteristic curve)，是以假正性率（False positive rate，FPR）為橫軸，真正類率(True positive rate，TPR)為縱軸所組成的坐標圖，和受試者在特定刺激條件下由于采用不同的判斷標準得出的不同結果畫出的曲線。ROC曲線在測試集中的正負樣本的分布變化時，能夠保持不變。

，真正類率，為被模型判定為正類的正實例在樣本中正實例中的比例

，假正類率，為被模型判定為正類的負實例在樣本中負實例中的比例

ROC曲線上的每個點對是在某個閾值threshold下得到的(FPR, TPR)。設定一個閾值，大于這個閾值的實例被劃分為正實例，小于這個值的實例則被劃分為負實例，運行模型，得出結果，計算FPR和TPR值，更換閾值，循環操作，就得到不同閾值下的(FPR, TPR)對，即能繪制成ROC曲線。

AUC（Area Under Curve）是ROC曲線下的面積值，在0.5到1.0區間內。之所以使用AUC值作為評價標準是因為很多時候并不能從ROC曲線中判別模型的好壞，AUC值能量化模型的性能效果。AUC值越接近于1，說明模型性能越好，模型預測的準確率越高；如果多個模型進行性能比較，一般以AUC值大的模型比AUC值小的模型的性能好。