|
目錄： （1） ROC曲線的由來 （2） 什么是ROC曲線 （3） ROC曲線的意義 （4） AUC面積的由來 （5） 什么是AUC面積 （6） AUC面積的意義 （7） 討論：在多分類問題下能不能使用ROC曲線 一、 ROC曲線的由來 很多學習器是為測試樣本產生一個實值或概率預測，然后將這個預測值與一個分類閾值進行比較，若大于閾值則分為正類，否則為反類。例如，神經網絡在一般情形下是對每個測試樣本預測出一個[0.0，1.0]之間的實值，然后將這個值與閾值0.5進行比較，大于0.5則判為正例，否則為反例。這個閾值設置的好壞，直接決定了學習器的泛化能力。 在不同的應用任務中，我們可根據任務需求來采用不同的閾值。例如，若我們更重視“查準率”，則可以把閾值設置的大一些，讓分類器的預測結果更有把握；若我們更重視“查全率”，則可以把閾值設置的小一些，讓分類器預測出更多的正例。因此，閾值設置的好壞，體現了綜合考慮學習器在不同任務下的泛化性能的好壞。為了形象的描述這一變化，在此引入ROC曲線，ROC曲線則是從閾值選取角度出發來研究學習器泛化性能的有力工具。 如果你還對“查準率”和“查全率”不了解，看我之前的文章【錯誤率、精度、查準率、查全率和F1度量】詳細介紹 二、 什么是ROC曲線 ROC全稱是“受試者工作特征”(Receiver OperatingCharacteristic)曲線。我們根據學習器的預測結果，把閾值從0變到最大，即剛開始是把每個樣本作為正例進行預測，隨著閾值的增大，學習器預測正樣例數越來越少，直到最后沒有一個樣本是正樣例。在這一過程中，每次計算出兩個重要量的值，分別以它們為橫、縱坐標作圖，就得到了“ROC曲線”。 ROC曲線的縱軸是“真正例率”(True Positive Rate, 簡稱TPR)，橫軸是“假正例率”(False Positive Rate,簡稱FPR)，基于上篇文章《錯誤率、精度、查準率、查全率和F1度量》的表1中符號，兩者分別定義為：  顯示ROC曲線的圖稱為“ROC圖”。圖1給出了一個示意圖，顯然，對角線對應于“隨機猜測”模型，而點(0,1)則對應于將所有正例預測為真正例、所有反例預測為真反例的“理想模型”。  圖1：ROC曲線與AUC面積 現實任務中通常是利用有限個測試樣例來繪制ROC圖，此時僅能獲得有限個(真正例率，假正例率)坐標對，無法產生圖1中的光滑ROC曲線，只能繪制出圖2所示的近似ROC曲線。繪制過程很簡單：給定 三、 ROC曲線的意義 （1）主要作用 1. ROC曲線能很容易的查出任意閾值對學習器的泛化性能影響。 2.有助于選擇最佳的閾值。ROC曲線越靠近左上角，模型的查全率就越高。最靠近左上角的ROC曲線上的點是分類錯誤最少的最好閾值，其假正例和假反例總數最少。 3.可以對不同的學習器比較性能。將各個學習器的ROC曲線繪制到同一坐標中，直觀地鑒別優劣，靠近左上角的ROC曲所代表的學習器準確性最高。 （2）優點 1. 該方法簡單、直觀、通過圖示可觀察分析方法的準確性，并可用肉眼作出判斷。ROC曲線將真正例率和假正例率以圖示方法結合在一起，可準確反映某種學習器真正例率和假正例率的關系，是檢測準確性的綜合代表。 2. 在生物信息學上的優點：ROC曲線不固定閾值，允許中間狀態的存在，利于使用者結合專業知識，權衡漏診與誤診的影響，選擇一個更加的閾值作為診斷參考值。 四、 AUC面積的由來 如果兩條ROC曲線沒有相交，我們可以根據哪條曲線最靠近左上角哪條曲線代表的學習器性能就最好。但是，實際任務中，情況很復雜，如果兩條ROC曲線發生了交叉，則很難一般性地斷言誰優誰劣。在很多實際應用中，我們往往希望把學習器性能分出個高低來。在此引入AUC面積。 在進行學習器的比較時，若一個學習器的ROC曲線被另一個學習器的曲線完全“包住”，則可斷言后者的性能優于前者；若兩個學習器的ROC曲線發生交叉，則難以一般性的斷言兩者孰優孰劣。此時如果一定要進行比較，則比較合理的判斷依據是比較ROC曲線下的面積，即AUC(Area Under ROC Curve)，如圖1圖2所示。 五、 什么是AUC面積 AUC就是ROC曲線下的面積，衡量學習器優劣的一種性能指標。從定義可知，AUC可通過對ROC曲線下各部分的面積求和而得。假定ROC曲線是由坐標為 六、 AUC面積的意義 AUC是衡量二分類模型優劣的一種評價指標，表示預測的正例排在負例前面的概率。 看到這里，是不是很疑惑，根據AUC定義和計算方法，怎么和預測的正例排在負例前面的概率扯上聯系呢？如果從定義和計算方法來理解AUC的含義，比較困難，實際上AUC和Mann-WhitneyU test(曼-慧特尼U檢驗)有密切的聯系。從Mann-Whitney U statistic的角度來解釋，AUC就是從所有正樣本中隨機選擇一個樣本，從所有負樣本中隨機選擇一個樣本，然后根據你的學習器對兩個隨機樣本進行預測，把正樣本預測為正例的概率 另外值得注意的是，AUC的計算方法同時考慮了學習器對于正例和負例的分類能力，在樣本不平衡的情況下，依然能夠對分類器做出合理的評價。AUC對樣本類別是否均衡并不敏感，這也是不均衡樣本通常用AUC評價學習器性能的一個原因。例如在癌癥預測的場景中，假設沒有患癌癥的樣本為正例，患癌癥樣本為負例，負例占比很少(大概0.1%)，如果使用準確率評估，把所有的樣本預測為正例便可以獲得99.9%的準確率。但是如果使用AUC，把所有樣本預測為正例，TPR為1，FPR為1。這種情況下學習器的AUC值將等于0.5，成功規避了樣本不均衡帶來的問題。 最后，我們在討論一下：在多分類問題下能不能使用ROC曲線來衡量模型性能？ 我的理解：ROC曲線用在多分類中是沒有意義的。只有在二分類中Positive和Negative同等重要時候，適合用ROC曲線評價。如果確實需要在多分類問題中用ROC曲線的話，可以轉化為多個“一對多”的問題。即把其中一個當作正例，其余當作負例來看待，畫出多個ROC曲線。 |
|
|
來自： 龍行天下zgb76e > 《深度學習》
個正例和
個反例，根據學習器預測結果對樣例進行排序，然后把分類閾值設置為最大，即把所有樣例均預測為反例，此時真正例率和假正例率均為0，在坐標(0,0)處標記一個點。然后，將分類閾值依次設為每個樣例的預測值，即依次將每個樣例劃分為正例。設前一個標記點坐標為
，當前若為真正例，則對應標記點的坐標為
；當前若為假正例，則對應標記點的坐標為
，然后用線段連接相鄰點即得。
的點按序連接而形成，參見圖2，則AUC可估算為公式3。
，把負樣本預測為正例的概率
，
