[模型評估]五種評估圖表（Clementine）

預測值和置信度：

$R-表示預測值，$RC表示置信度，置信度在0-1之間，說明預測值的精準度。

評估圖表的工作原理：

根據預測值及預測的置信度排序記錄、將記錄分割為大小相等的組（分位數）并按由高到低順序為每個分位數繪制業務標準值。

收益（增益）圖表：

收益的定義是相對于全部匹配，發生于每個分位數中的匹配的百分比。其計算方法為（分位數中的匹配數量/全部匹配數量） × 100%。

解讀收益圖。累積收益圖的線從左至右的走勢通常是從0% 到100%。優秀模型的收益圖將陡升至100%，然后保持平直。無法提供有用信息的模型將呈對角線狀，即從左下角到右上角（選擇了包含基線后將顯示類似圖表）。

提升圖（TGI指數）:

提升將每個分位數中匹配記錄的百分比與在全部訓練數據中匹配的百分比進行比較。其計算方式為（在分位數中的匹配/在分位數中的記錄）/（全部匹配/全部記錄）。

解讀提升圖。累積提升圖的線從左至右的走勢通常為：起始于大于1.0 的值，并漸漸下降，直到接近1.0。圖表的右側邊緣表示整個數據集，因此累積分位數的匹配與數據中的匹配的比例為1.0。對于優秀模型的提升圖，其線開始于圖表左側大于1.0 的值，且在向右移動的過程中，始終保持在較高的水平；然后，在圖表右側，向1.0 的方向迅速下降。如果模型不能提供任何信息，則其線在整個圖形中將始終圍繞在1.0 左右。（如果選擇了包含基線，一條值為1.0 的水平線將顯示在圖表中供您參考。）

響應圖：

響應即分位數中，匹配記錄的比例。其計算方式為（分位數中的匹配/分位數中的記錄）× 100%。

解讀響應圖。累積響應圖通常與提升圖極其類似，只在尺度標準方面有所區別。通常，響應圖開始于接近100% 之處，并逐漸下降，最終將在延伸至圖表右側邊緣時達到整體響應率（全部匹配/全部記錄）。對于優秀模型的響應圖，其線開始于圖表左側接近或等于100% 的值，且在向右移動的過程中，始終保持在較高的水平；然后，在圖表右側，向整體響應率的方向迅速下降。如果模型不能提供任何信息，則其線在整個圖形中將始終圍繞在整體響應率左右。（如果選擇了包含基線，一條值相當于整體響應率的水平線將顯示在圖表中供您參考。）

利潤圖：

利潤等于每個記錄的收入減去該記錄的成本。也就是說，分位數的利潤就是位于該分位數內的所有記錄的利潤總和。這里假定收入僅應用于匹配項，但成本可應用于所有的記錄。利潤及成本都可以是固定的，也可以由數據中的字段決定。其計算方法為（分位數中所有記錄收入的總和分位數中所有記錄成本的總合）。

例如，如果為每個客戶郵寄報價的成本是$0.48，而從接受三個月的訂閱的積極響應中獲得的收入是$9.95，則每個no 響應將花費$0.48，而每個yes 響應將賺取$9.47（計算方式為9.95–0.48）。

解讀利潤圖。累積利潤圖線從左至右的走勢代表隨著所選樣本數量的增加，利潤總和的增長。利潤圖通常開始于0 附近，并在向右延伸的過程中，穩步增長直至在圖表中部到達峰值或保持較高的值；隨后，在向右側邊緣延伸的過程中，逐漸下降。優秀模型的利潤圖將在圖表中部某處顯示定義良好的峰值。而無法提供任何信息的模型，其線相對而言比較平直，也可能由于成本/收入結構的不同增加、降低或保持不變。

投資回報圖：

投資回報(ROI) 也需要確定收入和成本，從這一點上來說，它與利潤相同。ROI 將分位數的成本和利潤進行比較。其計算方法為（分位數利潤/分位數成本）× 100%。

解讀投資回報圖。累積投資回報(ROI) 圖通常與響應圖及提升圖類似，只有在尺度標準方面有所差別。投資回報圖通常開始于大于0% 的值，并逐漸下降，直到達到整個數據集的整體ROI（可能為負）。對于優秀模型的投資回報圖，其線開始于圖表左側大于0% 的值，且在向右移動的過程中，始終保持在較高的水平；然后，在圖表右側，向整體ROI 的方向迅速下降。如果模型不能提供任何信息，則其線在整個圖形中將始終圍繞在整體ROI 左右。

累積響應圖、提升圖和投資回報圖類似，只是在尺度標準方面有所差別。