【原】Kaggle大神經驗分享丨如何用15個月沖到排行榜的首位

在最新的Kaggle用戶排行榜上，排名第一位的ID是Bestfitting，他本人叫Shubin Dai。Shubin Dai在兩年前加入Kaggle，目前生活在中國湖南省長沙。他是一名數據科學家、工程師，目前領導一家為銀行提供軟件解決方案的公司。在工作之余，除了Kaggle，Dai還是一名狂熱的山地車手，喜歡戶外運動。

最近Shubin Dai接受了Kaggle團隊的專訪，分享了他在參加Kaggle競賽時的心得與體會。

我的專業是計算機科學，在軟件開發方面有超過10年的經驗。目前我負責領導一個團隊，專門為銀行提供數據處理和分析的方案。

自大學以來，我對利用數學知識構建程序，從而來解決問題十分感興趣。我一直在閱讀計算機科學方面的書籍和論文，并且很高興見證了過去十年中機器學習和深度學習方面的進展。

正如之前所說的，我一直在閱讀大量機器學習和深度學習方面的書籍和論文，但發現很難將我學到的算法應用于小型數據集。我發現Kaggle是一個很棒的平臺，當中有各種有趣的數據集、算法和精彩的探討。我迫不及待想進行嘗試，我第一個參加的比賽是“預測紅帽商業價值”(Predicting Red Hat Business Value)。

在比賽開始的第一個星期，我會創建一個解決方案文檔，在比賽進行中，我會不斷對文檔進行更新。為此，首先我需要了解比賽和手上的數據，然后研究類似的Kaggle比賽和相關論文。

1. 仔細閱讀比賽的概述和數據的描述；

2. 查找類似的Kaggle比賽。作為剛加入Kaggle社區不久的新手，我對所有的Kaggle比賽進行了搜索和分析；

3. 研究類似比賽的解決方案；

4. 閱讀相關論文，確保我跟進該領域的最新進展；

5. 分析數據，并構建可靠的交叉驗證；

6. 進行數據預處理、特征工程、模型訓練；

7. 進行結果分析，包括預測分布、錯誤分析、困難樣本等；

8. 根據分析，精心設計模型或設計新模型；

9. 基于數據分析和結果分析，通過設計模型增加多樣性，或解決困難樣本；

10. 模型集成；

11. 必要時返回前面某個步驟。

我會逐個選擇算法，但在進行集成時我更喜歡用簡單的算法，如嶺回歸(ridge regression)。在深度學習的比賽中，在開始我總是喜歡使用resnet-50或設計類似的結構。

在計算機視覺比賽中，我非常喜歡用pytorch。在自然語言處理或時間序列比賽中，我喜歡用TensorFlow或keras。在進行分析時，我會使用seaborn，以及scipy庫。很多情況下scikit-learn和XGB都是不錯的選擇。

我根據對數據和算法的理論理解來調整參數，如果我無法解釋結果變好或變壞的原因，我不會輕易使用。

在深度學習比賽中，我經常會搜索相關論文，查找在類似情況下其他人會怎么做。

而且，我會比較參數更改前后的結果，例如預測分布、受影響的樣本等。

有了好的交叉驗證方法就成功了一半。在找到好的方法來評估模型前，我不會進入下一步。

為了構建可靠的交叉驗證方法，你必須很好地理解數據和所面臨的挑戰。我還會檢查，并確保驗證集與訓練集和測試集有類似的分布，我會確保我的模型本地交叉驗證和公共排行榜上都有不錯的改進。

在時間序列比賽中，我會留出數據作為驗證集。

通常，我會以一種保守方式來選擇最終的提交模型。我會選擇對可靠模型進行加權平均后的集成模型，并確定出其中相對冒險的模型。在我看來，更多的參數意味著更多的風險。但我不會選擇我無法解釋的模型，即使它的公共排行榜得分很高。

需要良好的交叉驗證方法。以及從其他比賽中學習，閱讀相關論文，還需要自律和心里承受力。

我最喜歡自然保護和醫療相關的比賽。我覺得我有必要為改善我們的生活和保護地球做些什么。

我對深度學習的各種進步都很感興趣。我想利用深度學習解決除計算機視覺和自然語言處理之外的問題，因此在我參加的比賽和日常工作中，我會使用到深度學習。

老實說，我不認為專業知識會有太多的作用，原因如下：

1. Kaggle提供的比賽數據對每個人都很公平；

2. 僅使用成熟的方法贏得比賽是很難的，尤其是對于深度學習的比賽。因此我們需要更多創造性的解決方案;

3. 數據本身更重要，盡管我們可能需要閱讀一些相關的材料。

但是也有一些例外。例如，在Planet Amazon比賽中，我從我在熱帶雨林的經歷中獲得了一些想法，但這些經驗并不能稱為專業知識。

我認為是在比賽開始時準備解決方案文檔。我會列一份清單，包括面臨的挑戰、應該閱讀的解決方案和論文、可能的風險、可能的交叉驗證方法、可能的數據增強方法以及加強模型多樣性的方式。而且，我會不斷更新文檔。幸運的是，這些文檔在我之后的比賽中都很很大的幫助。

我的團隊嘗試通過機器學習解決各種銀行業務問題，比如預測銀行網點的訪客；預測ATM應準備的現金；產品推薦；操作風險控制等。

Kaggle比賽也改變了我的工作方式，當我為解決問題尋找解決方案時，我會尋找類似的Kaggle比賽，因為那些都是寶貴的資源。同時我還建議我的同事們研究類似的解決方案，從中獲得啟發。

以下是我的看法：

1. 只有當這方面出現問題時，培訓/測試運行時間才值得關注。當正確率很重要時，不用太擔心模型的復雜性。如果獲得訓練數據需要好幾個月的時間，那么我們需要充分的利用。

2. 現在，只對弱模型進行集成很難贏得比賽。如果你想成為第一名，你需要多個很好的單一模型。如果我想在比賽中確保第一名，我會設計幾個不同的模型，并且在排行榜上能達到前10名，有時甚至是前3名。

3. 按照我的經驗，我會在比賽中設計模型來探索這個問題的上限，然后選擇一個簡單的模型使其在實際情況下可行。我總會盡量向組織者提交一個簡單模型，并且與他們進行討論。我發現一些組織者甚至會使用我們的方案來解決他們面臨的其他問題。

4. 當訓練/測試運行時間很重要時，Kaggle有很多機制來確保性能：kernel比賽、團隊規模限制、增加更多在計分時未計算的數據等。我相信Kaggle也會根據比賽目標改進規則。

有趣的比賽和Kaggle中強大的競爭對手讓我不斷進步。

Kaggle中有許多優秀的競爭者，因此想贏得比賽并非易事，這不斷挑戰我的極限。去年，我盡可能多地完成比賽，并且猜測其他競爭者會做什么。為此，我必須閱讀大量材料，并構建多功能模型。在比賽之后，我研究了其他競爭對手的解決方案。

今年我希望能參加Kaggle的深度強化學習比賽。

首先，取得第一只是代表我在Kaggle所學到的知識，而且我也幸運。

在我的前幾次比賽中，我試圖將近年來學到的理論轉化為技巧，并從其他人那里學到很多。

在對Kaggle比賽有一定的了解之后，我開始思考如何用系統化的方式進行比賽，因為我在軟件工程方面有多年經驗。

大約半年后，我獲得了首個獎項，并獲得了一些自信。我感覺我可能會在一年內成為達到大師級別。在Planet Amazon比賽中，我試圖獲得金牌，當發現自己名列第一位時，我非常驚訝。

然后我覺得應該繼續使用之前提到的策略和方法，從而取得更多的成功。在贏得Cdiscount比賽后，我爬升到了用戶排名榜的前列。

我從Kaggle平臺受益頗多，我從其他人那里學到了很多，Kaggle的用戶排名系統也激勵著我不斷進步。我也感到很幸運，我沒想到我能連續獲得6次獎項，在許多比賽中取得了前10名或前1％的成績。我可能很難再重復這個經歷了。

但是，取得好的排名并不是我的目標。我把每場比賽都視為學習的機會，因此我會選擇我不太熟悉領域的比賽，這迫使我去年研讀了成百上千篇論文。

我尊重所有的贏家和出色解決方案的貢獻者，我知道他們付出了非常多的努力。我總是以一種可敬的態度研究這些解決方案。

原文鏈接：

http://blog./2018/05/07/profiling-top-kagglers-bestfitting-currently-1-in-the-world/