轉載自公眾號：量子位 微信號：QbitAI眾所周知，人工智能近年來發展迅猛，計算能力的提升功不可沒。 為了感受這個速度，OpenAI發布了一份分析報告，說的是2012年開始，AI訓練所用的計算量呈現指數增長，平均每3.43個月便會翻倍。 對比一下，摩爾定律的翻倍時間是18個月。從2012年到現在，計算量擴大了300,000倍。如果是周期是18個月，那只會擴大12倍。 看著計算力對AI發展的影響，如果按這個趨勢發展下去，未來系統的能力可能會遠遠超過我們今天的想象。 △ 對數表示 圖表顯示的是每只AI的計算量，以petaFLOPS-day (pfs-day) 為單位。一個pfs-day)，是一天中每秒進行10^15次神經網絡運算，或者說每天10^20次運算。 計算速度乘以時間，可以給人類一種比較直觀的感受，就像千瓦時一樣。 △ 線性表示 注意一下，這些數據并不是硬件的理論峰值，而是估算實際進行了的運算次數。 每個加法，每個乘法，都看做一次運算，不論數值精度怎樣 (這樣看來，說是FLOP可能有些用詞不當) 。另外，這份報告并沒有考慮集成模型。 單個模型的計算量AI的發展中有三個因素至關重要：算法革新，數據 (可以是監督數據，也可以是交互式環境) ，以及訓練可用的計算量。 算法革新和數據這兩項上的進展，都比較難追蹤。相比之下，計算能力還是可以量化的，給了人們評估AI發展進程的一個方式。 系統完成大量計算的時候，常常會讓算法中的一些短板暴露出來。不過，至少在許多現有領域，更大的計算量表現為更好的性能，也與算法的發展相輔相成。 報告認為，單個GPU的速度不是最有用的數字，最大數據中心的容量也沒那么重要。相比，訓練單個模型所需要的計算量，才是更好衡量標準，可以反映模型到底有多強大。 單個模型的計算量，和總計算量有很大的不同。因為并行性的限制，會影響模型的大小，以及它能夠接受怎樣的訓練。 當然，即便沒有那么大的計算量，也可以產生重大的突破。不過，這份報告只討論了計算能力。 運算速度呈現快速增長，一部分原因可能是，在GPU/TPU價格相同的情況下，定制硬件能夠支持每秒更多次的運算。不過，主要原因可能還是研究人員一直在探索，讓更多芯片并行的方法，且愿意為此投入大量資金。 兩年就是一個時代我們大概可以從圖中看出四個不同的時期。 · 2012之前：GPU在機器學習里的應用還不多見，彼時取得成就相對艱難。 · 2012-2014：在許多GPU上訓練的基礎架構還很少，所以大多成就都是用1-8個GPU、1-2 TFLOPS的運算速度達成的，相當于0.001-0.1 pfs-day。 · 2014-2016：100-1000個GPU，速度在5-10 TFLOPS，結果是0.1-10 pfs-day。數據并行獲得的收益越來越少，更大規模的訓練價值有限。 · 2016-2017：出現了大批量處理、結構搜索、專家迭代 (EXIT) 等支持更強并行性的方法，還有TPU等專用硬件和更快的互聯，沖破了局限。 AlphaGo是大規模并行算法最有名的栗子之一，不過很多規模相似的應用，現在在算法上都可行了，并且已經應用在生產環境里。 車要開得快，還是開得穩分析認為，圖中顯示的增長趨勢很可能持續下去。 許多硬件領域的初創公司都在研發AI芯片，其中一部分還宣稱，能夠在未來1-2年內大幅提升FLOPS/Watt，即提升FLOPS/$。除此之外，重新配置硬件也可能為同樣的運算速度降低成本。 至于并行性，最近發生的許多算法革新，理論上都可以用“乘法”組合在一起——比如結構搜索和大規模并行SGD。 問題是成本可能抑制并行性的發展，芯片的效率也會受到物理方面的限制。但問題是可以解決的。 報告認為，雖然最大規模的訓練所需的硬件，要花費數百萬美元；不過，目前大多數神經網絡計算都不在訓練上，而在部署上。 這就是說，公司可以調整芯片的用途，或者有能力購買更多的芯片用于訓練。 因此，如果能夠刺激更多的資金投入，我們就可能看到更加龐大的并行訓練，增長趨勢也會持續更久。 這個世界的硬件總預算，達到了每年1萬億美元，所以成本上的壓力都不是太強硬的挑戰。 根據數據、指數增長的先例、機器學習專用硬件的發展以及經濟因素，OpenAI認為短期內增長趨勢還會繼續。 以往趨勢并不足以預測，正在發生的增長會持續多久，也不足以判斷，增長過程中會發生什么。不過，就算只是一個合理假設，我們也有理由開始重視安全問題和惡意使用問題了。 要制定政策，要負責任地發展科技，預見是非常重要的。 未雨綢繆，好過亡羊補牢。 |
|
|
