谷歌TPU只租不賣

板橋胡同37號 2018-02-19

展開全文

本文的開篇，想引用一位對TPU和GPU有所研究的網友原話。

“這個世界是一個羅生門，每個人都在自說自話，學術圈的一小部分人不能完全免俗，而科技圈 99% 的人都不免俗，每一套話語背后都有一個隱含的框框，只有掌握全部事實，才有可能跳出框框，獲得真相?！?/span>

2月13日，谷歌通過一篇博客文章中正式宣布，向谷歌云客戶開放張量處理器（Tensor Processing Unit，簡稱TPU）beta版服務。

對于選擇在谷歌云平臺上運行機器學習模型的客戶來說，這算是個好消息，但谷歌這次開放的TPU數量有限且按時收費，每小時成本為6.50美元，不少技術人士的第一反饋是：真貴。

每個 Cloud TPU 包含了 4 個定制化的 ASIC，每個 Cloud TPU 的計算能力達到每秒 180 萬億次浮點運算（180 teraflops），并提供有 64GB 的高帶寬內存。另外，這些電路卡即可以單獨使用，也可以通過超高速專用網絡連接起來，形成一個多層次的機器學習超級計算機，谷歌將之稱為“TPU pod”。谷歌預計今年晚些時候，將會開始供應這種更大的超級計算機，并表示訓練的時間-精度比將得到顯著提升。

提到谷歌TPU，就不能避免要說說英偉達的GPU，目前市面上廣泛試用的英偉達Tesla P100 GPU性能是每秒21teraflops，最新發布的V100也只是突破100 teraflops的水平。

谷歌傳奇工程師 Jeff Dean 在推特上連發 10 條消息介紹 Cloud TPU的這一動作：“我們對此感到非常興奮，因為許多研究人員和工程師在進行機器學習時都遇見了計算力不足的問題，而我們認為這 Cloud TPU將是一個很好的解決方案。舉例來說，我們一個 Cloud TPU 設備可以在 24 小時內將運行在 resnet-50 上的模型的識別精度訓練到 75%?！?/span>

另一方面谷歌在加速計算方面的優勢是，通常情況下為定制 ASIC 和超級計算機編寫程序需要專業知識技能，相比之下，只需要使用自家高級 TensorFlow API 就可以對 Cloud TPU 進行編程了。

谷歌表示，幾乎無需改動，Tensorflow的代碼就可以被TPU加速運行。此外，Google還開源了幾款圖像分類、物體識別和機器翻譯的高效模型，包括ResNet-50、Transformer和RetinaNet等，只需提供數據，這些模型可以使用TPU在Tensorflow上即刻運行。

谷歌在博客中提到，在Google Cloud上，不僅會為客戶提供每個ML工作負載最適合的云端TPU，同時也提供各種高性能CPU（包括英特爾Skylake）和GPU（包括NVIDIA Tesla V100）的能力支持。

在2016年5月的Google I/O開發者大會上，谷歌官方首次對外公布了TPU的存在，Google方面也曾透露，其實從2015年開始就一直在內部使用TPU，但是關于TPU的商業化，谷歌其實并不高調和積極。谷歌曾在很多場合公開表示過TPU不會進入市場售賣，這就證明谷歌不會像英特爾或者英偉達那樣去開發布會去推產品來獲得更大的AI芯片市場份額。

究其原因還是要回到谷歌為何要研發TPU，谷歌之所以搞一個專用加速芯片，是因為自己越來越多的產品開始使用非常復雜的深度學習模型，從而產生了迫切的算力提升需求，這也是谷歌同英特爾和英偉達這兩家拼殺AI芯片的本質不同：后者是看到了市場上的激增需求，于是自己針對這種需求設計了芯片產品，以期獲得更好的銷量和市場份額，而谷歌是自己有這種需求，出發點是滿足內需，別人想用TPU，只能寄希望于谷歌的云服務能開放對TPU的使用權限，就像是現在的這種做法。

那谷歌Cloud TPU會成為英特爾或者英偉達的直接競爭對手么？現在看也未必會，只是面對AI加速計算領域的紅利，谷歌在嘗試一種巧妙的商業嘗試。

英偉達CEO 黃仁勛曾在一次采訪中披露，兩年前谷歌就意識到 GPU 更適合訓練，而不善于做訓練后的分析決策，也就是推理。由此可知，谷歌打造 TPU 的動機只是想要一款更適合做分析決策的芯片，類似于阿爾法狗戰勝人類圍棋冠軍就十分需要TPU了。英偉達工程架構副總裁 Marc Hamilton也曾表示TPU 只在特定應用中作為輔助使用，公司仍將繼續使用 CPU 和 GPU。

可為什么要跟跟英偉達較勁幾倍還是幾十倍性能這種事呢，沒辦法，可能觀眾愿意看吧。TPU和GPU其實不是誰取代誰的問題，而是各自都有生存的空間，大概誰也不能取代誰，不同層面和階段的性能PK只是可以看作是互相激勵和參照吧。

另一方面，谷歌CloudTPU服務開放的最終價值，對于廣大開發者來說可能還是需要考慮夠不夠劃算夠不夠好用的問題。在實際的開發中，知道如何用最簡潔的方法編寫代碼、如何使用才能發揮出硬件的最大實力和使用多強的硬件一樣重要甚至要更重要。

如果代碼寫的不好，計算機總是要在重復的步驟上浪費很多時間，那用再強的硬件或者云端計算也沒有多大意義，而高水平的的開發者會知道如何把這些個硬件的性能榨干到一絲不剩，發揮到極致，滿足需求即可，所以，關于TPU和GPU的對比，以及一些爭吵還是要看各自在通用和專用領域的能發揮的實際效果和用途，歸根到底或許就是對性能、功能以及場景的綜合把控。

就目前來看，憑借強大的并行計算能力，在機器學習快速發展的潮流下，GPU目前在深度學習芯片市場非常受歡迎，正在成為一種主流的趨勢。包括谷歌、Facebook、微軟、Twitter 和百度等公司都在使用GPU訓練分析圖片、視頻和音頻文件，改進搜索和圖像標簽等應用功能，GPU 也被大量應用于 VR/AR 相關產業，此外，很多汽車生產商也在使用 GPU 芯片發展無人車和自動駕駛技術，可以說GPU 是眼下智能產品市場用戶覆蓋率最廣泛的芯片。

而TPU專用于人工智能和機器學習，逐步開放可為谷歌帶來兩大好處：首先，利用自主研發的芯片，谷歌可以在核心的計算基礎設施方面更便宜、更有效地減少對英特爾、英偉達等芯片制造商的依賴，擁有自己的硬件使谷歌能夠更快地進行實驗。其次，現在谷歌云平臺（GCP）和谷歌的業務應用程序GSuite每季度可超過10億美元收入，新的TPU服務作為亮點會為谷歌的云計算業務帶來額外收入。

眾所周知，通用處理器（CPU）的摩爾定律時代已結束，而機器學習和 Web 服務的規模卻在指數級增長。人們使用定制硬件來加速常見的計算任務，然而日新月異的行業又要求這些定制的硬件可被重新編程來執行新類型的計算任務。除TPU和GPU，我們也能看到FPGA 和異構計算的技術潮流，其實目的只有一個，如何合理搭配來更好的執行計算任務，而不是誰能取代誰。