新智元報(bào)道 來源：arXiv 編輯：LRS 【新智元導(dǎo)讀】Transformer模型好是好，可惜太慢了！最近一位清華大神在arxiv上傳了一篇論文，提出新模型Fastformer，線性時(shí)間復(fù)雜度，訓(xùn)練和推理效率史上最快，還順手在排行榜刷了個(gè)sota。 Transformer 的強(qiáng)大毋庸置疑，想要在CV和NLP的排行榜上取得一席之地，Transformer幾乎是必不可少的骨架模型。 但它的效率相比傳統(tǒng)的文本理解模型來說卻不敢恭維，Transformer的核心是自注意力（self-attention）機(jī)制，對(duì)于輸入長(zhǎng)度為N的文本，它的時(shí)間復(fù)雜度達(dá)到二次O(N^2)。 雖然已經(jīng)有很多方法來處理 Transformer 加速問題，但是對(duì)于長(zhǎng)序列來說，這些方法要么效率仍然較低或是效果還不夠好，例如BigBird使用稀疏注意力卻丟失了全局上下文信息。 清華大學(xué)提出了一個(gè)新模型Fastformer，基于additive attention能夠以線性復(fù)雜度來建立上下文信息。 
論文地址：https:///abs/2108.09084 文章的第一作者武楚涵，是清華大學(xué)電子工程系的博士研究生。 目前的研究興趣包括推薦系統(tǒng)、用戶建模和社會(huì)媒體挖掘。在人工智能、自然語言處理和數(shù)據(jù)挖掘領(lǐng)域的會(huì)議和期刊上發(fā)表過多篇論文。 
僅2021年就在頂會(huì)上發(fā)表了六篇論文，大神的世界只能仰望。 
論文的通訊作者是黃永峰，清華大學(xué)電子系教授，博士，博導(dǎo)，信息認(rèn)知和智能系統(tǒng)研究所副所長(zhǎng)，首屆全國十佳網(wǎng)絡(luò)安全優(yōu)秀教師。 主要從事網(wǎng)絡(luò)及網(wǎng)絡(luò)安全技術(shù)的研究和教學(xué)。現(xiàn)為IEEE Senior Member、中國電子學(xué)會(huì)信息隱藏與多媒體安全專家委員會(huì)委員。 已在IEEE Transaction IFS和中國科學(xué)等國內(nèi)外著名期刊和AAAI和ACL等重要國際會(huì)議發(fā)表論文300多篇；出版專著4部、譯著2部，教材2部。申請(qǐng)和授權(quán)發(fā)明專利10余項(xiàng)。 
Fastformer首先對(duì)輸入的attention query矩陣合并為一個(gè)全局query向量，然后對(duì)attention的key和全局query向量采用element-wise的乘法學(xué)習(xí)到全局上下文相關(guān)key矩陣，再通過additive attention合并為全局key向量。 通過元素乘積對(duì)全局key和attention之間的交互進(jìn)行建模，并使用線性變換學(xué)習(xí)全局上下文感知的注意力，最后將它們與attention query查詢一起添加以形成最終輸出。 
由此，計(jì)算復(fù)雜度可以降低到線性，并且可以有效地捕獲輸入序列中的上下文信息。 對(duì)于學(xué)習(xí)全局query和key向量的additive attention網(wǎng)絡(luò)，其時(shí)間和內(nèi)存開銷均為O(N·d)，參數(shù)總數(shù)為2hd（h為注意頭數(shù)）。此外，元素乘積的時(shí)間代價(jià)和內(nèi)存代價(jià)也是O(N·d)，總復(fù)雜度是，比標(biāo)準(zhǔn)的Transformer復(fù)雜度要更有效率。 如果采用權(quán)重共享（weight sharing）方法，每層Fastformer的總參數(shù)為量，也有更少的參數(shù)。 模型驗(yàn)證 論文在五個(gè)不同任務(wù)的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)來驗(yàn)證Fastformer的效率：
實(shí)驗(yàn)過程中使用Glove詞向量初始化，在32GB的V100 GPU上進(jìn)行5次實(shí)驗(yàn)取性能的平均值。 對(duì)比模型包括：
在分類任務(wù)上，可以看到FastFormer要比標(biāo)準(zhǔn)的Transformer要更好。 
比較不同方法在新聞推薦任務(wù)中的性能時(shí)，又增加了三個(gè)模型：
在不同的Transformer結(jié)構(gòu)中，F(xiàn)astformer達(dá)到了最好的性能，并且它也基本優(yōu)于NRMS模型。此外，F(xiàn)astformer可以進(jìn)一步提高PLM-NR的性能，并且集成模型在MIND排行榜上獲得最佳結(jié)果。 結(jié)果分析 結(jié)果表明，F(xiàn)astformer不僅在文本建模方面是有效的，而且在理解用戶興趣方面也是有效的。 
既然提到快，在效率的對(duì)比上也要進(jìn)行實(shí)驗(yàn)。將輸入序列的長(zhǎng)度從128調(diào)整為65535，并將batch size的大小與序列長(zhǎng)度成反比。使用隨機(jī)生成token作為偽樣本，并固定token embedding以更好地測(cè)量不同方法的計(jì)算成本。 
當(dāng)序列長(zhǎng)度相對(duì)較長(zhǎng)時(shí)（例如512），Transformer效率較低。此外還發(fā)現(xiàn)，雖然Poolingformer在理論上具有線性復(fù)雜性，但在實(shí)踐中效率低下。這是因?yàn)樗褂玫拇翱诖笮。ɡ?56）以類似卷積的方式計(jì)算池權(quán)重，這導(dǎo)致計(jì)算成本的非常大的常數(shù)項(xiàng)。 在訓(xùn)練和推理時(shí)間方面，F(xiàn)astformer比其他線性復(fù)雜度Transformer更有效，這些結(jié)果驗(yàn)證了Fastformer的有效性。 不同的參數(shù)共享技術(shù)對(duì)Fastformer的技術(shù)也有影響，通過共享query和value轉(zhuǎn)換矩陣，在不同的注意頭之間共享參數(shù)，可以發(fā)現(xiàn)，與沒有任何參數(shù)共享技術(shù)的Fastformer模型相比，使用query-value參數(shù)共享可以獲得類似或略好的性能。因此可以通過共享query和value轉(zhuǎn)換矩陣來減少參數(shù)大小。 此外，頭部參數(shù)共享將導(dǎo)致顯著的性能下降。這是因?yàn)椴煌淖⒁忸^需要捕捉不同的上下文模式，而共享它們的參數(shù)對(duì)上下文建模是不利的，采用分層共享方法可以進(jìn)一步提高模型的性能，因?yàn)椴煌瑢又g的參數(shù)共享可以緩解過擬合的風(fēng)險(xiǎn)。 參考資料： https:///abs/2108.09084 |
|
|
