【原】GNN手繪草圖識別新架構：Multi-Graph Transformer 網絡

我愛計算機視覺 2020-12-23

展開全文

本文介紹一篇比較小眾但非常有意思的手繪草圖識別的新文章《Multi-Graph Transformer for Free-Hand Sketch Recognition》，其實質是提出了一種新穎的 Transformer 網絡。

該文作者信息：

作者均來自南洋理工大學。

Ⅰ 研究動機

通常，Transformer 的輸入是序列化輸入形式，若給定一個句子作為輸入，Transformer 允許句子中的全部詞之間建立相互關聯的 attention 關系。所以，本質上講，Transformer 把輸入的每個句子看作一個全連接的圖（fully-connected graph），Transformer 也算是一種特殊的圖神經網絡 (GNN)。然而，如何能為 Transformer 注入先驗知識去引導它更精細化地學習圖上的結構模式，是一個值得思考的問題。該文提出以手繪草圖作為一種 GNN 的實驗床，探索新穎的 Transformer 網絡。

手繪草圖（free-hand sketch）是一種特殊數據，本質上是一種動態的序列化的數據形式。因為，手繪的過程本身就是一個“連點成線”的過程（如下圖 1(b)所示）。

圖 1: 手繪草圖的離散化理解示意圖

已有的手繪草圖研究工作均在歐氏空間中對手繪草圖進行建模，手繪草圖被理解為靜態圖片輸入到 CNN 中，或者被理解為筆畫的關鍵點的坐標序列輸入到 RNN 中。

然而，在實時性要求較高的人機交互場景中，存儲和傳輸圖片會引起較大的開銷，存儲和傳輸筆畫的關鍵點的坐標是更好的選擇。文本的主要動機就是將手繪草圖表示為稀疏圖，將筆畫的關鍵點理解為結點（node），且在幾何空間中使用 Transformer 對其進行建模，從更具普適性的角度去理解并表示手繪草圖。

通過實驗，該文發現且證實了，原版的 Transformer（Vanilla Transformer）并不能對手繪草圖進行合理地表示。所以，該文提出了一種新穎的圖神經網絡，即 Multi-Graph Transformer（MGT）網絡結構，將每一張手繪草圖表示為多個圖結構（multiple graph structure），并且這些圖結構中融入了手繪草圖的領域知識（domain knowledge）（如上圖 1(b)和 1(c)所示）。

該文所提出的 Multi-Graph Transformer 網絡也可以用于其他結構化且序列化的數據建模當中。

Ⅱ Multi-Graph Transformer （MGT）

該文所提出的網絡結構可分為三個部分：

（1）網絡的輸入層；

（2）網絡的主干，即多層的Multi-Graph Transformer 結構；

（3）網絡的輸出層，即分類器。

2.1 Multi-Modal Input Layer

該文采用 Google QuickDraw 數據，對每一張手繪草圖都取前 100 個筆畫關鍵點，對多于 100 個關鍵點或者少于 100 個關鍵點的手繪草圖進行截斷（truncation）或者補零（padding）操作。每個結點被表示為 4 維的向量，前兩位是該結點在畫布上的橫縱坐標，第三位是用于描述畫筆狀態的標志位，第四位是位置編碼。橫縱坐標通過線性層進行升維，標志位和位置編碼通過 embedding layer 進行升維，它們升維之后拼接（concatenate）起來構成 MGT 的輸入。

圖 2: Multi-Graph Transformer 網絡結構圖

2.2 Multi-Graph Transformer

如圖 2所示，整體上看，該文所提出的 Multi-Graph Transformer（MGT）是一個 L 層的結構，每層由兩個子層構成，分別是 Multi-Graph Multi-Head Attention（MGMHA）sub-layer 和 position-wise fully connected Feed-Forward （FF）sub-layer。

該文所提出的 MGMHA 子層是一個多路并行結構，每一路都是一個基于圖結構的 Multi-Head Attention 模塊。這里的“圖”結構是由該文基于手繪草圖的領域知識所定義的圖結構，也就是在原文中所定義的多種鄰接矩陣。使用這些鄰接矩陣來描述每張手繪草圖上結點間的連通性。

進而，在 Multi-Head Attention 操作中，使用鄰接矩陣所描述的連通性來控制注意力分數矩陣中的連通性，允許或者屏蔽掉特定結點間的注意力關系。

FF 子層主要進行殘差連接和 BN 等操作，這里不做贅述。

2.3 Sketch Embedding and Classification Layer

給定一張草圖，經過 MGT 后，其每個結點都會被表示為一個向量，將這些結點的表示向量加起來作為該張草圖的向量表示。加和過程中，不考慮數據預處理過程中 padding 操作所引入的額外結點。網絡尾端的分類器由多層感知器來實現，使用 softmax 交叉熵損失函數。

Ⅲ 實驗

文中提供了 MGT 與眾多經典的 RNN 結構和 CNN 網絡的性能比較，同時也提供了詳細的消融實驗結果及可視化結果。盡管數據預處理環節的截斷操作決定了 CNN 是 MGT 的性能上界，但是 MGT 所取得的識別準確率不僅遠高于基于 LSTM 和 GRU 的網絡，而且還超越了眾多經典 CNN 網絡，僅低于 Incetpion V3 和 MobileNet V2，但差距很微小。

表 1: Test set performance of MGT vs. the state-of-the-art RNN and CNN architectures. The 1 st/2 nd/3 rd best results per column are indicated in red/blue/magenta.

下圖給出了可視化的分析，將一張鬧鐘的草圖輸入到訓練好的 MGT 中，其經過每一層后得到相應的注意力權重（attention heads），這里選取了其中一些有代表性的 heads。可以看到初始層的 heads 中，結點會更多地關注局部，消息傳遞是沿著筆畫展開的，高層的 heads 中，局部的注意力在逐漸淡化，模型正在從全局地角度對圖上的關系進行聚合。

同時，基于全局圖結構先驗知識所學到的 attention heads 對跨筆畫的消息傳遞也很重要，例如可以捕獲鬧鐘的 body 和 feet 間的關系。