在最近的FPGA國際研討會(ISFPGA)上，英特爾加速器架構實驗室(AAL)的Eriko Nurvitadhi博士，發表題為《Can FPGAs beat GPUs in Accelerating Next-Generation Deep Neural Networks》的報告，分享了英特爾的最新研究。

　　這一研究，主要評估在DNN(深度神經網絡)算法領域，兩代英特爾FPGA(Intel Arria10和Intel Stratix 10)，與NVIDIA TITAN X Pascal GPU相比性能如何。

　　△ 深度神經網絡概述

　　英特爾表示在應用領域，FPGA在DNN研究中表現非常出色，可用于需要分析大量數據的AI、大數據或機器學習等領域。使用經修剪或緊湊的數據類型與全32位浮點數據(FP32)時，測試的Intel Stratix 10 FPGA的性能優于GPU。

　　除了性能外，FPGA還具有強大的功能，因為它們具有適應性，通過重用現有的芯片可以輕松實現更改，從而讓團隊在六個月內從一個想法進入原型。

　　而構建一個ASIC需要18個月。

　　FPGA重要性正在提升

　　△ FPGA非常適用于DNN

　　硬件：與高端GPU相比，FPGA具有卓越的能源效率(性能/瓦特)，但還有不被熟知的高峰值浮點性能。FPGA技術正在迅速發展。即將推出的英特爾Stratix 10 FPGA提供超過5，000個硬件浮點單元(DSP)，超過28MB的片上RAM(M20K)，與高帶寬內存等特性。

　　基于14nm工藝的英特爾Stratix 10在FP32吞吐量方面達到峰值9.2TFLOP/s。相比之下，最新的Titan X Pascal GPU的FP32吞吐量為11TFLOP/s。

　　新興的DNN算法：更深的網絡提高了精度，但是大大增加了參數和模型大小。這增加了對計算、帶寬和存儲的需求。因此，新興趨勢是采用緊湊型低精度數據類型，遠低于32位。16位和8位數據類型正在成為新常態，也得到DNN軟件框架(例如TensorFlow)的支持。

　　新興的低精度和稀疏DNN算法比傳統的密集FP32 DNN提供了數量級的算法效率改進，但是它們引入了難以處理的不規則并行度和定制數據類型。這時FPGA的優勢就體現出來了。這種趨勢使未來FPGA成為運行DNN，AI和ML應用的可行平臺。

　　研究所用的硬件和方法

　　GPU：使用已知的庫(cuBLAS)或框架(Torch with cuDNN)

　　FPGA：使用Quartus Early Beta版本和PowerPlay

　　研究一：矩陣乘法(GEMM)測試

　　矩陣乘法(GEMM)測試的結果。GEMM是DNN中的關鍵操作，上述四個不同類型的測試表明，除了在FP32 Dense GEMM測試中，Stratix 10與TITAN X仍有差距。另外三項測試中新一代英特爾FPGA的表現都優于GPU。

　　研究二：使用三元ResNet DNNs測試

　　三進制DNN最近提出約束神經網絡權重為+1，0或-1。這允許稀疏的2位權重，并用符號位操作代替乘法。與許多其他低精度和稀疏的DNN不同，三元DNN可以提供與現有技術DNN(即ResNet)相當的精度。

　　上圖右半部分，顯示了英特爾Stratix 10 FPGA和TITAN X GPU的ResNet-50的性能和性能/功耗比。即使對于保守的性能估計，英特爾Stratix 10 FPGA已經比實現了TITAN X GPU性能提高了約60%。在性能/功耗比方面，英特爾Stratix 10比TITAN X要好2.3倍到4.3倍。

　　結論

　　再說一次，這個研究報告出自英特爾，這個研究團隊還指出，除了DNN之外，FPGA在其他不規則應用程序以及延遲敏感程序(如ADAS)等領域也有機會。