許多最大的零售商和社交網(wǎng)絡(luò)都看到了擴(kuò)展 AI 培訓(xùn)能力的道路正在縮小。

正如我們上周所描述的那樣，硬件和軟件優(yōu)化并沒(méi)有提供我們幾年前看到的顯著改進(jìn)，這促使 Facebook 等公司深入挖掘其 ML 堆棧的更低級(jí)別。即使谷歌的鉆研下深處它是如何安排它的模型，以保持訓(xùn)練效率和人們想象的，亞馬遜也看到其中的優(yōu)化可以讓AI表現(xiàn)更大的升力。

對(duì)于亞馬遜的 AI 團(tuán)隊(duì)來(lái)說(shuō)，圖神經(jīng)網(wǎng)絡(luò) (GNN) 周圍的優(yōu)化限制很明顯。這些模型正在成為社交網(wǎng)絡(luò)、推薦以及在亞馬遜以外的藥物發(fā)現(xiàn)中的最佳選擇之一。盡管如此，盡管用例適合，但與現(xiàn)有硬件的網(wǎng)格并不那么清晰，該公司正在尋找在不超出計(jì)算(成本)限制的情況下不斷增加深度的方法。

與其他大規(guī)模推動(dòng)神經(jīng)網(wǎng)絡(luò)的大公司一樣，障礙越來(lái)越高，越來(lái)越難以攀登。

與其他深度學(xué)習(xí)框架不同，GNN 直到最近才成為優(yōu)化的主題。它們于 2014 年首次出現(xiàn)在研究中，并且在 2018 年至今引起了人們的興趣。盡管有這些用例，但讓 GNN 在大規(guī)模、復(fù)雜的圖形上很好地?cái)U(kuò)展仍然是一個(gè)挑戰(zhàn)，特別是對(duì)于像亞馬遜這樣的公司來(lái)說(shuō)，它們的 AI 部門(mén)正試圖在對(duì)更深層次的圖形的需求與昂貴的訓(xùn)練運(yùn)行之間取得平衡。

GNN 在計(jì)算需求方面與其他神經(jīng)網(wǎng)絡(luò)有很大不同，例如，許多適用于卷積神經(jīng)網(wǎng)絡(luò) (CNN) 的架構(gòu)并不完美。他們需要能夠處理大量具有不規(guī)則訪問(wèn)模式的稀疏數(shù)據(jù)的分散-聚集操作的設(shè)備。但是對(duì)于某些用例，圖神經(jīng)網(wǎng)絡(luò)仍然是最佳選擇。

圖神經(jīng)網(wǎng)絡(luò) (GNN) 是學(xué)習(xí)節(jié)點(diǎn)、邊和圖嵌入的一系列神經(jīng)網(wǎng)絡(luò)。每個(gè)節(jié)點(diǎn)周圍的“自我網(wǎng)絡(luò)”用于學(xué)習(xí)捕獲特定任務(wù)信息的嵌入。嵌入使用圖的結(jié)構(gòu)以及節(jié)點(diǎn)和邊的特征。這些嵌入是以端到端的方式學(xué)習(xí)的，預(yù)測(cè)是目標(biāo)節(jié)點(diǎn)的自我網(wǎng)絡(luò)的函數(shù)。

Da Zheng 和他在 Amazon AI 的團(tuán)隊(duì)正試圖通過(guò)將圖網(wǎng)絡(luò)分成批次并評(píng)估哪些內(nèi)容留在 GPU 上以及哪些內(nèi)容由于內(nèi)存限制而必須同時(shí)使用 CPU 和 GPU 進(jìn)行訓(xùn)練，從而對(duì)如何最有效地進(jìn)行訓(xùn)練進(jìn)行排序。

在上周的 Hot Chips 上，他解釋說(shuō)，他們只能在 GPU 上使用某些模型的完整圖，以便在 GPU 內(nèi)存中使用時(shí)加快訓(xùn)練速度。否則，他們必須將圖形分成小批量，這最終會(huì)更快并在 CPU 和 GPU 上運(yùn)行。

“對(duì)于 GNN，稀疏和密集操作很重要，訓(xùn)練方法很重要，”他解釋道。“對(duì)于全圖訓(xùn)練，稀疏和密集操作都占運(yùn)行時(shí)間的 50%。對(duì)于小批量訓(xùn)練，密集操作主導(dǎo)計(jì)算。然而，小批量采樣會(huì)導(dǎo)致顯著的開(kāi)銷，尤其是在混合 CPU/GPU 訓(xùn)練的情況下。