支持AI和ML部署的數(shù)據(jù)中心依靠基于圖形處理單元(GPU)的服務(wù)器為其計算密集型架構(gòu)提供支持。在多個行業(yè)中，到2024年，GPU使用量的增長將落后于GPU服務(wù)器預(yù)計超過31%的復(fù)合年增長率。這意味著將承擔(dān)更多的系統(tǒng)架構(gòu)師的職責(zé)，以確保GPU系統(tǒng)具有最高的性能和成本效益。

然而，為這些基于GPU的AI / ML工作負(fù)載優(yōu)化存儲并非易事。存儲系統(tǒng)必須高速處理海量數(shù)據(jù)，同時應(yīng)對兩個挑戰(zhàn)：

服務(wù)器利用率1)。GPU服務(wù)器對于訓(xùn)練大型AI / ML數(shù)據(jù)集所需的矩陣乘法和卷積非常高效。但是，GPU服務(wù)器的成本是典型CPU服務(wù)器的3倍。為了保持ROI，IT員工需要保持GPU繁忙。不幸的是，豐富的部署經(jīng)驗(yàn)表明GPU僅以30%的容量使用。

該2)。ML訓(xùn)練數(shù)據(jù)集通常遠(yuǎn)遠(yuǎn)超過GPU的本地RAM容量，從而創(chuàng)建了一個I / O瓶頸，分析人員將其稱為GPU存儲瓶頸。AI和ML系統(tǒng)最終要等待訪問存儲資源，這是因?yàn)樗鼈兊凝嫶笠?guī)模阻礙了及時訪問，從而影響了性能。為了解決這個問題，NVMe閃存固態(tài)硬盤逐漸取代了標(biāo)準(zhǔn)閃存固態(tài)硬盤，成為Al / ML存儲的首選。NVMe支持大規(guī)模的IO并行性，性能約為同類SATA SSD的6倍，并且延遲降低了10倍，并且具有更高的電源效率。正如GPU推動了高性能計算的發(fā)展一樣，NVMe閃存在降低延遲的同時，實(shí)現(xiàn)了更高的存儲性能，帶寬和IO / s。NVMe閃存解決方案可以將AI和ML數(shù)據(jù)集加載到應(yīng)用程序的速度更快，并且可以避免GPU匱乏。

此外，可通過高速網(wǎng)絡(luò)虛擬化NVMe資源的基于光纖的NVMe(NVMeoF)啟用了特別適用于AI和ML的存儲架構(gòu)。NVMeoF使GPU可以直接訪問NVMe的彈性池，因此可以使用本地閃存性能來訪問所有資源。它使AI數(shù)據(jù)科學(xué)家和HPC研究人員可以向應(yīng)用程序提供更多數(shù)據(jù)，以便他們更快地獲得更好的結(jié)果。

要獲得最佳的GPU存儲性能，就需要根據(jù)業(yè)務(wù)目標(biāo)對基礎(chǔ)架構(gòu)進(jìn)行微調(diào)。這里有四種方法可供考慮：

有效擴(kuò)展GPU存儲容量1)例如，InstaDeep為可能不需要或不需要運(yùn)行自己的AI堆棧的組織提供了AI即服務(wù)解決方案。因此，InstaDeep需要最大的ROI和可擴(kuò)展性。特別是，對多租戶的需求意味著基礎(chǔ)架構(gòu)必須隨時準(zhǔn)備就緒，以滿足各種工作負(fù)載和客戶端的性能要求。

InstaDeep基礎(chǔ)架構(gòu)團(tuán)隊在部署其第一個GPU服務(wù)器系統(tǒng)的早期就了解到，本地GPU服務(wù)器的存儲容量將太有限，只有4TB的本地存儲，而客戶的工作量則需要10到100 TB的TB。該團(tuán)隊研究了外部存儲選項，并注意到，使用傳統(tǒng)陣列它們將獲得更多的容量，但性能最終會阻礙AI工作負(fù)載，因?yàn)閼?yīng)用程序需要將數(shù)據(jù)移入和移出GPU系統(tǒng)，從而中斷工作流程并影響系統(tǒng)效率。

通過使用軟件定義的存儲在快速的RDMA網(wǎng)絡(luò)上合并NVMe閃存(一種將數(shù)據(jù)集加載速度提高10倍的方法)，InstaDeep可以實(shí)現(xiàn)更高的GPU容量利用率，消除了GPU瓶頸并提高了ROI，因?yàn)楝F(xiàn)有的GPU變得更加完整利用。