高性能文件存儲專家WekaIO今天推出了Weka AI，這是一種DataOps“存儲解決方案框架”，旨在減少邊緣核心云數(shù)據(jù)AI管道中的摩擦。

該公司表示，該產(chǎn)品啟用了單個名稱空間來實現(xiàn)數(shù)據(jù)管道可見性，同時滿足了AI數(shù)據(jù)管道各個階段對存儲IO的各種要求：用于攝取和培訓(xùn)，需要大帶寬，而ETL需要混合讀寫(提取，轉(zhuǎn)換，負載)和低延遲是推理的優(yōu)先級。

Weka AI屬于“ DataOps”類別，它是DevOps的分支，行業(yè)分析公司IDC企業(yè)基礎(chǔ)架構(gòu)實踐研究總監(jiān)Amita Potnis稱其為“新型智能數(shù)據(jù)操作平臺……可以減少摩擦，提高自動化效率。并通過策略和元數(shù)據(jù)驅(qū)動的流程提供靈活性和開放性，這些流程可以適應(yīng)現(xiàn)代環(huán)境中數(shù)據(jù)的多樣性和分布。”

WekaIO表示，由Weka文件系統(tǒng)，可定制的參考體系結(jié)構(gòu)和基于與Nvidia和Mellanox合作的軟件開發(fā)套件組成，Weka AI為單個GPU客戶端提供了超過73 GB /秒的帶寬，并補充說，它提供了“操作敏捷性”具有版本控制，可解釋性和可重復(fù)性，并提供管理和合規(guī)性以及在線加密和數(shù)據(jù)保護。”

該公司表示：“ AI數(shù)據(jù)管道與傳統(tǒng)的基于文件的IO應(yīng)用程序本質(zhì)上是不同的。” 因此，理想的解決方案必須滿足所有這些不同的要求，并及時提供大規(guī)模的見解。傳統(tǒng)解決方案缺乏這些功能，并且常常無法滿足跨角色和數(shù)據(jù)移動性要求的性能和共享性……這些解決方案必須提供數(shù)據(jù)管理，以通過打破孤島來提供運營敏捷性，治理和可操作的情報。”

縱觀整個數(shù)據(jù)管道格局，WekaIO的AI和戰(zhàn)略聯(lián)盟負責人Shailesh Manjrekar 在博客中表示：“為了迎合復(fù)雜的DNN(動態(tài)神經(jīng)網(wǎng)絡(luò))以及HPC，HPDA和AI，架構(gòu)的融合諸如GPUDirect存儲之類的東西對于直接提供GPU內(nèi)存變得至關(guān)重要，它可以提供最高的帶寬和最低的延遲。與SuperPOD共享用于64個DGX-2(5,000核x 16特斯拉x 64 DGX-2)的分布式培訓(xùn)的數(shù)據(jù)集已成為常態(tài)。想象一下在計算層涉及的并行性。NVMeOF(通過InfiniBand或RoCE Fabrics)之類的傳輸使數(shù)據(jù)本地性成為問題，尤其是對100 Gb / sec和200 Gb / sec網(wǎng)絡(luò)的支持。”

Nvidia加速計算產(chǎn)品管理總監(jiān)Paresh Kharya表示：“要實現(xiàn)AI的端到端應(yīng)用程序性能，就必須為高性能NVIDIA GPU提供高吞吐量的數(shù)據(jù)管道。“ Weka AI利用GPUDirect存儲在存儲和GPU之間提供直接路徑，消除了數(shù)據(jù)密集型AI應(yīng)用程序的I / O瓶頸。”