邊緣計算專家SolidRun和ASIC解決方案公司Gyrfalcon Technology本周宣布了一款基于Arm的AI推理邊緣服務(wù)器,兩家公司表示,它們在降低成本和功耗方面優(yōu)于GPU性能。
該服務(wù)器稱為Janux GS31,可以配置多達128個Gyrfalcon Lightspeeur SPR2803S神經(jīng)加速器芯片,每瓦最大可提供24 TOPS,比“基于SoC和GPU的系統(tǒng)”好幾個數(shù)量級,而使用功率卻要低得多。兩家公司在聯(lián)合聲明中說:“具有等效計算能力的系統(tǒng)所需的能量。”該硬件支持低延遲解碼和多達128個1080p / 60Hz視頻通道的視頻分析,這些邊緣通道用于邊緣AI用例,例如監(jiān)視智能城市和基礎(chǔ)設(shè)施,智能企業(yè)/工業(yè)視頻監(jiān)視應(yīng)用程序以及標(biāo)記照片和視頻以進行基于文本的搜索。
Tirias Research的創(chuàng)始人兼首席分析師Jim McGregor表示:“ AI正在迅速向網(wǎng)絡(luò)邊緣轉(zhuǎn)移,以滿足許多應(yīng)用程序的性能和安全需求。結(jié)果,新的網(wǎng)絡(luò)將推動對處理性能和效率。SolidRun平臺將利用GTI AI加速技術(shù),提供強大而有效的方式來構(gòu)建新的智能網(wǎng)絡(luò),從而彌合設(shè)備與云之間的鴻溝。”
總部位于加利福尼亞州米爾皮塔斯的Gyrfalcon宣稱自己是使用低功耗小型芯片的高性能AI加速器的開發(fā)商。SolidRun是一家以色列Arm和x86計算和網(wǎng)絡(luò)技術(shù)公司,致力于AI邊緣部署和5G。
SolidRun首席執(zhí)行官Atai Ziv博士說:“功能強大的新AI模型每分鐘都會推向市場,并且對用于部署這些AI模型的AI推理解決方案的需求正在迅速增長。”“盡管基于GPU的推理服務(wù)器已在基于云的應(yīng)用程序中獲得廣泛關(guān)注,但對邊緣優(yōu)化的解決方案的需求不斷增長,這些解決方案提供了比基于云的解決方案更少延遲的強大AI推理。與Gyrfalcon合作并利用其業(yè)已驗證的ASIC使我們能夠創(chuàng)建一種功能強大且經(jīng)濟高效的解決方案,以便在Edge上部署AI,從而提供無縫的可擴展性。”