隨著開發(fā)人員面臨著使復(fù)雜的AI和機(jī)器學(xué)習(xí)應(yīng)用程序在邊緣計(jì)算設(shè)備上運(yùn)行的挑戰(zhàn)，支持Tiny ML的選項(xiàng)不斷涌現(xiàn)。

Edge完全是關(guān)于智能的，但是這些智能必須被壓縮為越來越小的外形。

人工智能(AI)應(yīng)用程序的開發(fā)人員必須確保他們構(gòu)建的每個(gè)新機(jī)器學(xué)習(xí)(ML)模型都經(jīng)過優(yōu)化，可以在一個(gè)或多個(gè)目標(biāo)平臺(tái)上進(jìn)行快速推理。這些目標(biāo)環(huán)境越來越多地成為邊緣設(shè)備，例如智能手機(jī)，智能相機(jī)，無人機(jī)和嵌入式設(shè)備，其中許多設(shè)備的處理，內(nèi)存，存儲(chǔ)和其他本地硬件資源受到嚴(yán)重限制。

小型設(shè)備的硬件約束對于更復(fù)雜的AI應(yīng)用程序核心的深度神經(jīng)網(wǎng)絡(luò)來說是個(gè)問題。許多神經(jīng)網(wǎng)絡(luò)模型可能非常龐大和復(fù)雜。因此，對于某些需要低成本商品化芯片組的大眾市場應(yīng)用而言，在邊緣設(shè)備上本地執(zhí)行這些模型的處理，內(nèi)存和存儲(chǔ)需求可能證明過高。此外，某些已部署的支持AI的端點(diǎn)可用的有限的，間歇性的無線帶寬可能會(huì)導(dǎo)致與下載最新模型更新相關(guān)的長時(shí)間下載延遲，以保持其模式識(shí)別性能出色。

Edge AI是“一次建模，可在任何地方優(yōu)化運(yùn)行”的典范

用于邊緣部署的AI應(yīng)用程序的開發(fā)人員正在越來越廣泛的框架中開展工作，并將其模型部署到各種硬件，軟件和云環(huán)境中。這使確保每個(gè)新的AI模型在其目標(biāo)平臺(tái)上進(jìn)行快速推理優(yōu)化的任務(wù)變得復(fù)雜，這是傳統(tǒng)上需要手動(dòng)調(diào)整的負(fù)擔(dān)。很少有AI開發(fā)人員是將ML模型部署到其中的硬件平臺(tái)的專家。

這些開發(fā)人員越來越依賴他們的工具來自動(dòng)調(diào)整和修剪模型的神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)，超參數(shù)和其他功能，以適應(yīng)目標(biāo)平臺(tái)的硬件約束，而又不會(huì)過度損害構(gòu)建ML的預(yù)測準(zhǔn)確性。

在過去的幾年中，開放源代碼的AI模型編譯器進(jìn)入市場，以確保工具鏈自動(dòng)優(yōu)化AI模型以實(shí)現(xiàn)快速有效的邊緣執(zhí)行而不會(huì)影響模型的準(zhǔn)確性。這些一次可運(yùn)行優(yōu)化的模型編譯器現(xiàn)在包括AWSNNVM編譯器，IntelNgraph，GoogleXLA和NVIDIATensorRT 3。此外，AWS提供了SageMaker Neo，Google提供了具有TensorFlow的TensorRT，以針對各種邊緣目標(biāo)平臺(tái)進(jìn)行推理優(yōu)化。

將更精細(xì)的數(shù)學(xué)調(diào)整為AI邊緣處理器

一些人開始將其稱為“TinyML”革命。這是指一波新方法的浪潮，這些方法使設(shè)備上的AI工作負(fù)載可以由安裝在超低功耗，資源受限的邊緣設(shè)備上的緊湊型運(yùn)行時(shí)和庫執(zhí)行。