從軟件角度看AI硬件Groq由一群軟件工程師于2016年創(chuàng)立，他們希望從軟件方面解決AI問題。當他們在未對AI體系結構看起來有任何先入之見的情況下解決問題時，他們能夠創(chuàng)建可以映射到不同AI模型的體系結構。

該公司專注于數(shù)據(jù)中心和自動駕駛汽車的推理市場，其第一款產(chǎn)品是PCIe插件卡，Groq為此為其設計了ASIC和AI加速器并開發(fā)了軟件堆棧。

這種硬件的一部分就是他們所謂的TSP或張量流處理器。上個月，Groq宣布他們的TSP架構每秒能夠實現(xiàn)1千萬億次運算。

AI半導體設備的獨特硅架構

據(jù)首席運營官阿德里安·門德斯(Adrian Mendes)稱，除了其軟件基礎以外，Groq的不同還在于其硅架構。Groq的AI半導體設備的核心芯片設計與多核GPU或FPGA中通常使用的流水線工藝非常不同。

它從一開始就被開發(fā)出來的方式是從編譯器開始的，因此設計人員可以看到不同的機器學習(ML)模型是什么樣的，并可以對它們進行優(yōu)化。從那里，他們可以在高度靈活的體系結構上開發(fā)硬件。

Groq聲稱這種硅架構具有三個明顯的優(yōu)勢：

AI模型的靈活性

通過基于軟件的優(yōu)化對即將到來的AI模型進行前瞻性驗證

有關編譯需求的更多信息

憑借高度靈活的AI架構，設計人員無需將其映射到ResNet-50或長期短期記憶(LSTM)等神經(jīng)網(wǎng)絡。相反，他們可以采用足夠通用的這種體系結構，并具有可擴展性以適應研究團體創(chuàng)建的新模型。隨后，可以針對這些模型優(yōu)化具有PetaOp功能的體系結構，而無需在硬件上進行任何更改。

換句話說，它是可以容納我們還未見過的AI模型的硬件，并且可以在軟件堆棧中完成優(yōu)化。除了靈活性以外，AI芯片還為不同的AI模型提供了高推斷吞吐量和極低的延遲。

第三個重要特征是芯片可以確定性地減少周期數(shù)。正如Mendes所解釋的，這意味著當機器學習工程師采用一個程序并將其推入編譯器時，他或她將立即知道該程序將運行多長時間。

因此，工程師可以了解他們的功耗，是否要針對延遲或吞吐量進行優(yōu)化，以及如何更改這些不同參數(shù)中的每個參數(shù)的設計。而且他們可以在編譯所需的時間(不是很長)內(nèi)完成此操作。

現(xiàn)在將其與工程師必須運行硬件一千次并查看延遲的方法進行比較?？偨Y了芯片確定性的好處。