tsunAImi加速器卡中使用的run200AI設(shè)備取代了旨在移動數(shù)據(jù)的傳統(tǒng)Von Neumann架構(gòu),而被設(shè)計用于計算。處理元件位于存儲器內(nèi)部以創(chuàng)建分布式處理陣列。
runAI200設(shè)備使用整數(shù)數(shù)據(jù)類型和1的批處理模式。存儲庫具有385kb的SRAM和512個處理元素的2D數(shù)組。每個芯片有511個存儲區(qū),每個存儲區(qū)合起來可提供200Mbyte。在“運動”模式下,操作最高可達502 TOPS。在“ eco”模式下配置,它可提供8TOPS。
該公司表示,加速卡的計算能力可以在批次= 1時轉(zhuǎn)換為超過80,000 fps的ResNet-50 v 1.5吞吐量,是其最接近競爭對手的吞吐量的三倍。該公司表示,在另一項基準測試中,對于自然語言處理,加速卡每秒可以處理超過12,000個基于BERT的查詢。它說,這比任何宣布的產(chǎn)品快四倍。
runAI200器件使用具有成本效益的16納米工藝制造。
用于推理的AI將成為數(shù)據(jù)中心的重要元素,它將在此提高其計算密度,從而加快智能城市以及其他AI和機器學(xué)習(xí)應(yīng)用程序的性能。
tsunAImi加速卡是用于云或服務(wù)器的標準外形PCI Express卡。它支持用于機器學(xué)習(xí)的TensorFlow和PyTorch開放軟件。