人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)活動(dòng)的高能耗是廣泛使用人工智能(AI)的最大障礙之一，特別是在移動(dòng)應(yīng)用中?？梢詮挠嘘P(guān)人腦的知識(shí)中找到解決該問題的一種方法。

盡管它具有超級(jí)計(jì)算機(jī)的計(jì)算能力，但僅需20瓦，僅相當(dāng)于超級(jí)計(jì)算機(jī)的能量的百萬分之一。

原因之一是大腦神經(jīng)元之間的信息有效傳遞。神經(jīng)元向其他神經(jīng)元發(fā)送短的電脈沖(尖峰)，但為了節(jié)省能量，僅在絕對(duì)必要的時(shí)候才會(huì)發(fā)生。

基于事件的信息處理

由TU Graz的兩位計(jì)算機(jī)科學(xué)家Wolfgang Maass和Robert Legenstein領(lǐng)導(dǎo)的工作組在開發(fā)新的機(jī)器學(xué)習(xí)算法e-prop(e-propagation)時(shí)采用了這一原理。

也是歐洲燈塔項(xiàng)目“人腦計(jì)劃”的一部分的理論計(jì)算機(jī)科學(xué)研究所的研究人員，使用模型中的尖峰信號(hào)在人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元之間進(jìn)行通信。

尖峰僅在網(wǎng)絡(luò)中的信息處理需要它們時(shí)才變?yōu)榛顒?dòng)狀態(tài)。對(duì)于這種不太活躍的網(wǎng)絡(luò)，學(xué)習(xí)是一個(gè)特殊的挑戰(zhàn)，因?yàn)樾枰L(zhǎng)的觀察時(shí)間才能確定哪些神經(jīng)元連接可以改善網(wǎng)絡(luò)性能。

先前的方法學(xué)習(xí)成功率太低或需要巨大的存儲(chǔ)空間?，F(xiàn)在，E-prop通過從大腦復(fù)制的分散方法解決了這個(gè)問題，其中每個(gè)神經(jīng)元在所謂的e-trace(合格跟蹤)中記錄何時(shí)使用其連接。該方法與最佳和最詳盡的其他已知學(xué)習(xí)方法一樣強(qiáng)大。詳細(xì)信息現(xiàn)已發(fā)表在科學(xué)雜志《自然通訊》上。

在線而不是離線

使用當(dāng)前使用的許多機(jī)器學(xué)習(xí)技術(shù)，所有網(wǎng)絡(luò)活動(dòng)都集中存儲(chǔ)和脫機(jī)存儲(chǔ)，以便跟蹤每幾個(gè)步驟在計(jì)算過程中如何使用連接。

但是，這需要在內(nèi)存和處理器之間進(jìn)行恒定的數(shù)據(jù)傳輸，這是當(dāng)前AI實(shí)現(xiàn)過多能耗的主要原因之一。另一方面，e-prop可以完全在線運(yùn)行，即使在實(shí)際操作中也不需要單獨(dú)的內(nèi)存，從而使學(xué)習(xí)更加節(jié)能。

神經(jīng)形態(tài)硬件的驅(qū)動(dòng)力

Maass和Legenstein希望e-prop將推動(dòng)新一代移動(dòng)學(xué)習(xí)計(jì)算系統(tǒng)的開發(fā)，該系統(tǒng)不再需要進(jìn)行編程，而是根據(jù)人腦模型進(jìn)行學(xué)習(xí)，從而適應(yīng)不斷變化的需求。

目標(biāo)是不再讓這些計(jì)算系統(tǒng)專門通過云來學(xué)習(xí)大量能源，而是將大部分學(xué)習(xí)能力有效地集成到移動(dòng)硬件組件中，從而節(jié)省能源。

已經(jīng)采取了將e-prop引入應(yīng)用程序的第一步。例如，TU Graz團(tuán)隊(duì)正在與曼徹斯特大學(xué)的高級(jí)處理器技術(shù)研究小組(APT)合作開展人腦項(xiàng)目，以將e-prop集成到在那里開發(fā)的神經(jīng)形態(tài)SpiNNaker系統(tǒng)中。同時(shí)，格拉茨大學(xué)(TU Graz)正在與半導(dǎo)體制造商英特爾的研究人員合作，將算法集成到英特爾神經(jīng)形態(tài)芯片Loihi的下一個(gè)版本中。

這項(xiàng)研究工作扎根于格拉茨TU的五個(gè)專業(yè)領(lǐng)域中的兩個(gè)，即“人類與生物技術(shù)”和“信息，通信與計(jì)算”專業(yè)領(lǐng)域。