當網(wǎng)絡的動態(tài)處于“臨界點”時,許多計算屬性會最大化,在這種狀態(tài)下,系統(tǒng)可以通過基本方式快速更改其總體特征,例如在有序和混沌或穩(wěn)定性和不穩(wěn)定性之間轉(zhuǎn)換。被廣泛認為對于遞歸神經(jīng)網(wǎng)絡中的任何計算都是最佳的,遞歸神經(jīng)網(wǎng)絡已在許多AI應用程序中使用。
來自HBP合作伙伴海德堡大學和馬克斯-普朗克動力學與自組織研究所的研究人員通過測試尖峰遞歸神經(jīng)網(wǎng)絡在一組復雜的任務上的性能來挑戰(zhàn)這一假設(shè),而這些任務在復雜且復雜的情況下都遠離臨界動力學。他們在模擬神經(jīng)形態(tài)BrainScaleS-2系統(tǒng)的原型上實例化了網(wǎng)絡。BrainScaleS是先進的大腦靈感計算系統(tǒng),具有直接在芯片上實現(xiàn)的突觸可塑性。它是歐洲人腦計劃目前正在開發(fā)的兩個神經(jīng)形態(tài)系統(tǒng)之一。
首先,研究人員表明,可以通過更改輸入強度輕松地在芯片中調(diào)整到關(guān)鍵點的距離,然后證明關(guān)鍵點和任務執(zhí)行之間的明確關(guān)系。關(guān)鍵性對每個任務都有益的假設(shè)尚未得到證實:盡管信息理論方法都表明,關(guān)鍵性條件下網(wǎng)絡容量最大,但只有復雜的,占用大量內(nèi)存的任務才能從中獲利,而簡單的任務卻真正遭受了損失。因此,該研究可以更準確地了解應如何將集合網(wǎng)絡狀態(tài)調(diào)整為不同的任務要求以獲得最佳性能。
從機械上講,通過調(diào)整平均輸入強度,可以輕松地在穩(wěn)態(tài)可塑性下為每個任務設(shè)置最佳工作點。這種機制背后的理論是馬克斯·普朗克研究所最近才發(fā)展起來的。MPIDS小組負責人Viola Priesemann說:“將其用于神經(jīng)形態(tài)硬件上表明,這些可塑性規(guī)則非常有能力將網(wǎng)絡動態(tài)調(diào)整到與臨界點不同的距離。” 由此,可以在該空間內(nèi)最佳地解決各種復雜性的任務。
該發(fā)現(xiàn)還可以解釋為什么生物神經(jīng)網(wǎng)絡不一定在臨界狀態(tài)下運行,而是在臨界點的動態(tài)豐富區(qū)域內(nèi)運行,在那里它們可以根據(jù)任務要求調(diào)整其計算屬性。此外,它建立了神經(jīng)形態(tài)硬件,作為探索生物可塑性規(guī)則對神經(jīng)計算和網(wǎng)絡動力學的影響的快速且可擴展的途徑。
海德堡大學的第一作者本杰明·克萊默說:“下一步,我們現(xiàn)在研究并表征突刺網(wǎng)絡的工作點對人工和現(xiàn)實世界中的話語進行分類的影響。”