網(wǎng)絡(luò)科學(xué)是一個(gè)旨在揭示諸如電信，計(jì)算機(jī)，生物和社會(huì)網(wǎng)絡(luò)等網(wǎng)絡(luò)背后的結(jié)構(gòu)和動(dòng)態(tài)的學(xué)術(shù)領(lǐng)域。近年來(lái)，網(wǎng)絡(luò)科學(xué)家一直試圖解決的基本問(wèn)題之一是，確定最能影響網(wǎng)絡(luò)功能的最佳節(jié)點(diǎn)集(稱為關(guān)鍵參與者)。

確定主要參與者可能會(huì)極大地受益于許多實(shí)際應(yīng)用，例如，增強(qiáng)網(wǎng)絡(luò)免疫的技術(shù)，以及輔助流行病控制，藥物設(shè)計(jì)和病毒營(yíng)銷。然而，由于其具有NP難性，使用具有多項(xiàng)式時(shí)間復(fù)雜度的精確算法來(lái)解決此問(wèn)題已證明具有很高的挑戰(zhàn)性。

中國(guó)國(guó)防科學(xué)技術(shù)大學(xué)，加利福尼亞大學(xué)洛杉磯分校(UCLA)和哈佛醫(yī)學(xué)院(HMS)的研究人員最近開(kāi)發(fā)了一種名為FINDER的深度強(qiáng)化學(xué)習(xí)(DRL)框架，該框架可以識(shí)別復(fù)雜網(wǎng)絡(luò)中的關(guān)鍵參與者更有效率。他們的框架(在發(fā)表于《自然機(jī)器智能》上的一篇論文中介紹)中接受了由經(jīng)典網(wǎng)絡(luò)模型生成的一小套合成網(wǎng)絡(luò)的訓(xùn)練，然后應(yīng)用于實(shí)際場(chǎng)景。

“這項(xiàng)工作是由網(wǎng)絡(luò)科學(xué)中的一個(gè)基本問(wèn)題所激發(fā)的：我們?nèi)绾握业阶罴训年P(guān)鍵角色集，這些角色的激活(或移除)將最大程度地增強(qiáng)(或降低)網(wǎng)絡(luò)功能?”進(jìn)行這項(xiàng)研究的高級(jí)研究人員之一劉養(yǎng)宇告訴TechXplore。“已經(jīng)提出了許多近似和啟發(fā)式策略來(lái)處理特定的應(yīng)用場(chǎng)景，但是我們?nèi)匀蝗狈σ粋€(gè)統(tǒng)一的框架來(lái)有效地解決這個(gè)問(wèn)題。”

FINDER代表通過(guò)DEep強(qiáng)化學(xué)習(xí)在網(wǎng)絡(luò)中尋找關(guān)鍵參與者，它以最近開(kāi)發(fā)的深度學(xué)習(xí)技術(shù)為基礎(chǔ)，用于解決組合優(yōu)化問(wèn)題。研究人員在由經(jīng)典網(wǎng)絡(luò)模型生成的大量小型合成網(wǎng)絡(luò)上對(duì)FINDER進(jìn)行了培訓(xùn)，并使用針對(duì)要解決的任務(wù)的獎(jiǎng)勵(lì)函數(shù)來(lái)指導(dǎo)FINDER。該策略可指導(dǎo)FINDER根據(jù)其當(dāng)前狀態(tài)(即當(dāng)前網(wǎng)絡(luò)結(jié)構(gòu))確定在一段時(shí)間內(nèi)累積最大報(bào)酬應(yīng)采取的措施(即應(yīng)選擇的節(jié)點(diǎn))。

參與這項(xiàng)研究的另一位資深研究員孫益州對(duì)《科學(xué)》雜志說(shuō)：“在傳統(tǒng)的強(qiáng)化學(xué)習(xí)任務(wù)中，例如在機(jī)器人技術(shù)中，代表狀態(tài)和動(dòng)作可能很簡(jiǎn)單，而網(wǎng)絡(luò)并非如此。”“在進(jìn)行該項(xiàng)目時(shí)，我們面臨的另一個(gè)挑戰(zhàn)是確定如何表示網(wǎng)絡(luò)，因?yàn)樗哂须x散的數(shù)據(jù)結(jié)構(gòu)并且位于一個(gè)非常高的空間中。為解決此問(wèn)題，我們擴(kuò)展了當(dāng)前的圖神經(jīng)網(wǎng)絡(luò)來(lái)表示節(jié)點(diǎn)(動(dòng)作)和圖形(狀態(tài))，這是與強(qiáng)化學(xué)習(xí)任務(wù)共同學(xué)習(xí)的。”

為了有效地表示復(fù)雜的網(wǎng)絡(luò)，研究人員共同確定了各個(gè)網(wǎng)絡(luò)狀態(tài)和動(dòng)作的最佳表示，以及當(dāng)網(wǎng)絡(luò)處于特定狀態(tài)時(shí)確定最佳動(dòng)作的最佳策略。結(jié)果表示可以指導(dǎo)FINDER識(shí)別網(wǎng)絡(luò)中的關(guān)鍵參與者。

Sun，Liu及其同事設(shè)計(jì)的新框架具有很高的靈活性，因此只需更改其獎(jiǎng)勵(lì)功能，就可以將其應(yīng)用于各種現(xiàn)實(shí)網(wǎng)絡(luò)的分析。它也非常有效，因?yàn)榘l(fā)現(xiàn)它在效率和速度方面都優(yōu)于許多以前確定網(wǎng)絡(luò)中關(guān)鍵參與者的策略。值得注意的是，可以輕松擴(kuò)展FINDER以分析包含數(shù)千個(gè)甚至數(shù)百萬(wàn)個(gè)節(jié)點(diǎn)的廣泛網(wǎng)絡(luò)。

“與現(xiàn)有技術(shù)相比，F(xiàn)INDER在尋找復(fù)雜網(wǎng)絡(luò)中關(guān)鍵參與者的有效性和效率上均取得了卓越的性能，” Liu說(shuō)。“這代表了解決復(fù)雜的現(xiàn)實(shí)世界網(wǎng)絡(luò)上具有挑戰(zhàn)性的優(yōu)化問(wèn)題的范式轉(zhuǎn)變。FINDER不需要領(lǐng)域特定知識(shí)，而只需真實(shí)網(wǎng)絡(luò)的程度異質(zhì)性，就可以通過(guò)在小型合成圖上進(jìn)行離線自訓(xùn)練一次來(lái)實(shí)現(xiàn)此目標(biāo)，然后令人驚訝地將現(xiàn)實(shí)世界網(wǎng)絡(luò)的各個(gè)領(lǐng)域的規(guī)模都大大提高了。”

迄今為止，新的深層加固框架已取得了令人鼓舞的結(jié)果。將來(lái)，它可用于研究社交網(wǎng)絡(luò)，電網(wǎng)，傳染病的傳播以及許多其他類型的網(wǎng)絡(luò)。

Liu，Sun及其同事收集的發(fā)現(xiàn)強(qiáng)調(diào)了經(jīng)典網(wǎng)絡(luò)模型(如Barabási–Albert模型)的希望，并從中汲取了靈感。盡管簡(jiǎn)單的模型可能看起來(lái)非?；A(chǔ)，但實(shí)際上，它們通常捕獲了許多現(xiàn)實(shí)世界網(wǎng)絡(luò)的主要特征，即程度異質(zhì)性。當(dāng)嘗試解決與復(fù)雜網(wǎng)絡(luò)有關(guān)的復(fù)雜優(yōu)化問(wèn)題時(shí)，此功能可能具有巨大的價(jià)值。

“我的實(shí)驗(yàn)室現(xiàn)在沿著相同的研究方向?qū)で蠖鄠€(gè)研究方向，包括：(1)設(shè)計(jì)更好的圖表示學(xué)習(xí)體系結(jié)構(gòu);(2)探索如何在不同圖甚至不同領(lǐng)域的圖之間傳遞知識(shí);(3)研究圖上的其他NP難題，并從學(xué)習(xí)的角度解決它們。”

當(dāng)Sun和她在UCLA的團(tuán)隊(duì)計(jì)劃研究網(wǎng)絡(luò)科學(xué)研究的新技術(shù)時(shí)，Liu及其在HMS的團(tuán)隊(duì)希望開(kāi)始在真實(shí)生物網(wǎng)絡(luò)上測(cè)試FINDER。更具體地說(shuō)，他們希望使用該框架來(lái)識(shí)別可能在人類健康和疾病中發(fā)揮關(guān)鍵作用的蛋白質(zhì)-蛋白質(zhì)相互作用網(wǎng)絡(luò)和基因調(diào)控網(wǎng)絡(luò)中的關(guān)鍵參與者。