機(jī)器通過處理從傳感器收集的數(shù)據(jù)來學(xué)習(xí)的能力，是自動(dòng)駕駛汽車，醫(yī)療設(shè)備和許多其他新興技術(shù)的基礎(chǔ)。普林斯頓大學(xué)的研究人員發(fā)現(xiàn)，這種學(xué)習(xí)能力使系統(tǒng)容易受到黑客的攻擊。

在最近的一系列論文中，一個(gè)研究團(tuán)隊(duì)研究了應(yīng)用于人工智能(AI)的對抗策略如何例如欺騙交通效率系統(tǒng)導(dǎo)致僵局或操縱與健康相關(guān)的AI應(yīng)用程序以揭示患者的私人醫(yī)療狀況。歷史。作為這種攻擊的一個(gè)例子，該團(tuán)隊(duì)將駕駛機(jī)器人對道路標(biāo)志的感知從限速更改為“停止”標(biāo)志，這可能導(dǎo)致車輛以高速公路速度危險(xiǎn)地剎車。在其他示例中，他們將停車標(biāo)志更改為多種其他交通指示。

普林斯頓大學(xué)電氣工程系的首席研究員兼副教授Prateek Mittal說：“如果機(jī)器學(xué)習(xí)是未來的軟件，那么我們將成為確保它安全的非常基本的起點(diǎn)。”“要使機(jī)器學(xué)習(xí)技術(shù)發(fā)揮其全部潛能，我們必須了解在對手面前機(jī)器學(xué)習(xí)的工作方式。這是我們面臨的巨大挑戰(zhàn)。

就像軟件容易被計(jì)算機(jī)病毒或通過詐騙者通過網(wǎng)絡(luò)釣魚和其他破壞安全性的手段成為目標(biāo)的用戶被黑客和感染一樣，基于AI的應(yīng)用程序也具有自身的漏洞。然而，適當(dāng)保障措施的部署滯后。到目前為止，大多數(shù)機(jī)器學(xué)習(xí)開發(fā)都發(fā)生在良性，封閉的環(huán)境中-與現(xiàn)實(shí)世界截然不同。

米塔爾(Mittal)是了解新興對抗性機(jī)器學(xué)習(xí)漏洞的先驅(qū)。從本質(zhì)上講，這種攻擊會(huì)導(dǎo)致AI系統(tǒng)破壞學(xué)習(xí)過程，從而產(chǎn)生意想不到的，可能是危險(xiǎn)的結(jié)果。米塔爾(Mittal)的小組在最近的一系列論文中描述并演示了三種廣泛的對抗性機(jī)器學(xué)習(xí)攻擊。

很好地毒化數(shù)據(jù)

第一次攻擊涉及惡意代理將偽造的信息插入AI系統(tǒng)正在用來學(xué)習(xí)的數(shù)據(jù)流中-這種方法稱為數(shù)據(jù)中毒。一個(gè)常見的例子是大量用戶的電話報(bào)告交通狀況。此類眾包數(shù)據(jù)可用于訓(xùn)練AI系統(tǒng)以開發(fā)模型，以更好地實(shí)現(xiàn)自動(dòng)駕駛汽車的總體路線選擇，從而減少擁堵和燃油浪費(fèi)。

米塔爾說：“對手可以在手機(jī)與蘋果和谷歌等實(shí)體之間的通信中簡單地注入虛假數(shù)據(jù)，而現(xiàn)在它們的模型可能會(huì)受到損害。”“您從損壞的數(shù)據(jù)中學(xué)到的任何東西都將是可疑的。”

米塔爾(Mittal)的小組最近通過這種簡單的數(shù)據(jù)中毒展示了一種新的升級方法，他們稱之為“模型中毒”。在AI中，“模型”可能是一臺機(jī)器根據(jù)對數(shù)據(jù)的分析而形成的關(guān)于世界某些部分工作方式的一套想法。由于隱私問題，一個(gè)人的手機(jī)可能會(huì)生成自己的本地化模型，從而可以對個(gè)人數(shù)據(jù)進(jìn)行保密。然后將匿名模型共享并與其他用戶的模型合并。博士Arjun Nitin Bhagoji表示：“越來越多的公司正在向分布式學(xué)習(xí)發(fā)展，在這種學(xué)習(xí)中，用戶不直接共享數(shù)據(jù)，而是使用數(shù)據(jù)訓(xùn)練本地模型。米塔爾實(shí)驗(yàn)室的學(xué)生。

但是對手可以輕描淡寫。對結(jié)果感興趣的個(gè)人或公司可能會(huì)欺騙公司的服務(wù)器，以使其模型的更新權(quán)重于其他用戶的模型。Bhagoji說：“對手的目的是確保他們選擇的數(shù)據(jù)被分類在他們想要的類別中，而不是真正的類別。”

6月，Bhagoji與來自IBM Research的兩名研究人員合作，在加利福尼亞州長灘舉行的2019年國際機(jī)器學(xué)習(xí)大會(huì)(ICML)上發(fā)表了有關(guān)該主題的論文。本文探索了一種基于圖像識別的測試模型，以對圖片中的人是穿著涼鞋還是運(yùn)動(dòng)鞋進(jìn)行分類。雖然這種性質(zhì)的誤分類聽起來是無害的，但這是不道德的公司可能會(huì)采取的不公平的欺騙手段，以使其產(chǎn)品優(yōu)于競爭對手。

米塔爾說：“在對抗性AI研究中，我們需要考慮的對手種類繁多，從試圖以金錢勒索人或公司的個(gè)人黑客到試圖獲取商業(yè)優(yōu)勢的公司，再到尋求戰(zhàn)略優(yōu)勢的國家/地區(qū)級對手，”還與普林斯頓大學(xué)信息技術(shù)政策中心相關(guān)。