人工智能至少在理論上為公共部門帶來了巨大的希望。但是實(shí)際上，將AI組件集成到公共部門應(yīng)用程序中受到了這些組件的脆弱性以及它們之間的不匹配的限制。例如，如果在與操作環(huán)境中的數(shù)據(jù)不同的數(shù)據(jù)上訓(xùn)練機(jī)器學(xué)習(xí)模型，則組件的性能將大大降低。

這個難題促使卡內(nèi)基·梅隆大學(xué)的研究人員研究了AI系統(tǒng)集成中的配置類別，并確定了不同領(lǐng)域的從業(yè)者(包括數(shù)據(jù)科學(xué)家，軟件工程師和運(yùn)營人員)所做的假設(shè)。他們的目的是尋找新的方法來明確地傳達(dá)適當(dāng)?shù)男畔?，同時開發(fā)減輕不匹配影響的方法。

合著者指出，在工作中部署AI模型仍然是一項(xiàng)艱巨的挑戰(zhàn)。合著者詳細(xì)介紹了該研究的論文已在今年的政府和公共部門會議上接受了人工智能會議。這是因?yàn)槟Ｐ偷拈_發(fā)和操作通常涉及三個不同的角度：數(shù)據(jù)科學(xué)家，軟件工程師和操作人員。第一種構(gòu)建模型并對其進(jìn)行訓(xùn)練，然后再針對一組通用指標(biāo)對其進(jìn)行測試，而第二種將訓(xùn)練后的模型集成到一個更大的系統(tǒng)中，而第三種則部署，操作和監(jiān)視整個系統(tǒng)。

研究人員說，這三種觀點(diǎn)是分開運(yùn)作的，并使用不同的術(shù)語，導(dǎo)致假設(shè)之間不匹配。結(jié)果，模型測試期間使用的計(jì)算資源與操作期間使用的計(jì)算資源并沒有什么不同，從而導(dǎo)致性能下降。更糟糕的是，通常沒有設(shè)置監(jiān)視工具來檢測模型準(zhǔn)確性下降或系統(tǒng)故障。

團(tuán)隊(duì)的解決方案就是所謂的機(jī)器可讀的ML-Enabled系統(tǒng)元素描述符，這是一種在AI系統(tǒng)中啟用不匹配檢測和預(yù)防的機(jī)制。描述符將屬性編碼，以從所有上述角度做出明確的假設(shè)。也就是說，它們可以以手動，有監(jiān)督的方式用于信息和評估目的，或者可以通知開發(fā)在設(shè)計(jì)時和運(yùn)行時運(yùn)行的自動失配檢測器。