在此特別的來賓功能中，Zest AI的CTO Jay Budzik討論了Google推出的開發(fā)人員工具集，這些工具可讓數(shù)據(jù)科學(xué)家創(chuàng)建可解釋的ML模型，以及這些新工具的現(xiàn)實性以及它們?nèi)绾斡绊懾攧?wù)服務(wù)市場。Zest AI是一家軟件公司，可幫助銀行和貸方建立，運行和監(jiān)視完全可解釋的機器學(xué)習(xí)承銷模型。作為首席技術(shù)官，Jay負責(zé)Zest的產(chǎn)品和工程團隊。他對發(fā)明新技術(shù)(尤其是在數(shù)據(jù)挖掘和AI中)的熱情在他的整個職業(yè)生涯中發(fā)揮了核心作用。周杰倫擁有博士學(xué)位西北大學(xué)計算機科學(xué)專業(yè)。

算法模型因為容易受到不公平偏見的黑匣子而受到不好的說唱。如果您有正確的工具來解釋他們的決定，他們就不是。

這就是為什么Google的新的基于云的可解釋AI(XAI)工具套件為希望采用AI的公司朝正確方向邁出了一步。這些工具可以解密和捍衛(wèi)特定數(shù)據(jù)因素如何促進在復(fù)雜神經(jīng)網(wǎng)絡(luò)之上構(gòu)建的機器學(xué)習(xí)(ML)模型的輸出。雖然Google XAI應(yīng)該引起人們的關(guān)注并幫助消除一些ML神話，但它可能不會刺激所有公司的采用，特別是需要完全可解釋的承銷模式來決定誰可以借款，誰不能借款的金融服務(wù)公司。

首先，Google的工具(目前處于測試版)要求客戶在Google Cloud中構(gòu)建和實施其模型。但是大多數(shù)公司都需要可在任何云環(huán)境或本地服務(wù)器上使用的可解釋性工具。

其次，Google XAI不夠靈活，無法容納更強大的模型。像其他可解釋性工具一樣，Google植根于復(fù)雜的數(shù)學(xué)原理，包括Aumann-Shapley方法的一種版本，該方法使用一系列箔紙(稱為“反事實”)來完善算法的輸出。谷歌云AI部門負責(zé)人安德魯·摩爾(Andrew Moore)上個月在倫敦的英國廣播公司(BBC)上描述了這一過程：“例如，神經(jīng)網(wǎng)絡(luò)問自己，'我當(dāng)時無法看待走進來的人的襯衫顏色商店。那會改變我對他們走路速度有多快的估計嗎?”通過進行許多反事實，它逐漸建立了一張關(guān)于它是什么以及在進行預(yù)測時沒有注意的圖片。”

盡管聽起來很引人注目，但Google XAI不適用于所謂的集成模型，該模型使用多種或競爭性技術(shù)將多個模型編織在一起。“匯總”提高了AI信用評分的預(yù)測能力-假設(shè)可以檢查集體系統(tǒng)以評估決策的制定方式-并且在接下來的幾年中，隨著貸方接受ML，它將成為標(biāo)準(zhǔn)。目前，Google對基于樹的模型以及樹和神經(jīng)網(wǎng)絡(luò)的集成提供了有限的支持。

第三，雖然Google AI“假設(shè)分析”工具非常聰明，并且可以讓建模人員一目了然地測試不同的場景，但Google的用戶界面可能很難使用。開發(fā)人員將必須學(xué)習(xí)特定的編碼語言和配置約定以訪問可解釋性功能。

最后，Google的可解釋性軟件包主要針對數(shù)據(jù)科學(xué)家，而不是為受嚴(yán)格監(jiān)管的金融服務(wù)公司工作的信用分析師。從理論上講，銀行的數(shù)據(jù)科學(xué)家可以使用Google的工具建立模型。但是這些人將需要構(gòu)建其他工具來測試其模型的準(zhǔn)確性和公平性，并生成監(jiān)管機構(gòu)要求的所有合規(guī)報告。