可解釋的AI是指試圖為傳統(tǒng)上不透明的AI模型及其預(yù)測(cè)帶來透明度的技術(shù)，是機(jī)器學(xué)習(xí)研究的新興子領(lǐng)域。這也就不足為奇了-模型有時(shí)會(huì)學(xué)習(xí)一些不良技巧，以實(shí)現(xiàn)訓(xùn)練數(shù)據(jù)上的目標(biāo)，或者模型產(chǎn)生偏見，如果不加以解決，就有可能造成傷害。

因此，克里希納·加德(Krishna Gade)和阿米特·帕卡(Amit Paka)創(chuàng)立了Fiddler，這是一家位于加利福尼亞州山景城的初創(chuàng)公司，致力于開發(fā)“可解釋的”引擎，該引擎旨在分析，驗(yàn)證和管理AI解決方案。一年多一點(diǎn)之后，它吸引了1,020萬美元的A輪融資，共同牽頭的Lightspeed Venture Partners和Lux Capital參與了Haystack Ventures和Bloomberg Beta的參與。

首席執(zhí)行官加德說：“企業(yè)了解人工智能所提供的價(jià)值，但他們?cè)谑褂脗鹘y(tǒng)黑匣子人工智能時(shí)會(huì)遇到“為什么”和“如何”的問題。”他補(bǔ)充說，新資金使Fiddler的總?cè)谫Y額達(dá)到了1,320萬美元。“企業(yè)需要降低其AI投資的風(fēng)險(xiǎn)，但是當(dāng)今大多數(shù)應(yīng)用程序都沒有能力幫助他們做到這一點(diǎn)。我們的AI引擎基于可解釋性，因此那些受技術(shù)影響的人可以理解為什么要做出決定并根據(jù)需要做出正確的路線，以確保AI輸出是合乎道德，負(fù)責(zé)任和公平的。”

提琴手的起源是在蓋德(Gade)在Facebook擔(dān)任工程經(jīng)理的工作中，在那里他和一個(gè)團(tuán)隊(duì)開發(fā)了一個(gè)系統(tǒng)，該系統(tǒng)解釋了為什么某些故事出現(xiàn)在新聞Feed中。為了尋找使AI模型具有可解釋性的通用方法，Gade與前同事和同學(xué)Paka重新聯(lián)系，后者在三星的帶領(lǐng)下努力從公司購物應(yīng)用程序的建議中獲取見解。他們與來自Microsoft，Twitter，Pinterest和其他科技巨頭的團(tuán)隊(duì)一起開發(fā)了原型，成為Fiddler的產(chǎn)品。

Fiddler的可解釋引擎預(yù)計(jì)將在明年全面上市，它解釋了模型如何以及為何做出預(yù)測(cè)，并授權(quán)人類審計(jì)師確保所述預(yù)測(cè)與預(yù)期保持一致。性能組件使用戶可以查看特定數(shù)據(jù)區(qū)域如何影響模型并調(diào)整輸入以最小化(或最大化)其影響，同時(shí)跟蹤模塊連續(xù)監(jiān)視模型以發(fā)現(xiàn)異常值，數(shù)據(jù)漂移和錯(cuò)誤并警告適當(dāng)?shù)娜藛T。

Fiddler表示，它正在與多家財(cái)富500強(qiáng)企業(yè)合作，涉及銀行和金融，金融技術(shù)，AI模型風(fēng)險(xiǎn)管理以及對(duì)主動(dòng)概念證明的信任和合規(guī)性，但它有很多競(jìng)爭(zhēng)方式。8月，IBM Research推出了AI Explainability 360，這是一個(gè)開放算法的開源集合，該算法利用多種技術(shù)來解釋AI模型決策。Kyndi，啟動(dòng)開發(fā)其描述為一個(gè)可以解釋的自然語言處理平臺(tái)，在七月提出的2000萬$。微軟和谷歌最近開源lnterpretML和假設(shè)分析工具Tensorboard，分別用于解釋暗箱AI一對(duì)工具包。和Facebook表示已開發(fā)出一種工具來檢測(cè)和緩解其AI系統(tǒng)中的偏見。

但是Lux Capital的合伙人比拉勒·祖貝里(Bilal Zuberi)相信，提琴手可以為自己開辟一個(gè)利基市場(chǎng)。

“我們立即看到了Fiddler Labs向行業(yè)展示的價(jià)值，”打算加入Fiddler董事會(huì)的Zuberi說。“我們看到越來越多的公司為我們提供商業(yè)模型，這些商業(yè)模型基于從推薦引擎和業(yè)務(wù)分析到醫(yī)療診斷和自動(dòng)駕駛汽車的各種算法。您如何在沒有解釋性和透明性的情況下做出重要的，關(guān)鍵任務(wù)決策?我們對(duì)Fiddler的市場(chǎng)和潛力感到興奮。”