例如，如果圖像集合顯示了廚房中許多女性的例子，則使用該圖像數(shù)據(jù)集訓練的算法將在女性和廚房之間形成關聯(lián)，并可以在其假設和決策中再現(xiàn)這種關聯(lián)。

人們?nèi)匀豢梢栽O置算法在分析數(shù)據(jù)集時應考慮的參數(shù)。而且從事這項工作的開發(fā)人員和數(shù)據(jù)科學家可能不會意識到他們放置的參數(shù)所包含的無意識偏差。我們不知道確定Apple Card信用額度的參數(shù)是什么，但是如果考慮因素包括年收入，但不考慮共同財產(chǎn)所有權和稅務申報，那么在美國仍然以每美元1美元的價格賺取80.70美元的女性將處于固有的劣勢。 。

迄今為止，我們?yōu)楦鶕?jù)法律建立平等保護所做的努力旨在防止有意識的人類偏見。AI的問題在于，它比以往任何時候都可以更快，更有效地重現(xiàn)我們的無意識偏見，并且這樣做沒有道德良心??或對PR的關注。在這種情況下，該算法無需高階思維技能就能做出信貸決策，這會使人在為女性和男性提供的信貸限額之間的明顯差異中看到一個危險信號。

問題的一部分在于，與許多AI和ML算法一樣，Apple Card是一個黑匣子。意思是，沒有合適的框架來追蹤算法的訓練和決策。對于公司而言，這是重大的法律和公關風險。對于社會而言，這更加嚴重。如果我們將決策權放棄給AI，無論是用于拼車退款，保險賬單還是抵押貸款利率，我們都有可能遭受無視判決，采用世界上所有數(shù)據(jù)集以及所有男人和女人，僅是數(shù)據(jù)。

我們不必接受這個新的世界秩序。我們可以以負責任的方式進行創(chuàng)新。我們需要確保啟用機器學習的新數(shù)據(jù)平臺擁有必要的基礎架構，以實現(xiàn)治理，透明度和可重復性。除了該基礎結構，我們還需要一個框架來跟蹤算法訓練的沿襲。新加坡的個人數(shù)據(jù)保護委員會已經(jīng)開始通過創(chuàng)建來解決這個問題型號AI治理框架，以及世界經(jīng)濟論壇正在研究一項倡議，以使框架訪問世界各地的企業(yè)和政府。

我們始終可以確定結果是否反映了我們的社會價值并符合我們的法律標準。但是，如果我們可以預先評估用于訓練模型的數(shù)據(jù)，并持續(xù)評估該模型的性能，那么我們可以找到系統(tǒng)中會導致意外偏差的缺陷并加以糾正，然后才能在Twitter上了解它們。