蘋果公司的Siri等個人助理通過自然語言命令來完成任務(wù)。但是，它們的基礎(chǔ)組件通常依賴于監(jiān)督的機器學(xué)習(xí)算法，這些算法需要大量的手工注釋訓(xùn)練數(shù)據(jù)。為了減少收集數(shù)據(jù)的時間和精力，Apple的研究人員開發(fā)了一個框架，該框架利用用戶參與信號自動創(chuàng)建數(shù)據(jù)增強標(biāo)簽。他們報告說，當(dāng)使用諸如多任務(wù)學(xué)習(xí)和外部知識庫驗證之類的策略進(jìn)行合并時，帶注釋的數(shù)據(jù)將大大提高生產(chǎn)深度學(xué)習(xí)系統(tǒng)的準(zhǔn)確性。

“我們相信這是首次使用用戶參與信號來幫助大規(guī)模生成序列標(biāo)記任務(wù)的訓(xùn)練數(shù)據(jù)，并且可以在實際設(shè)置中應(yīng)用，以在幾乎沒有人工注釋數(shù)據(jù)的情況下加快新功能的部署，”研究人員在預(yù)印本上寫道。“此外...用戶參與信號可以通過從自身的錯誤中學(xué)習(xí)來幫助我們確定數(shù)字助理需要改進(jìn)的地方。”

研究人員使用了一系列啟發(fā)式方法來識別表明積極參與或消極參與的行為。其中一些功能包括輕按內(nèi)容以使其進(jìn)一步參與(肯定響應(yīng))，長時間聽歌(另一個肯定響應(yīng))或打斷智能助手提供的內(nèi)容并手動選擇其他內(nèi)容(否定響應(yīng))。這些信號以“保留隱私的方式”被有選擇地收集，以自動產(chǎn)生地面真相注釋，隨后將它們與人類注釋者提供的粗粒度標(biāo)簽組合在一起。

為了將粗粒度標(biāo)簽和推斷的細(xì)粒度標(biāo)簽合并到AI模型中，論文的合著者設(shè)計了一個多任務(wù)學(xué)習(xí)框架，該框架將粗粒度和細(xì)粒度實體標(biāo)簽視為兩個任務(wù)。此外，他們并入了一個由實體及其關(guān)系組成的外部知識庫驗證器。給定“某事”作為音樂標(biāo)題，并將“甲殼蟲”作為音樂藝術(shù)家，對查詢“由披頭士演奏某事”進(jìn)行查詢，驗證器將查找頂部標(biāo)簽替代項并將其發(fā)送到一個組件，該組件將對預(yù)測進(jìn)行排名，并返回最佳選擇。