Facebook Reality Labs (FRL) 致力于許多旨在使與技術(shù)交互更平易近人的項(xiàng)目。FRL 正在研究的技術(shù)包括 VR 耳機(jī)和 AR 眼鏡。手部追蹤技術(shù)對(duì)虛擬現(xiàn)實(shí)尤為重要，讓該技術(shù)通過(guò)“隨你而來(lái)”的方式與人際互動(dòng)更加身臨其境。

FRL 正在進(jìn)行的工作旨在構(gòu)建更自然的設(shè)備，并從 Touch 控制器開始。這些控制器設(shè)計(jì)為握持舒適，內(nèi)部裝有大量傳感器。觸摸控制器提供了栩栩如生的手部存在感，并使基本的 VR 交互感覺更像真實(shí)的東西。

FRL 正在努力消除對(duì)手動(dòng)控制器的需求，轉(zhuǎn)而感知裸手。該實(shí)驗(yàn)室在五年前開始為 VR 進(jìn)行手部跟蹤，當(dāng)時(shí)沒有人提供消費(fèi)級(jí)質(zhì)量、無(wú)控制器的手部跟蹤功能。這意味著該技術(shù)必須從頭開始創(chuàng)建。

下面的視頻遵循開發(fā)過(guò)程，展示了導(dǎo)致最終產(chǎn)品的一些設(shè)備的原型。FRL 目前正在探索新的文本輸入實(shí)驗(yàn)形式，這是提高生產(chǎn)力的一項(xiàng)常見且關(guān)鍵的任務(wù)。FRL 提出了一種新穎的方法，可以使用基于標(biāo)記的手部跟蹤系統(tǒng)的手部動(dòng)作在沒有鍵盤的任何平面上進(jìn)行觸摸打字。該系統(tǒng)將動(dòng)作直接輸入并解碼為用戶想要輸入的文本。

研究人員指出，該技術(shù)仍處于早期研究階段，但說(shuō)明了手部追蹤在活動(dòng)場(chǎng)景中的潛力。研究人員必須理解不穩(wěn)定的打字模式，并采用自動(dòng)語(yǔ)音識(shí)別的統(tǒng)計(jì)解碼技術(shù)，使用運(yùn)動(dòng)模型來(lái)預(yù)測(cè)手部運(yùn)動(dòng)的擊鍵。使用這種方法，打字員平均每分鐘 73 個(gè)單詞，使用他們的手、平坦的表面和其他任何東西的未糾正錯(cuò)誤率為 2.4%。與使用實(shí)際鍵盤相比，打字員使用新系統(tǒng)實(shí)現(xiàn)了相似的速度和準(zhǔn)確性。