AI正在發(fā)現(xiàn)圖像和視頻的多種用途，包括自動(dòng)裁剪和調(diào)整大小，自動(dòng)圖像標(biāo)記以及創(chuàng)建視頻自動(dòng)預(yù)覽。本文研究了五個(gè)示例，這些示例說明了Cloudinary如何使用AI大規(guī)模實(shí)現(xiàn)圖像和視頻管理。

大規(guī)模管理圖像和視頻的生命周期已成為開發(fā)人員的巨大挑戰(zhàn)。沒有設(shè)計(jì)者和開發(fā)者的大軍或應(yīng)用自動(dòng)化，維護(hù)擁有數(shù)千種媒體資產(chǎn)和大量用戶生成內(nèi)容的站點(diǎn)是不可能的。

我從個(gè)人經(jīng)驗(yàn)中知道這一點(diǎn)。我最初是一個(gè)顧問團(tuán)隊(duì)，后來與我的Cloudinary聯(lián)合創(chuàng)始人一再重復(fù)手動(dòng)解決與圖像和視頻管理相關(guān)的請(qǐng)求。我們看到了自動(dòng)化這些流程的巨大機(jī)會(huì)– Cloudinary誕生了。

這是五個(gè)示例，說明了我們?nèi)绾卧谡麄€(gè)平臺(tái)上應(yīng)用AI來實(shí)現(xiàn)大規(guī)模圖像和視頻管理。

鑒于存在大量的設(shè)備和瀏覽器，準(zhǔn)確，快速且大規(guī)模地裁剪圖像具有挑戰(zhàn)性。它需要以許多高寬比傳送相同的圖像，并可能根據(jù)其尺寸在主要被攝體上更近或更寬地裁剪。

裁剪時(shí)，圖像的最重要部分應(yīng)保持可見，甚至位于中央。說起來容易做起來難。最近，一家時(shí)裝零售商無意間剪掉了它要促銷的鞋子，但是因?yàn)槟Ｌ氐哪_不在框架的中央。另一種方法是基于數(shù)學(xué)像素分析來裁剪圖像，在該圖像上您將關(guān)注像素比其他像素更清晰的區(qū)域。盡管此方法功能強(qiáng)大，但通常還不夠。

為了正確進(jìn)行自動(dòng)裁剪，您需要像肉眼一樣觀看圖像。我們對(duì)視覺內(nèi)容使用基于深度學(xué)習(xí)的媒體轉(zhuǎn)換，以檢測(cè)圖像中最有可能引起人們注意的主題。為此，我們使用大量圖像和相應(yīng)的人工輸入來提供圖像自動(dòng)裁剪深度學(xué)習(xí)機(jī)制。這教導(dǎo)機(jī)器識(shí)別圖像中的重要區(qū)域，而不管其主題和布局如何。該過程涉及由基于GPU的硬件集群執(zhí)行的高級(jí)計(jì)算，該集群可實(shí)時(shí)處理數(shù)百萬種作物請(qǐng)求。

但是深度學(xué)習(xí)甚至可以做更多的事情。以零售商裁剪想要出售的鞋子為例。多虧了另一種深度學(xué)習(xí)算法，我們才能為特定對(duì)象或類別(例如鞋子)賦予最高的保存(“不裁剪”)優(yōu)先級(jí)。