充滿AI的藝術(shù)構(gòu)圖工具正迅速成為老派。麻省理工學(xué)院與IBM Watson AI實(shí)驗(yàn)室的科學(xué)家是麻省理工學(xué)院與IBM合作在未來(lái)十年共同追求AI技術(shù)的科學(xué)家，最近詳細(xì)介紹了一種工具，該工具可讓用戶上傳任何照片并編輯建筑物，植物和固定裝置的外觀。3月，Nvidia在加利福尼亞州圣何塞舉行的GPU技術(shù)會(huì)議(GTC)上揭開了GauGAN的面紗，GauGAN是一種對(duì)抗性人工智能生成系統(tǒng)，可讓用戶創(chuàng)建栩栩如生的風(fēng)景圖像。

但是，加州大學(xué)伯克利分校，牛津大學(xué)和Adobe Research的研究人員希望通過(guò)交互式草圖和填充技術(shù)進(jìn)一步推動(dòng)該領(lǐng)域的發(fā)展，該系統(tǒng)是一種機(jī)器學(xué)習(xí)系統(tǒng)，可以在用戶繪制對(duì)象時(shí)以交互方式向用戶推薦對(duì)象。在預(yù)打印服務(wù)器Arxiv.org上新發(fā)表的論文中對(duì)此進(jìn)行了描述(“交互式草圖和填充：多類草圖到圖像翻譯”)。

共同作者寫道：“ [AI]圖像翻譯模型在獲取抽象輸入(例如邊緣圖或語(yǔ)義分割圖)并將其轉(zhuǎn)換為真實(shí)圖像方面顯示出了非凡的成功。”“將其與用戶界面相結(jié)合，使用戶可以在目標(biāo)域中快速創(chuàng)建圖像。但是……對(duì)于許多人來(lái)說(shuō)，完成線條畫而沒有任何反饋可能會(huì)很困難，因?yàn)槲唇?jīng)訓(xùn)練的從業(yè)人員通常會(huì)徒勞地徒手繪制徒手繪制準(zhǔn)確比例的對(duì)象及其零件，3D形狀和透視圖。結(jié)果，使用當(dāng)前的交互式圖像轉(zhuǎn)換方法，通過(guò)編輯現(xiàn)有圖像而不是從頭開始創(chuàng)建圖像，可以獲得逼真的圖像。”

該團(tuán)隊(duì)使用多部分系統(tǒng)解決了圖像生成問(wèn)題，其中涉及從用戶草圖中建議對(duì)象形狀并提供完成作品的預(yù)覽。他們?cè)O(shè)計(jì)了形狀和外觀完成模塊，以根據(jù)草圖更新建議的形狀，并采用了GAN(由兩部分組成的神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)由生成樣本的生成器和鑒別器組成，這些鑒別器試圖區(qū)分生成的樣本和實(shí)際樣本。以幫助增強(qiáng)完整圖像的準(zhǔn)確性。

為了評(píng)估系統(tǒng)的健壯性，研究人員獲得了兩個(gè)開源數(shù)據(jù)集(edge2shoes，CelebA-HQ)用于對(duì)象渲染，它們的邊緣通過(guò)單獨(dú)的AI模型進(jìn)行了簡(jiǎn)化，以更類似于人類繪制的筆觸。在測(cè)試形狀完成和圖像生成之后，他們引入了更具挑戰(zhàn)性的語(yǔ)料庫(kù)，其中包含來(lái)自流行的互聯(lián)網(wǎng)搜索引擎的200張籃球，雞肉，餅干，紙杯蛋糕，月亮，橘子，足球，草莓，西瓜和菠蘿的圖像。研究人員說(shuō)，在所有測(cè)試中，該系統(tǒng)都能在大多數(shù)時(shí)間生成正確類別的圖像，他們認(rèn)為這是朝著完全端到端系統(tǒng)邁出的令人鼓舞的一步。

“ [我們]一種用于交互式對(duì)象生成的兩階段方法，圍繞著形狀完成中介的思想……使[AI模型]訓(xùn)練更加穩(wěn)定，還使我們能夠向用戶提供粗略的幾何反饋，他們可以選擇他們按照自己的意愿進(jìn)行整合。”他們寫道。

值得注意的是，這不是Adobe首次涉足AI輔助藝術(shù)。在6月份發(fā)表的一篇論文中，馬里蘭大學(xué)和Adobe Research的研究人員描述了一種新穎的機(jī)器學(xué)習(xí)系統(tǒng)LPaintB，該系統(tǒng)可以在不到15分鐘的時(shí)間內(nèi)復(fù)制Leonardo da Vinci，Vincent van Gogh和Johannes Vermeer風(fēng)格的手繪畫布。一分鐘。