人們常將藝術(shù)視為過(guò)去的最偉大旅程，鞏固時(shí)空中的一刻。讓我們暫時(shí)逃避現(xiàn)在的美麗交通工具。

有了無(wú)窮無(wú)盡的繪畫(huà)寶庫(kù)，這些來(lái)自不同時(shí)間和空間的藝術(shù)品之間的聯(lián)系常常會(huì)被忽略。即使是最有知識(shí)的藝術(shù)評(píng)論家，也不可能跨越數(shù)千年的時(shí)間吸收數(shù)百萬(wàn)幅畫(huà)作，并且無(wú)法在主題，主題和視覺(jué)風(fēng)格上找到意想不到的相似之處。

為了簡(jiǎn)化此過(guò)程，麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室(CSAIL)和微軟的一組研究人員創(chuàng)建了一種算法，以發(fā)現(xiàn)大都會(huì)藝術(shù)博物館(大都會(huì)博物館)與阿姆斯特丹國(guó)立博物館之間的繪畫(huà)之間的隱藏聯(lián)系。

受?chē)?guó)立博物館特別展覽“倫勃朗和貝拉克斯茲”的啟發(fā)，新的“ MosAIc”系統(tǒng)通過(guò)使用深層網(wǎng)絡(luò)了解兩個(gè)圖像的“接近” 程度，發(fā)現(xiàn)了來(lái)自不同文化，藝術(shù)家和媒體的成對(duì)或“類似”作品。在那次展覽中，研究人員受到了一種不太可能但相似的配對(duì)的啟發(fā)：弗朗西斯科·德·祖巴蘭(Francisco deZurbarán)的《圣塞拉皮翁The難》和揚(yáng)·阿瑟琳(Jan Asselijn)的《受威脅的天鵝》，這兩幅作品描繪了深刻的利他主義場(chǎng)面與令人毛骨悚然的視覺(jué)相似度。

CSAIL博士說(shuō)：“這兩位藝術(shù)家一生中沒(méi)有通信或彼此見(jiàn)面，但他們的畫(huà)作暗示著豐富的，潛伏的結(jié)構(gòu)，構(gòu)成了他們兩人的作品。” 學(xué)生馬克·漢密爾頓(Mark Hamilton)是有關(guān)“ MosAIc”的論文的主要作者。

為了找到兩幅相似的畫(huà)作，該團(tuán)隊(duì)使用一種新的圖像搜索算法來(lái)發(fā)現(xiàn)特定藝術(shù)家或文化的最接近的匹配。例如，響應(yīng)于有關(guān)“哪種樂(lè)器最接近此藍(lán)白色連衣裙的繪畫(huà)”的查詢，該算法檢索了藍(lán)白色瓷小提琴的圖像。這些作品不僅在樣式和形式上相似，而且源于荷蘭人和中國(guó)人之間更廣泛的瓷器文化交流。

漢密爾頓說(shuō)：“圖像檢索系統(tǒng)使用戶能夠找到語(yǔ)義上與查詢圖像相似的圖像，作為反向圖像搜索引擎和許多產(chǎn)品推薦引擎的基礎(chǔ)。” “將圖像檢索系統(tǒng)限制為特定的圖像子集，可以對(duì)視覺(jué)世界中的關(guān)系產(chǎn)生新的見(jiàn)解。我們的目標(biāo)是鼓勵(lì)與創(chuàng)造性人工制品的互動(dòng)達(dá)到新的水平。”

這個(gè)怎么運(yùn)作

對(duì)于許多人來(lái)說(shuō)，藝術(shù)與科學(xué)是不可調(diào)和的：一種基于邏輯，推理和經(jīng)證實(shí)的真理，另一種則基于情感，美學(xué)和美感。但是最近，人工智能和藝術(shù)有了新的調(diào)情，在過(guò)去的十年中，這種調(diào)情變得更加嚴(yán)重。

例如，這項(xiàng)工作的很大一部分以前集中于使用AI生成新藝術(shù)。有一個(gè)由麻省理工學(xué)院，NVIDIA和加州大學(xué)伯克利分校的研究人員開(kāi)發(fā)的GauGAN項(xiàng)目。漢密爾頓和其他人以前的GenStudio項(xiàng)目;甚至是AI生成的藝術(shù)品，在蘇富比以51,000美元的價(jià)格售出。

但是，MosAIc的目的不是創(chuàng)造新藝術(shù)，而是幫助探索現(xiàn)有藝術(shù)。谷歌的“ X分離度 ”是一種類似的工具，可以找到將兩條藝術(shù)品連接起來(lái)的藝術(shù)路徑，但是MosAIc的不同之處在于，它僅需要一張圖像即可。它沒(méi)有找到路徑，而是發(fā)現(xiàn)用戶感興趣的任何文化或媒體中的聯(lián)系，例如找到共享的藝術(shù)形式“ Anthropoides paradisea”和“ Seth殺死蛇，Hibis的阿蒙神廟”。

漢密爾頓(Hamilton)指出，建立他們的算法是一項(xiàng)艱巨的嘗試，因?yàn)樗麄兿Ｍ业讲粌H顏色或樣式相似，而且含義和主題相似的圖像。換句話說(shuō)，他們希望狗與其他狗靠近，人們與其他人靠近，等等。為了實(shí)現(xiàn)這一目標(biāo)，他們?cè)诖蠖紩?huì)博物館和國(guó)家博物館的組合開(kāi)放訪問(wèn)集合中，針對(duì)每個(gè)圖像探究了深層網(wǎng)絡(luò)的內(nèi)部“激活”。他們?nèi)绾闻袛鄨D像相似性，就是通常稱為“功能”的這種深層網(wǎng)絡(luò)“激活”之間的距離。

為了找到不同文化之間的相似圖像，該團(tuán)隊(duì)使用了一種新的圖像搜索數(shù)據(jù)結(jié)構(gòu)，稱為“條件KNN樹(shù)”，該結(jié)構(gòu)將相似圖像組合成樹(shù)狀結(jié)構(gòu)。為了找到匹配的對(duì)象，他們從樹(shù)的“樹(shù)干”開(kāi)始，然后跟隨最有前途的“分支”，直到他們確定找到最接近的圖像為止。數(shù)據(jù)結(jié)構(gòu)通過(guò)允許樹(shù)快速將其自身“修剪”到特定的文化，藝術(shù)家或收藏品，快速產(chǎn)生對(duì)新型查詢的答案，從而改善了其前身。

漢密爾頓和他的同事感到驚訝的是，這種方法也可以用于幫助發(fā)現(xiàn)現(xiàn)有的深層網(wǎng)絡(luò)的問(wèn)題，這些問(wèn)題與最近涌現(xiàn)的“深造假”有關(guān)。他們應(yīng)用此數(shù)據(jù)結(jié)構(gòu)來(lái)查找概率模型(例如通常用于創(chuàng)建深造品的生成對(duì)抗網(wǎng)絡(luò)(GAN))崩潰的區(qū)域。他們將這些有問(wèn)題的區(qū)域稱為“盲點(diǎn)”，并指出它們使我們對(duì)GAN的偏見(jiàn)有所了解。這樣的盲點(diǎn)進(jìn)一步表明，即使大多數(shù)偽造品可以騙人，GAN仍難以代表數(shù)據(jù)集的特定區(qū)域。

測(cè)試MosAIc

該團(tuán)隊(duì)評(píng)估了MosAIc的速度，以及它與人類對(duì)視覺(jué)類比的直覺(jué)之間的接近程度。

對(duì)于速度測(cè)試，他們希望確保其數(shù)據(jù)結(jié)構(gòu)在通過(guò)快速，強(qiáng)力搜索簡(jiǎn)單地搜索整個(gè)集合中提供價(jià)值。

為了了解系統(tǒng)與人類直覺(jué)的協(xié)調(diào)程度，他們制作并發(fā)布了兩個(gè)新的數(shù)據(jù)集，用于評(píng)估條件圖像檢索系統(tǒng)。一個(gè)數(shù)據(jù)集挑戰(zhàn)了算法以找到具有相同內(nèi)容的圖像，即使它們已經(jīng)使用神經(jīng)樣式轉(zhuǎn)移方法進(jìn)行了“樣式化”。第二個(gè)數(shù)據(jù)集挑戰(zhàn)了算法以恢復(fù)不同字體的英文字母。不到三分之二的時(shí)間，MosAIc能夠一次從5,000張圖像的“干草堆”中猜測(cè)出正確的圖像。

漢密爾頓說(shuō)：“展望未來(lái)，我們希望這項(xiàng)工作能激發(fā)其他人思考信息檢索工具如何幫助藝術(shù)，人文科學(xué)，社會(huì)科學(xué)和醫(yī)學(xué)等其他領(lǐng)域。” “這些領(lǐng)域充滿了從未被這些技術(shù)處理過(guò)的信息，可以為計(jì)算機(jī)科學(xué)家和領(lǐng)域?qū)＜規(guī)?lái)巨大的靈感。這項(xiàng)工作可以在新的數(shù)據(jù)集，新的查詢類型和新方式方面得到擴(kuò)展了解作品之間的聯(lián)系。”