由塞巴斯蒂安·海斯勒(Sebastian Haesler，由IMEC，KU Leuven和VIB授權(quán)的NERF)領(lǐng)導(dǎo)的腦科學(xué)家發(fā)現(xiàn)了新型刺激如何促進(jìn)學(xué)習(xí)的因果機(jī)制。新奇直接激活了多巴胺系統(tǒng)，該系統(tǒng)負(fù)責(zé)聯(lián)想學(xué)習(xí)。這些發(fā)現(xiàn)對改進(jìn)學(xué)習(xí)策略和機(jī)器學(xué)習(xí)算法的設(shè)計(jì)具有啟示意義。

新奇與學(xué)習(xí)

在動物和人類中通常觀察到一種基本的學(xué)習(xí)類型，稱為聯(lián)想學(xué)習(xí)。它涉及刺激或行動與積極或消極結(jié)果的關(guān)聯(lián)。聯(lián)想學(xué)習(xí)是我們許多日常行為的基礎(chǔ)：例如，我們獎勵孩子做功課，或者如果他們表現(xiàn)不佳，則限制他們的電視時(shí)間。

自1960年代以來，科學(xué)家們就知道新穎性促進(jìn)了聯(lián)想學(xué)習(xí)。但是，這種現(xiàn)象背后的機(jī)制仍然未知。

“先前的研究表明，新穎性可能激活大腦中的多巴胺系統(tǒng)。因此，我們認(rèn)為多巴胺的激活也可能促進(jìn)聯(lián)想學(xué)習(xí)。”負(fù)責(zé)這項(xiàng)研究的塞巴斯蒂安·海斯勒教授說。

嗅出新奇

為了證明新穎性確實(shí)激活了多巴胺神經(jīng)元，研究人員將小鼠暴露于新的和熟悉的氣味中。

“當(dāng)老鼠聞到新的刺激物時(shí)，它們會變得非常興奮，并開始非常迅速地嗅探。這種自然，自發(fā)的行為為新奇感知提供了很好的讀數(shù)。”塞巴斯蒂安·海斯勒(Sebastian Haesler)研究組的博士后Cagatay Aydin博士解釋說。通過小鼠實(shí)驗(yàn)，研究小組證實(shí)了多巴胺神經(jīng)元是由新的氣味激活的，而不是由熟悉的氣味激活的。

第二步，訓(xùn)練小鼠使新奇和熟悉的氣味與獎勵聯(lián)系起來。

“僅在少數(shù)試驗(yàn)中，當(dāng)我們特異性地通過新型刺激阻斷多巴胺激活時(shí)，學(xué)習(xí)就會減慢。另一方面，在呈現(xiàn)熟悉的刺激過程中刺激多巴胺神經(jīng)元會加速學(xué)習(xí)。”該小組的博士生Joachim Morrens說。

新奇的價(jià)值

這些發(fā)現(xiàn)表明，通過新刺激物激活多巴胺可以促進(jìn)學(xué)習(xí)。它們進(jìn)一步為計(jì)算機(jī)科學(xué)中的一組理論框架提供了直接的實(shí)驗(yàn)支持，其中結(jié)合了“新穎性獎勵”以說明新穎性的有益作用。合并這種獎勵可以加快機(jī)器學(xué)習(xí)算法的速度并提高其效率。

從非常實(shí)際的角度來看，結(jié)果提醒我們更經(jīng)常地打破常規(guī)，尋找新穎的經(jīng)驗(yàn)來更好地學(xué)習(xí)。