由密歇根州立大學(xué)天文學(xué)家領(lǐng)導(dǎo)的一組科學(xué)家發(fā)現(xiàn)，一種新的評(píng)估擬議中的科研項(xiàng)目的方法與傳統(tǒng)的同行評(píng)審方法一樣有效，即使不是更多。

通常，當(dāng)研究人員提交提案時(shí)，資助機(jī)構(gòu)會(huì)要求該領(lǐng)域的許多研究人員評(píng)估并提出資助建議。有時(shí)可能會(huì)有點(diǎn)笨重和緩慢的系統(tǒng)-并不是一門精確的科學(xué)。

密西根州立大學(xué)物理與天文學(xué)系，計(jì)算數(shù)學(xué)，科學(xué)與工程系的助理教授沃爾夫?qū)?middot;科曾多夫(Wolfgang Kerzendorf)說：“與所有人類努力一樣，它也有缺陷。”

在出版物《自然天文學(xué)》中進(jìn)行了詳細(xì)介紹，Kerzendorf及其同事測試了一種新的系統(tǒng)，該系統(tǒng)可在提議者之間分配審查項(xiàng)目提議的工作量，這種方法稱為“分布式同行審查”方法。

但是，該團(tuán)隊(duì)通過使用其他兩個(gè)新穎的功能對(duì)其進(jìn)行了增強(qiáng)：使用機(jī)器學(xué)習(xí)使評(píng)論者與提案匹配，并在評(píng)論中包含反饋機(jī)制。

本質(zhì)上，此過程包含旨在改善同行評(píng)審過程的三個(gè)不同功能。

首先，當(dāng)科學(xué)家提交評(píng)估建議時(shí)，首先要求他(她)審閱其競爭對(duì)手的幾篇論文，這是一種減少要求他人審閱的論文數(shù)量的方法。

Kerzendorf說：“如果您減少每個(gè)人必須進(jìn)行的評(píng)論的數(shù)量，他們可能會(huì)花更多的時(shí)間來處理每個(gè)建議。”

其次，通過使用計(jì)算機(jī)(機(jī)器學(xué)習(xí))，供資機(jī)構(gòu)可以使審稿人與他們是專家的領(lǐng)域的建議相匹配。此過程可以消除人為因素的偏見，從而使審核更為準(zhǔn)確。

Kerzendorf說：“我們實(shí)質(zhì)上是看潛在讀者寫的論文，然后向這些人提供他們可能擅長判斷的建議。”“計(jì)算機(jī)代替了審閱者自我報(bào)告他們的專業(yè)知識(shí)，而是完成了工作。”

第三，團(tuán)隊(duì)引入了反饋系統(tǒng)，提交提案的人可以判斷收到的反饋是否有幫助。最終，這可能有助于社區(qū)獎(jiǎng)勵(lì)一直以來提出建設(shè)性批評(píng)的科學(xué)家。

Kerzendorf說：“這一過程并不重要。”“良好的，建設(shè)性的審核會(huì)帶來一些好處，這是對(duì)您審核其他提案所做工作的一種獎(jiǎng)勵(lì)。”

為了進(jìn)行實(shí)驗(yàn)，Kerzendorf和他的團(tuán)隊(duì)考慮了172個(gè)提交的建議，每個(gè)建議都要求在德國南部的16國陸基天文臺(tái)歐洲南方天文臺(tái)使用望遠(yuǎn)鏡。

以傳統(tǒng)方式和使用分布式同行評(píng)審的方式對(duì)提案進(jìn)行了評(píng)審。結(jié)果?從統(tǒng)計(jì)的角度看，這似乎是無法區(qū)分的

但是，Kerzendorf說，這是一個(gè)新穎的實(shí)驗(yàn)，測試了一種評(píng)估同行評(píng)審研究的新方法，這可能會(huì)在科學(xué)界帶來改變。

他說：“雖然我們非常認(rèn)真地考慮科學(xué)，但有時(shí)我們并沒有花時(shí)間認(rèn)真地思考改進(jìn)科學(xué)資源分配的過程。”“這是一種嘗試。”