同儕審查有沒有偏見?

學術出版仰賴同儕審查機制來確保出版研究的品質,然而同儕審查是交由評審行審查,在過程中會出現評審的個人偏見嗎?如果有的話,那將會有何影響?最近Justin Esarey教授以模擬實驗來檢驗同儕審查過程,其中一些發現的結果頗令人驚訝。

同儕審查機制的模擬研究

Justin Esarey教授根據各種同儕審查程序建立了模擬實驗模型,他模擬了四種情況,都假設有三名評審進行同儕審查。

在第一個模擬實驗中,他假設所有同儕審查評審和主編之間達成了論文接受標準的協議。第二個模擬實驗假設如果大多數評審同意該論文是可被接受的,那麼就應該要出版。在第三個模擬實驗假設多數決議必需包括主編的選票。最後的模型是,主編根據評審報告的總結作決定,主編可以不顧評審的投票,接受或拒絕論文。

Esarey教授各進行了兩次這四種模擬實驗。第一次模擬依以上設定操作。而第二次則設定為主編會先直接將一些品質較低的論文拒絕掉,而不讓這些論文進入同儕審查程序。

模擬實驗中亦包括讀者評價。讀者對每種情況下所被接受而發表的論文的評價如何?他對50,000篇論文和500名期刊讀者進行了模擬實驗,將論文接受率設定在10%。然後,Esarey教授使用模擬實驗來確認讀者如何評比發表的論文。在每種情況下,讀者認為合格的論文占了,而大約有12%論文被讀者認為是品質不良,儘管這些論文未被主編拒絕,而且大多數評審亦同意應該發表。

主編的價值

Esarey教授的研究強調了優秀主編的重要性。他發現最好的論文審查機制是進行同儕審查,但最終取決於主編。同儕審查報告歸納了論文的優缺點,但不提出接受或拒絕手稿的建議。

在Esarey教授的模擬實驗中,一般讀者評分80分(百分級距)算是好的論文,而65分就算是品質較差的論文。在一般程序中,有6%讀者給的分數低於65分。如果主編先根據自己的判斷拒絕了半數手稿,再將剩下的部分發到同儕審查程序,那只剩1%讀者給的分數低於65分。可見得好的主編干預給予正面的影響。

最好的審查系統類似於期刊的現行機制,要求評審提出論文的定性審查結果,不判斷論文是否應出版。在模擬實驗中,Esarey教授也發現同儕審查可以使得更優質的論文被接受,這說明了同儕審查的價值。但即使是讀者評分80分(在主編於同儕審查之前可直接拒絕手稿的機制下則更高達85分)的高水準論文,要能獲出版很大程度上仍是取決於運氣,和擲銅板差不多。

其他形式的偏見

還有其他形式的偏見會影響同儕審查的結果。女性和少數族裔在資金贊助、出版或升遷方面往往比較困難。Andreas Neef教授所發表的一項研究顯示,女性在主編、評審和作者方面的代表性不足。即使經女性在科學界比例偏低進行調整,代表性依舊不足。他對Frontiers旗下期刊的9,000名主編和43,000名評審進行了研究,這現象已見改善,然而以目前的趨勢來看,作者性別比例要到2027年才會平衡。評審和主編中,女性比例要一至到2034年和2042年才會平衡。要改變現狀,必須先改變偏見。

不可否認的是,同儕審查增加了學術出版的價值,所以減少同儕審查中的偏見顯然是非常重要。為了有效地判斷研究品質,同儕審查報告不應包括評審對是否接受論文的建議。主編在提高出版品質方面,扮演了重要的角色;主編應該根據研究的優點來判斷學術價值,並做出最終決定。因此,反偏見的訓練是要改善同儕審查的課題,以確保最佳研究成果能獲得出版。

Leave a Reply

avatar
1000000
  Subscribe  
Notify of