16

同儕審閱評鑑制度(Peer Review Evaluation):一個透明公開的評鑑制度

ORCHID 同儕審閱的品質決定了期刊的品質。此項制度是設計以便於使文章的數據以及結論更為合理化人同時為人所信任。但我們如何確保期刊同儕審閱的品質呢?有些審閱過程相當嚴格,有些則只是流於形式上的審核。根據調查指出,專業度未達水準的文章有時也能通過某些期刊的同儕審閱,不論原因是同儕審閱未發揮效果或根本沒有同儕審閱制度。沒有一個方法可以立即確認此期刊有無有效且完整的審閱制度,直到現在,這個狀況將獲得改善。
同儕審閱評鑑制度(PRE): 一個透明公開的評鑑制度

同儕審閱評鑑制度(以下簡稱PRE)是一個用於評鑑雜誌期刊同儕審閱制度的評鑑機制。此一制度好比一個證明章,可以證明期刊的同儕評審制度有無達到水準。我登入系統、操作它,以便於了解此機制的真實流程。我並不是電腦科學專家,因此雖然在填寫數據以及應用程式的表單部分,面臨到一些困難,但我相信我仍掌握了大致流程及訣竅。

PRE如何替同儕制度評分

一旦期刊申請使用PRE服務(需付費),他需要提供關於同儕審閱流程的相關資訊,流程參考如下:

  • 文章需經過多少輪的審閱?
  • 誰參與了審閱流程?(例如:同儕審閱者、編修師…等)
  • 誰擔任審閱者的角色?
  • 審閱者的意見為何?
  • 有無剽竊之嫌疑?
  • 期刊是出版委員會之一員嗎 ?

運作電腦程式的同時伴隨著專業人員的協助,蒐集以上問題之答案以及相關數據後,PRE會給予評分。

就我個人而言,我贊成PRE此種替同儕審閱流程評分的機制,因為我想此機制對於讀者以及期刊面來說都是雙贏局面。但我對於此機制仍有些許疑惑,例如:此機制如何審合及處理從出版商而來的數據?舉例來說,PRE不能僅止採用期刊聘用教授的說法,教授評審們也需具備實質的能力並證明之。而此驗證會為符合評審對於保密的期待嗎? 因為證明評審須具備專業能力的同時,是否就違背保密約定了? PRE的網站是可以自由選擇公布審閱者的身實身分與否,但我不確定在公布身分之前是否會取得當事人同意同時經過相關驗證。

PRE實為一項立意良好的機制,而經過研究證明,此一機制也受益於研究者。但STRIATUS/JBJS警告:可能會有有心人士藉由寄送假文章給經過PRE系統評鑑而得到高分的期刊以測試PRE系統的穩定度,在規劃設計您的評鑑系統時,請將以上可能狀況謹記在心。

讓我們來看看領域專家使用PRE後的心得:

Lynne

PRE將會變得越來越有價值,因為他不僅對於文章提供一個實質幫助,同時也提升期刊的信譽

同儕審閱的過程是設計以確保發表在期刊上的文章具有原創性、質量以及信效度。長期以來,人們接受並相信此制度是具有誠信以及公正性的,然而,隨著捏造數據 以及剽竊文章的案例出現,一個公正公平的評鑑制度是有其存在必要的。有些案例顯示: 某些具有信譽的學校期刊也落到使用虛假的同儕審閱。PRE系統因為監督同儕審閱的公信力以及公平性,與ORCID擁有良好的合作關係,而使用PRE系統於 期刊以及論文中,可以確保同儕審閱制度取信於讀者。此外,PRE系統提供每個審核過程有效的統計數據,包括經過幾輪審查、多少審查者以及是什麼樣背景的審 查者、文稿是否被抄襲以及論文提交日期…等資訊。PRE將會變得越來越有價值,因為他不僅只對於文章提供一個實質幫助,同時也提升期刊的信譽。

環境科學領域 博士
25年以上研究及專業領域撰寫經驗,美國。


Laura

我會持續關注類似於此的服務能發揮多少成效同時確保同儕審閱如預期般的發揮效果

而毫無疑問的,透明度以及公正度在同儕審閱的過程是非常迫切需要的過程。但令人擔憂的是,同儕審閱常出現偏見以及發生錯誤。無論評審有意無意,審閱 者通常以主觀的自身角度去審視整件事情,或是只選擇對於自身有利的角度去審查文稿,同時可能延遲競爭對手論文的發表或是阻撓跟自己不同觀點的文章發表。

另一方面,科學家撰寫文章時,也會避免競爭對手審查自己的文稿,此種情況增加文章審閱的困難度。諸如此類的情況,導致擁有一個可以公評鑑定審閱過程的系統是非常迫切、急需的。我會持續關注類似於此的服務能發揮多少成效同時確保同儕審閱如預期般的發揮效果。

分子與細胞生物學 博士
10年以上科學實證與編修經驗,美國。


Maria

此評價制度並不完全能代表評審基準

同儕審閱制度是要確保同儕審閱的過程中,遵循一定條件並達到一定的標準。它是基於出版商提供的數據以及資訊的詳細程度而決定。

同儕審 閱獲取資訊的標準也是需要遵循一定的規則,包括幾輪審閱、幾位審閱者…等。然而,以上這些必要的資訊卻不是強制提供的。源源不斷的需求導致科學家需要 激烈競爭以獲取資源及關注。因此,一場有四位專業領域審閱者的審閱並不一定比一場只有兩位類似領域的審閱者來的專業。然而,這些資訊同儕審閱評價機制都不 會提供,而此制度也並不會評鑑所有關於技術性的步驟。同樣的,一個完整、具有良好結構以及經過深思熟慮的研究,可能只需要經過一輪審查,不需要經過一系列 品質不夠好的審查過程。

藉由以上幾點,此評價制度並不完全能代表評審基準,它仍有潛在的一些科學謬誤,使得它不能完全代表一個有用的工具去評鑑審閱過程。

生物學博士
擁有12年以上自然領域編輯經驗,英國。


Hiroshi

PRE可以完成此項艱鉅的任務,檢測出數字的可信度,同時節省了研究人員的時間以及保存研究人員的信譽。

對於很多專業的研究人員來說,精確度以及合法性是最重要的兩大元素。他們的信譽以及生計取決於每一次的出版品。假使有任何一篇文章中的數據被發現是 經過剽竊或是捏造的,無論是有意或是無意的,都會使研究人員陷入醜聞風暴當中。其中一個非常著名的例子就是日裔Haruka Obokata的論文造假案,她因為成功發表論文而迅速成名,但隨著名氣的上升使得她的論文備受關注,進而被其他學者質疑其正當性以及數據的正確性。接著 再因她的驚人自白以及關於審查制度的發言造成全國的連鎖反應。

鑑定同儕審查制度的新系統成為時代的關鍵。檢測數據是否有可信力是一項艱難的 任務,然而PRE可以完成此項艱鉅的任務,檢測出數字的可信度,同時節省了研究人員的時間以及保存研究人員的信譽。PRE制度參與了出版過程的每一個步 驟,每一篇文章不僅只審查詳細的數據分析,同時也審查編修過程、有無抄襲、細微到連文章中出現的姓名也都會查證。

當涉及到專業的研究時,了解誰與之相關以及數據的來源是相當必要的。當研究甚至涉及到生命健康或是人生安全時,會關係到無以計數的生命。利用如PRE這樣的機制,將可以徹底改變人們的價值觀、教育方式以及使之成為維護科學界尊嚴和榮譽的工具。

商學研究所
11年以上英文日文翻譯經驗,日本。


Stephanie

任何人看了經過PRE 鑑定的文章,都能感受到此文章經過嚴謹且公平公正的審核過程

為了加深讀者對於科學期刊的信任感,審核制度的品質以及透明公正度也必須提升。透明公正度是科學出版品出版過程中的基本條件之一,此條件讓讀者明瞭:任何 結論都是經過嚴格且獨立的審核過程。讀者可能對於審核文章的過程有所質疑,而這些疑問可以透過PRE提供的服務而被解決。例如文章經過幾輪的審核關卡、以及什麼樣的人審核這些文章,此外,如果期刊決定公開資料,審核者的評論也得以見天明。任何人看了經過PRE鑑定的文章,都能感受此文章經過嚴謹且公平公正 的審核過程。

碩士
擁有6年以上研究及學術編輯經驗,美國。

X

請訂閱以繼續閱讀

關於科研寫作和學術出版的文章與學術資源,包括:

  • 820 +文章
  • 50+ 免費線上講座
  • 10+ 專家Podcast
  • 10+ 電子書
  • 10+ 檢查清單
  • 50+ 資訊圖
全球科研人調查

大學在研究和學術寫作中應該採取什麼立場?