影響科研工作重現性的五大因素
令學術界和工業界倍感困擾的一個問題是科研工作的不可重現性,使得大量已發表的科學發現淪為不可靠的、不可信的或虛假的結果。可重現性、可再現性或可複製性(reproducibility)、可重複性(repeatability)、可驗證性(verifiability)講的都是同一個意思。雖然有些學者去深究這幾個詞之間的細微區別,例如有人嚴格區分說重現性是在不同條件下複製,而重複性是在相同條件下複製,但是這種用詞之間的區別的現實意義不大。它們說的都是科研成果能夠被自己或他人複製重現的程度,具體包括資料或結論的可重複性。對於非概率性資料,如果使用相同的輸入條件和工作方法,資料應該能夠被重複出來。對於概率性資料,雖然資料無法原樣複製,但是結論應該能夠被重複出來。本文簡述重現性問題出現的原因和規範措施。
眾所周知,科研工作的創新性是以科學發現、科研方法、技術產品中的任何一條出現新穎的創意為標誌。那麼,創新性必須展示穩定的、可以多次反復出現的、可以被驗證的(validated)結果,這樣才有研究的意義,例如某項生物醫學的細胞技術。這並不是說報告在大自然界或宇宙學領域觀測到的一過性的、不可重現的新的自然現象就沒有意義,這只是說在人類認識世界和改造世界的過程中,絕大多數的有意義的科研工作都不能是偶然的、不可重複的。科研工作的科學性(正確性)和完整性(深廣性)亦然,也必須能夠被重複驗證。
不可重現性問題產生的原因包括科研方法和學術道德兩個範疇。在科研方法中,科研工作種類包括理論推導、數值計算、實驗測試三大類。科研資料包括確定性資料和概率性資料兩大類。在科研工作過程中出現的任何不規範的做法和報告方式,都可能導致自己或他人無法重現科研結果,包括對一個公式的理論推導、對一個設計點的模擬計算、對一套臨床樣本資料的測試分析等。在學術道德中,數據造假是十大學術不端現象之一。資料造假是科研結果不可重現的另一個主要原因,這從不少期刊由於收到舉報而頻撤稿就可見一斑。
不可重現性問題為社會帶來巨大的學術成果誤導或資源浪費。從小處說,它是學術不嚴謹。從大處講,它是故意欺詐。例如,很多醫藥公司根據發表在著名期刊上的癌症研究論文開啟了昂貴的藥物研發項目,但是卻發現僅有10%的發表成果的結論是可以被重現的,導致90%的專案被迫取消,造成巨大的資源浪費。
影響科研工作重現性的五大因素包括:
- 學術不端中的資料造假;
- 科研工作過程的標準化管理和實施;
- 科研論著中的方法報告和披露;
- 同行評議糾錯;
- 同行監督舉報和鼓勵機制。
一、學術不端中的資料造假
與科研工作中的誠實性錯誤和疏忽不同,資料造假是具有惡意的故意欺騙行為。造假的動機和行為方式有很多種,包括明知故犯的選擇性發表,把並不具備代表性的偶然性資料挑選出來作為必然性資料予以宣稱發表,或“報喜不報憂”,以及篡改和編造資料,為了編造創新性來發表論文。
二、科研工作過程的標準化管理和實施
科研工作中重現性問題最大的原因來自工作執行階段的不規範和發表論文階段的不規範,導致自己和他人無法重現資料或結論。因此,學術界和工業界越來越強調標準化規範和資料品質控制的重要性,包括實驗測試要求具有一定的重複數量或樣本例數,使得均數逼真、標準差穩定,並使得樣本的統計量能夠代表總體的參數,使得統計推斷準確可靠等。另外,研究人員不能控制的雜訊變數(noise factor)和隨機化導致的假陽性等也都可能降低研究結論的重現性。各行各業的科研工作標準化流程方法、統計學規範方法和對複雜資料的分析方法均有所不同。在這方面的標準化研究或推動宣導的貢獻無疑是重要和令人關注的,因為重現性問題已經成為一個令學術界和工業界高度擔憂而亟待解決的熱點問題。另外,工作報告中的資料品質管理也是業界需要大力執行和完善的。
三、科研論著中的方法報告和披露
為了鼓勵或要求論文的作者在論文的方法部分或附錄部分詳述資料產生的過程,很多期刊已經放開了字數要求,甚至規定了標準化格式範本清單(包括試劑的供應商名單編碼),並要求上傳共用資料,以期解決重現性問題。導致他人無法重複已發表工作的原因主要是因為論文中報告的研究方法不夠充分和詳細,例如對於設備、試劑、軟體、輸入條件、試驗方案、隨機化、盲法、樣本量估計、資料處理等方面的描述。所謂的隨機化是指受試者應當被隨機分配到各實驗組,並報告隨機化方法,以及對資料的收集和處理應當隨機化進行。所謂盲法是指在分配方案隱匿時,研究人員應當不知道接下來的受試者將會被分配到哪一組;在進行試驗時,研究者應該不知道分配順序;在研究者評估試驗結果時,應當不知道干預的情況。所謂樣本量估計,是指應當設計合適的樣本量。所謂資料處理,是指應當提前制訂停止資料獲取的規則和資料的納入和排除的標準,明確如何定義和處理異常值,規定資料刪除的規則,報告試驗的操作頻率,以及結果是否能在一系列條件下被重複證實等。
另外,也有一部分作者為了保證研究的競爭優勢而沒有在論文中披露全部的研究細節和資料產生方法,故意不讓同行進行驗證,從而使得發表的論文的應用價值受限,甚至被指控資料造假。這種情況是不可接受的,因為發表論文與申請專利或商業秘密(trade secret)保護有所不同。
四、同行評議糾錯
期刊論文的同行評議是學術界對重現性問題的第一道把關,發生在論文發表之前。目前在同行評議中比較突出的一個問題是審稿人普遍對方法部分論述完整性的審核不夠重視,缺乏確保重現性所需具有的學科知識、標準化流程規範意識和審稿要求。這是期刊需要努力鞭策執行的一個短板。
五、同行監督舉報和鼓勵機制
同行監督舉報是學術界對重現性問題的第二道把關,發生在論文發表之後。重現性問題在論文中氾濫成災的重要原因是學術界不鼓勵發表驗證別人成果結論的論文,因此很少有學術研究人員會花費時間精力和經費去重複驗證別人的工作,除非具有極高顯示度的熱點課題,這時會有一些科研人員為了開展自己的跟隨性研究而先複製一下他人的工作作為科研基礎。這種現狀造成方法不規範者或資料造假者因缺乏監督而有恃無恐。因此,同行(論文合作者、領域內同行等)之間的監督和舉報在期刊和大學的學術制度制訂和實施上應當大力開展和鼓勵。學術期刊也應當考慮設置或擴展專門的欄目(例如快速交流或無時效性的交流信函或論文欄目)甚至專門的驗證性期刊或特刊允許和鼓勵發表創新性不那麼高的專門用於重複驗證別人的工作的有意義的論文。這種論文雖然不具有原創型論文的性質,但是在重複驗證重大科研成果和監督遏制學術不規範或資料造假上意義重大。科研基金會也應當設置一定規模的資金,鼓勵對於重大科研成果的重複驗證工作,這樣能夠從整個社會的層面減少不可重現性對各行各業的傷害。
綜上所述,影響科研工作重現性的這五大因素需要全球學術共同體的努力和標準化工作的推動。