同儕審閱報告

研究人員需要知道的文獻計量學

文獻計量學(bibliometrics)是文獻學情報學與數學、統計學等相互交叉和結合而產生的邊緣學科,也是資訊科學體系中的一個重要分支學科,對學術文獻的數量、引用次數、相關性等指標進行定量分析。初看起來,文獻計量學分析似乎只是圖書館人員、科技資訊人員或科研管理人員的工作。實際上,文獻計量學作為學術素養中的重要內容之一,是各個學科領域的每個專業技術人員都應當熟悉和運用的。而且,專業技術人員能夠從“發表後同行評議”的角度對文獻計量學指標進行補充。另外,文獻計量學作為能夠規劃學科發展的強大工具,是研究人員尤其是系統設計人員應當擅長使用的。本文簡述文獻計量學在專業技術人員日常工作中的重要作用。 情報工作在任何領域均歷來被各級首長高度重視。在軍事領域,偵查情報工作與作戰參謀和訓練業務一樣,在司令部建設中極為重要。在科研領域,情報工作不僅能夠幫助規劃科研方向,而且能夠幫助判定科研工作績效。各領域專業技術人員應當熟悉和善於運用文獻計量學,原因有三。第一,關於論著的文獻計量學數量指標和品質指標通常被各單位從學校到個人逐級分解後用於業績考核。因此,研究人員必須在開展工作和發表論著之前就熟知單位的考核要求。第二,文獻計量學能夠分析揭示每個專業方向的文獻數量、影響因子、資助資金來源、文獻引用次數、作者合作強度、國際合作廣度、機構排名、聚焦熱點和高被引論文等,產生“知識地圖”,發現科研空白。這一點對於從事學科規劃的系統設計人員尤為重要。第三,文獻計量學用於學術評價的數量和被引次數等指標飽受質疑和詬病,急需引入發表後同行評議機制予以補充完善。 在對個人、單位和國家的科研能力評價方面,可以選擇的指標有很多,比如科研經費、專案結案成果、獲獎科研成果、學術論文、學術著作、發明專利、研究人員情況、專案進展情況、經濟效益、社會效益等,可以分別賦予不同的權重。其中,文獻計量學指標,特別是關於學術論文數量和品質的評價指標佔據主導性地位,包括論文和專利的被引頻次、高被引論文、基金論文比、期刊影響因子、H指數等。 被引次數是反映論文影響力的重要指標,它是衡量一個學者或科研機構被同行認可的標誌之一,也反映某個研究方向的活躍程度。研究人員發表的學術論文的影響力體現在同行關注程度上,而研究成果被同行在論文中引用是最重要的表現形式之一。被他人引用的次數越多,說明受到的關注就越多,影響範圍就越大。這就是被引次數通常能夠說明論著的學術水準或品質的原因。文獻計量學在科技實力評估中的作用集中體現在使用《科學引文索引》(SCI)和《期刊引證報告》(JCR)進行引文分析的實踐,它奠定了文獻計量學在科技評估特別是科技論文和期刊評估中的重要地位,為各國學者和單位普遍認同。可以說,沒有SCI,就沒有文獻計量學的實際運用和發展。重視科技情報工作,就要推崇文獻計量學。推崇文獻計量學,就要尊重SCI。這些都是一脈相承的關係。 文獻計量學分析包括數量分析、引文分析、相關性分析(又稱選擇因子分析或同行評議分析)。這裡的相關性不是指數量分析和引文分析中的各種資料關聯,而是特指基於同行評議的專業內容相關性或優劣性的評分。所有這些分析都能夠按照作者個人、機構單位、國家地區、期刊種類、科研方向等進行歸類分析。這些分析能夠由科技情報人員完成,也可以由專業技術人員完成。但是,數量分析和引文分析其實並不能完整回答應當如何建設一個學科的問題,因為建設規劃一個學科並不能根據文獻計量學統計出來的所謂“熱點”和某個方向的高數量文獻去盲目跟風。在對學科方向進行規劃細分並評價學科熱點或專業內容相關性時,這種分析通常需要由專業技術人員完成,因為只有他們才知道應當如何細分方向和如何給專業相關性打分。 例如,在發動機系統設計領域,可以將發動機文獻分為三類:核心文獻(即系統設計領域本身的論文和著作)、重要支援文獻(即其他領域內的對系統設計領域的建設有顯著幫助的論文和著作)、一般支援文獻(即其他領域內與系統設計領域的建設有關但是卻品質較差的或者沒有顯著幫助的論文和著作)。可以定義一個文獻選擇因子,作為核心文獻和重要支持文獻的數量總和與發動機全部三類文獻數量總和之比值。很明顯,只有專業技術人員才有資格在閱讀了每篇論文後確定某個科研方向的文獻選擇因子。確定文獻選擇因子的過程其實就是一種發表後同行評議的過程,根據不同的目的確定不同的選擇因子,例如系統設計相關性選擇因子或文獻優劣選擇因子。 因此,如果說論著數量和引用次數是文獻計量學在文獻學領域自帶的經典評價指標,那麼文獻選擇因子就是各學科領域的專業技術人員經過發表後同行評議而能夠貢獻的一個新指標。這種相關性分析實踐將極大促進文獻學與各專業技術領域之間的滲透和融合,為文獻計量學發展注入新的活力。當然,文獻選擇因子由於帶有同行評議的主觀判定色彩,因子取值不會像數量分析和引文分析那麼客觀固定。實際上,在文獻計量學領域開展以同行評議為實質的相關性分析(選擇因子分析),也符合必須將論著數量和引用次數與同行評議相結合的學術評價體系改革的呼聲。 綜上所述,專業技術人員應當熟悉文獻計量學的各種指標,並以同行評議的視角在相關性分析方面大力介入和發展文獻計量學,並從文獻學的角度系統地策劃和發展自己的專業學科領域。  

Launching ‘Review Assistant’: An AI-powered Tool for Peer Reviewers

Enago is proud to announce the launch of a unique AI-powered tool ‘Review Assistant’..

代筆同儕審閱:受肯定、接受訓練、被利用?

 您是剛起步的早期研究員嗎?您有被老闆要求過代筆同儕審閱嗎?論文評審各領域中的專家來詳細審閱,對期刊來說是重要的品質管理,對資淺的學者來說,獲邀執筆同儕評論更是重要的經驗及被肯定的機會。但是,2019年4月26日在bioRxiv網站上發表的一篇論文發現,有大量早期研究員被要求在未署名的情況下代筆同儕審閱。 早期研究員代筆寫同儕審閱報告是學界常態 首先,「共同審閱」與「代筆」之間是有區別的:「共同審閱」是有經驗的指導者與初期學者一起審閱論文,提出意見,貢獻並列在同儕審閱報告上;而「代筆」則是說學者進行了共同審閱,但並未被列名在同儕審閱報告上。 bioRxiv論文第一作者Gary McDowell所屬的非營利組織Future of Research網站發佈一份總共16個問題的問卷,並透過各式管道鼓勵資淺研究人員填寫,這篇論文總共分析探討了498名受訪者的回答。 受訪者中有74.7%來自北美,且65%屬於生命科學領域,是這篇論文的代表性族群。結果發現,其中有73%的早期研究員有共同審閱的經驗,而其中有70%表示他們對老闆送出的同儕審閱報告有貢獻但未被列名。 這篇論文是目前為止唯一深入探討早期研究員代筆同儕審閱狀況的論文。其意義之重大,讓Science和Nature等各大期刊紛紛發文報導。 利用還是訓練?一線之隔 論文接下來則探討這個明顯為主流的同儕審閱行為是否正當。一方面,問卷調查中有73%的學者認為老闆邀受其指導的實驗室成員共同審閱論文,是合乎學術倫理的;更有95%受訪者認為,一起共同審閱論文對自己的訓練是有幫助的。所以說,學者對於受邀共同審閱持正面態度。然而對於不被列名一事,有77%認為有貢獻而不被列名是不合倫理的,並有82%的學者認為列名於同儕審查報告上是具有價值的。的確,被列名對學者的學術生涯有許多益處,包括能讓早期研究員受到期刊編輯的重視,並能在Publons等學術網站上得到認可。至於說訓練,有47%的受訪者表示,自己在呈上完整報告給老闆後就沒有下文,更像在老闆利用年輕學者節省自己時間。 對此結果,論文作者從不同角度提出建議。包括1) 學術界整體觀念的轉變,正視不將所有貢獻者列名於同儕審閱報告,是不合倫理的行為;2) 期刊編輯部政策的轉變,將論文同儕審閱邀請不僅發給受邀學者個人,還包括其實驗室中受其訓練的成員,並提供能列名多個作者的方式;3) 而受邀的同儕審閱者及共同審閱者更應熟知自己的權利與義務,並清楚溝通。這些都將有助於學術界共同推動更公平、公開的同儕審閱。

Elsevier最新研究:公開同儕審查是否影響審查意見?

論文發表一直是學術研究傳播的重要管道和評鑑研究人員的重要依據。論文正式發表前都會經過同儕審查,傳統的同儕審查有過程漫長、品質受爭議等諸多問題,因此學術界正探討改善這些問題的方式,目前已有許多學術期刊選擇在不同程度上公開同儕審查報告中的內容 ,而Elsevier更是有系統地分析公開同儕審查報告對同儕審查過程的各方面影響,並發表了最新研究發現。 最具權威的學術出版商之一Elsevier於2019年1月在Nature Communications發表了最新的同儕審查公開相關研究。Elsevier旗下的5家期刊同意於實驗期間公開同儕審查報告,以獨立的DOI與正文連結。總共包含2010年至2017年各論文作者、同儕審查者及編輯等共62,790個資料點,分析了公開審查報告對於審查意願、審查結果、審查時間、審查意見性質等因素影響,並另外對性別及資歷等進行交互作用的分析。 研究結果顯示公開審查報告對審查意願、審查結果及審查時間皆無顯著影響,而審查意見性質方面,男性給予了更具建設性的評論,而資歷較淺、無教授或博士資格的審查者給予更正向客觀的評論。此篇論文的結果顯示公開審查報告並不至於限制同儕審查過程。然而,其中也點出了匿名性的重要,實驗中只有約8.1%的審查者同意將其姓名公開於報告中。 在這個再現性危機現形的時代,學術透明化成為重要的發展方向,而同儕審查透明化雖然仍有許多挑戰要克服,卻能讓學者們對同儕審查結果更有信心,也鼓勵審查者更正向、客觀地給予意見。另外,公佈審查報告還有助於更多同儕審查過程最佳化的相關研究進行。

同儕審閱者要怎麼批評才有建設性?

同儕審閱者的評論將會影響該研究領域期刊發表之內容及方向,且可指導年輕學者、幫助他們實現目標。怎麼批評才能正面指導後進學者?

同儕審查──開放就透明嗎?

隨著支持開放科學的期刊逐漸增加,「開放同儕審查」正在改變單盲、雙盲等同儕審查流程的傳統格局。這張資訊圖針對同儕審查中的透明度,討論科學界就傳統和替代形式的不同觀點。

共享同儕審查數據有助於反擊科學不端行為

生命科學的研究正面臨著實驗可複製性(reproducibility)危機。實際上,有70%的研究人員嘗試過複製另一位科學家的實驗,但卻無法能再現其實驗結果,這也促使科學家質疑同儕審查的模式,並促成同儕審查數據的共享。這些所有作為都是為了要促進科學研究的誠信,有效地減少科學舞弊事件發生。 關於實驗可複製性危機,從心理學和癌症生物學分析中,揭發出這令人震驚的事實。根據最近的一項研究,只有40%的心理學報告和10%的癌症生物學報告才能成功複製。為何成功率這麼低?這主要是由於:使用選擇性數據作報告、來自發表上的壓力、統計能力太差和分析工夫不夠、原始數據的重製工夫(replication)不夠、實驗設計不良、或是原始數據(Raw Data)不可用。目前找到了一個解決此問題的方法,是推動手稿數據的同儕審查,這將可大大促進數據準確性的評估。   原始數據的共享 最近科學家努力的推動著數據共享,而且有越來越多的趨勢。儘管如此,實際上卻只有少數幾個期刊已經實施此政策,以建立起實驗的透明度。 有些期刊會審查數據集(data set),但並不將這些數據集作共享。此外,同儕審查本身並未經過有效性作系統性的評估,或許這也會對可複製性造成影響。另外,如何加強編輯和研究人員的資源,也一直被持續討論著。一個可能的解決方案是與原研究者合作,並建立實驗階段的同儕審查系統,使該實驗易於驗證。此外,導入剽竊檢測軟體來檢測複製的數據集,多少也有一定幫助。但是有一些研究者仍然猶豫是否分享數據集,也許是因為競爭激烈,研究經費不夠。 共享數據集的同儕審查 目前一些期刊要求作者應提交數據集供同儕審查,接著期刊會對數據集進行技術和主題領域審查,其中包括對以下方面的評估: 數據邏輯、一致性、格式化、開放近用的合理性、品質、處理/再利用、測量單位、收集方法的品質、任何異常情況。 期刊應將同儕審查數據作共享 從所有方面來看,同儕審查的共享有助於提高透明度。 PEERE是歐洲一個很大的群組,與Elsevier,Springer Nature和Wiley合作開發了一個協議,努力嘗試發展出一個標準化系統來發佈同儕審查的數據集。…

回覆審查意見攻略

(圖片來源:https://baremetrics.com/blog/organize-startup-chaos) 文章投稿至國際期刊後期刊主編會將文章送至幾位(通常三位)審查者手上,這些審查者可以針對文章內容提出質疑問難。也因為審查者提出的問題包羅萬象,如何回答往往讓作者絞盡腦汁。尤其審查意見需要在預定的時間內完成回覆,能否高效率並準確地回答問題往往成了文章是否被接受的關鍵。因此在開始撰寫審查意見回覆信前應先將問題分類。 是否需要增加實驗資料 審查者提出建議希望作者能提供某些實驗資料是很常有的事。通常是被認為目前投稿的內容理倫證據不足,需要額外的實驗來佐證。但有時純粹是出於審查者的好奇心,這些額外的實驗是多此一舉。因此,若您認為審查者所提的實驗並非必要且曠日費時,可以先嘗試用加強論述或引用文獻的方式回答。如果審查者所要求的實驗在技術上或是執行上有困難,例如硬體設備或是病人樣本數不足時,就誠實地向審查者解釋原因,千萬不要為了完美無瑕回答審查者的問題而埋頭苦幹白白浪費了寶貴的時間。 審查者們是否提出了相同的問題 若數個審查者對於文章皆提出了相同的觀點或問題,絕對要非常重視並加強回答。因為這些審查者很有可能都是領域相近的專家,提出的觀點是此領域重要的部份,仔細檢視自己的研究是否有所遺漏並盡可能地補齊。 審查者是否和您有不同的理論 審查者和文章中敘述的理論意見相左也司空见惯。當然,一味地投其所好依照審查者的意思去修改或許可以使審查者滿意而不再有問題,但您希望刊出的文章和您的理論是相違背的嗎?答案應該是不。所以這時候要據理力爭,只是敘述時要婉轉。可以先謝謝審查者的建議,再將自己的理論有憑有據地寫出。既可重申了自己的理論,也不正面反駁審查者的觀點。 審查者給的意見或許有時令人難以招架,但千萬不要亂了分寸。先擬定好策略,判斷有哪些要補做的必要實驗、要加上的重要論述以及和審查者有爭論的部份,再有條不紊地逐一完成,才不至於曠日廢時。  

回覆審稿意見的東西文化差異

(圖片來源:http://www.stevenaitchison.co.uk/blog/5-weird-confidence-building-exercises/) 審查意見回覆信的好壞的關鍵往往是在於文章是否能夠被期刊接受。然而,東西文化的差異會在不知不覺中影響了審查意見和回覆信的內容,所以在撰寫時要特別注意的。 回覆意見的態度 東方人通常較為溫良恭儉讓,當審查者提出不同的看法或對理論有所質疑時,回應較為含蓄,深怕冒犯了審查者。但科學文章應清楚直接,其實只要敘述合理、有憑有據,大部分的審查者是可以接受不同意見的。當然對於審查者該有的禮貌一定要有,只是對於自己認為正確的部份要堅定立場,並提出足夠的證據和文獻來支持敘述。同樣,對於審查者敘述不清楚或有疑慮的部份也直接詢問,切忌不可因為害羞而胡亂回答。 回覆意見的篇幅 同樣地,東方人在寫文章時習慣洋洋灑灑地一大篇,看起來比較有學問。但在回答審查者問題時若篇幅過大,反而容易模糊焦點。再加上使用的是本身較不熟悉的英文,很容易就辭不達意,造成審查者在長篇大論中找不到自己想看到的答案,結果自然可想而知。對於審查意見只要針對問題,簡潔地回覆即可。 對於受限的部份 東方人習慣藏拙,對於文章中力有未逮的部份總是想方設法地隱藏起來。但大部份的審查者都是相近領域的專家,要發現問題也不是什麼難事。其實如果在執行上有所困難,或是面對的問題太過於龐大而不是單一文章可以解決,不妨大方地寫出來。只要狀況合情合理,相信審查者也不至於雞蛋裡挑骨頭

研究報告頻繁出錯的背後原因

能整體直接反應研究報告出錯的程度的數據,莫過於出版報告撤回的數量了。2001年的撤回告示數量為22篇、2006年129篇、2011年339篇、2013年超過500篇。當然,不少科學家試圖用研究證明背後原因,然而眾多研究各有其研究範疇和方法的局限性,並且不可忽視近年科學研究報告發表的數量激增,可能是撤回文章增長的主因,又或者是同儕審查起了作用能更好的發現研究報告中的錯誤… 但無庸置疑的一點,近年期刊撤回數量當中,錯誤和詐欺打敗了抄襲成為撤回的主因,並且比例在近十年大增,學術詐欺案例頻傳,這些都影射著學術出版界的什麼?多次討論同儕審查和期刊出版文化中的缺失,是否還有其他因素在起作用? 商業行為影響了科學研究 這不是什麼天大的祕密,商業目的在背後支持科學研究、引導研究方向、提供研究經費,許多重大的發現和研究成果都出自於企業和政府明確的支持之下,否則在早期鮮少有健全的經費申請流程的情況下,許多致力於科學的研究人員應該早就流落街頭了。 為了確保研究經費到位,在對的時間發表對的文章和得出對的成果,〝無傷大雅〞的竄改些〝無關緊要〞的內容,科學的價值已經發展成不在乎過程只要最終的結果。商業行為更惡劣的影響,莫過於在科學研究的立場上,商業性的立場替代了科學性,前段時間Séralini的基改論文遭撤事件也被質疑科學的誠信被商業利益給取代,又不禁讓人疑問還有多少類似的情況發生未被注意,是否又從另一個角度上增加了論文的科學不正確性和缺乏倫理。期刊文章錯誤的背後,又或許另有隱情。 監管組織心有餘而力不足 科學出版界現存出有不少出版相關監管組織,然而,在Séralini的基改論文遭撤事件中,該期刊為出版倫理委員會(COPE,Committee on Publication Ethics)的會員,事件發生後,委員會成為稱該會所設立下的規章整能起到框架作用,針對細節的理解會因人而異,該委員會對開啟正規調查所需的經費和時間心有餘而力不足,這多少也體現了各類監管組織的心聲,也可能是研究報告詐欺得以生存的主因。 參考資料: 實驗室裡的問題----不可靠的研究結果 證據總結:大多數已發表的研究是錯誤的 為何科學研究文章撤回數量增加?

如何回應審閱者的意見?

期刊投稿文章經過同儕審查後,通常會收到審閱者所提出的意見、此時作者必須盡速針對這些部分一一回覆,無論您贊同或不贊同審閱者的看法、都要「言之有物」、書面回應該修正的地方,或是解釋某些部分爲什麼您想法不同。 我們將審閱者的意見歸納成「小範圍修訂」、「大範圍修訂」及「退稿」三種情形,分別提出下列建議,請作者參考: 小範圍修訂 (Minor revisions) 按照審閱者提出的建議進行修改 依先後順序逐項列出,再對照作出回應 審閱者或許對原文有所誤解,先簡單判斷資料的正確性,再提出反駁的根據 大範圍修訂 (Major revisions) 詳細檢查並仔細評估審閱者的建議 如果同意審閱者的看法,就依照審閱者的意見修改 如果不同意,必須提供充足、額外的證據來支持反駁的論點 退稿…

同儕審查被拒後該怎麼辦?

有經驗的學術論文作者都會鼓勵後進不要害怕被退稿,人人都有被退稿的經驗,只要檢討改進缺點,再接再厲,好的研究總有被發表的一天。 之前探討過投稿期刊被退稿的可能原因(請參閱「科學性期刊論文退稿」),現在進一步探討,在同儕審查時,審閱者優先列入考量的一些因素,主要包括品質、原創性及表達方式。請記住,同儕審查的審閱者都是學者,並不是敵人!因此審閱者常會加入專業上的考量,強調下列幾個部分: 研究或應用是否為原創,確定沒有抄襲的疑慮。 研究所得的結果或結論,能夠增進該領域的知識或瞭解。 文章的品質、內容與型態符合投稿期刊的領域與規定。 研究論文包含具體的理論及/或實驗根據。 另外,在以下各方面沒有明顯的瑕疵: 觀念上的偏見。 實驗方法。 分析技術。 歸納出的結論。 文章提供新技術或實驗結果詳細的內容,並具有邏輯性與再現性。 整篇研究敘述清楚、簡明,沒有互相矛盾的地方。 數據分析與後續的說明充滿說服力,也就是能夠佐證所提出的假設,沒有含糊不清的地方。 所有論點都有大量的證據,讀者不會有意、無意被誤導,沒有發現捏造或選擇性節錄的數據。…