近日在國(guó)際頂級(jí)期刊Nature上發(fā)表題為“Impact factors are still widely used in academic evaluations”的新聞。調(diào)查發(fā)現(xiàn)，40%的研究型大學(xué)在評(píng)估報(bào)告中提到了有爭(zhēng)議的指標(biāo)（影響因子），盡管他們努力降低其影響~

早在去年倫敦帝國(guó)理工學(xué)院Stephen Curry教授在Nature上發(fā)表一篇“Let's move beyond the rhetoric: it's time to change how we judge research”的文章，指出迫切需要改進(jìn)學(xué)術(shù)研究的評(píng)估方式，并要求科學(xué)家、資助者、機(jī)構(gòu)和出版商放棄使用期刊影響因子（JIFs）來(lái)評(píng)判單個(gè)研究人員。2012年在舊金山舉行的美國(guó)細(xì)胞生物學(xué)學(xué)會(huì)年會(huì)上就提出過(guò)類似的問(wèn)題，認(rèn)識(shí)到有必要改進(jìn)對(duì)學(xué)術(shù)研究成果進(jìn)行評(píng)估的方法。并提出了The Declaration on Research Assessment （DORA研究評(píng)估宣言）。

JIFs從來(lái)就不是單個(gè)論文的衡量標(biāo)準(zhǔn)，更不用說(shuō)單個(gè)人了。它們是某一期刊論文在兩年內(nèi)被引用的偏態(tài)分布的平均值。這些平均值不僅掩蓋了同一期刊論文之間的巨大差異，而且引用量也不是衡量質(zhì)量和影響力的完美指標(biāo)。IF高的期刊可能會(huì)發(fā)表許多頂尖的科學(xué)論文，但我們不應(yīng)該把對(duì)個(gè)別研究人員及其產(chǎn)出的評(píng)估外包給誘人的期刊指標(biāo)。

因此，DORA現(xiàn)在的工作是加速它所要求的更改。Stephen Curry教授說(shuō)道“每當(dāng)我遇到博士后時(shí)，我都覺(jué)得有必要做出改變。他們對(duì)世界的好奇心和改善世界的決心燃燒得很旺。但他們追求最迷人、最具影響力的問(wèn)題的欲望，被我們的評(píng)估體系顛覆了。當(dāng)他們申請(qǐng)他們的第一個(gè)長(zhǎng)期職位時(shí)，他們已經(jīng)在計(jì)算如何在依賴JIFs的現(xiàn)代科學(xué)管理主義中運(yùn)作。”

期刊影響因子（JIF）最初是為了幫助圖書館決定索引和購(gòu)買哪一個(gè)期刊而建立的。然而，在過(guò)去的幾十年里，它已經(jīng)成為一種基于期刊排名來(lái)評(píng)價(jià)研究論文的依賴指標(biāo)。接受調(diào)查的科研人員經(jīng)常抱怨說(shuō)要在高JIFs的期刊上發(fā)表論文，他們感到了壓力。近日墨西哥國(guó)立自治大學(xué)Erin C. McKiernan教授在Peer J Preprints上發(fā)表了一項(xiàng)針對(duì)北美院校的調(diào)查發(fā)現(xiàn)，有近一半的研究型大學(xué)在決定提拔人員時(shí)都會(huì)考慮期刊的IF。這份分析報(bào)告對(duì)美國(guó)和加拿大129所大學(xué)及381個(gè)學(xué)術(shù)單位的800多份文件進(jìn)行了研究，他們通過(guò)軟件運(yùn)行這些評(píng)估文件，軟件設(shè)計(jì)了用來(lái)標(biāo)記與影響因子相關(guān)的特定術(shù)語(yǔ)，他們閱讀文件子集中的相關(guān)段落，用來(lái)了解學(xué)校或機(jī)構(gòu)如何以及為何使用該指標(biāo)。為IF用于科研人員評(píng)審、晉升、終身職位獲取的相關(guān)信息提供了支持。

結(jié)果顯示，在重點(diǎn)關(guān)注的研究型機(jī)構(gòu)中，約40%的研究型機(jī)構(gòu)在審查、晉升和終身職位過(guò)程中使用的文件中提到了IF。而只有18%的關(guān)注碩士學(xué)位的大學(xué)提到了期刊影響因子或與其密切相關(guān)的術(shù)語(yǔ)。我們的定性分析顯示：在研究型大學(xué)中，超過(guò)80%的相關(guān)文件在科研人員審查、晉升和終身職位聘用過(guò)程中提到鼓勵(lì)在學(xué)術(shù)評(píng)估中使用IF，而在提到JIFs的這些機(jī)構(gòu)時(shí)，只有13%的機(jī)構(gòu)對(duì)這一指標(biāo)提出了質(zhì)疑的態(tài)度。但大多語(yǔ)言傾向于暗示高影響因子與更好的研究有關(guān)，例如，61%的被提及者將影響因素描述為研究質(zhì)量的衡量標(biāo)準(zhǔn)，35%的被提及者表示它反映了工作的重要性。

評(píng)判的誤差

JIFs是衡量某一特定期刊上發(fā)表的文章在過(guò)去兩年中平均被引用的次數(shù)。出版商經(jīng)常宣傳這個(gè)數(shù)字，以反映期刊的質(zhì)量。但是，許多學(xué)者和評(píng)審小組已經(jīng)將影響因素作為判斷一項(xiàng)研究或發(fā)表該研究的科學(xué)家的質(zhì)量、重要性和聲譽(yù)的一種快速方法。這惹惱了許多學(xué)者，他們表示IF傳播了不利于科學(xué)的不健康研究文化，他們希望大學(xué)在招聘和晉升過(guò)程中不再使用這種衡量標(biāo)準(zhǔn)。

Erin C. McKiernan教授指出：我們現(xiàn)在有數(shù)據(jù)顯示學(xué)術(shù)評(píng)估的進(jìn)展。她預(yù)計(jì)在這些文件中明確使用IF的機(jī)構(gòu)比例會(huì)更高，她警告稱他們的結(jié)果可能只是“冰山一角”。在評(píng)估過(guò)程中，可能會(huì)有更多間接提到影響因素的術(shù)語(yǔ)，比如“頂級(jí)期刊”或“高級(jí)期刊”。

評(píng)價(jià)方法的重要性

Stephen Curry教授表示對(duì)于大學(xué)來(lái)說(shuō)，想出其他評(píng)估員工的方法至關(guān)重要。他說(shuō)：“對(duì)研究人員的評(píng)價(jià)應(yīng)該基于他們所做的工作，而不僅僅是他們?cè)谀睦锇l(fā)表了論文，而且應(yīng)該對(duì)他們?cè)诎l(fā)表研究論文之外所做的許多貢獻(xiàn)給予肯定。”

對(duì)于很少發(fā)表文章的人來(lái)說(shuō)，JIFs的好處在于它是前瞻性的，而不是回顧性的。JIFs提供即時(shí)驗(yàn)證：隨著時(shí)間的推移，h指數(shù)和被引用次數(shù)都在增加，這是早期研究人員積累起來(lái)的財(cái)富。在舊的體制下，如果你努力學(xué)習(xí)，你的第一作者論文就會(huì)出現(xiàn)在IF很高的期刊上，這將帶來(lái)晉升及終身職位的幸福感。

倫敦帝國(guó)理工學(xué)院的高級(jí)講師John Tregoning教授說(shuō)：“新一代的科研人員擁有一系列獨(dú)特的優(yōu)勢(shì)，從長(zhǎng)遠(yuǎn)來(lái)看，如果學(xué)校或機(jī)構(gòu)考慮對(duì)他們進(jìn)行獎(jiǎng)勵(lì)，這些優(yōu)勢(shì)可能會(huì)使他們的科研事業(yè)更加強(qiáng)大。這些特點(diǎn)包括更社會(huì)化的科學(xué)研究方法，以及利用信息技術(shù)共享數(shù)據(jù)、方法和學(xué)分的便利。”

也許DORA或者科學(xué)家們會(huì)想出一個(gè)非常公平的方法來(lái)衡量5年或10年后的科學(xué)產(chǎn)出。也許它將是全面的，廣泛接受的，支持的和簡(jiǎn)單的。如果真的發(fā)生了，那就太好了。與此同時(shí)，對(duì)如何判斷科學(xué)生產(chǎn)力的困惑正在侵蝕科學(xué)生產(chǎn)力。我們需要一個(gè)快速的解決方案，而最快的解決方案就是清晰的、透明化的。

不知道國(guó)內(nèi)這種現(xiàn)象是否也普遍存在呢，大家可以在留言區(qū)發(fā)表自己的看法和意見(jiàn)。（插圖摘自相關(guān)文章）

參考文獻(xiàn)：

1 Nature （2019） doi: 10.1038/d41586-019-01151-4

2 McKiernan, E. C. et al. Preprint at PeerJ Preprints 

https://doi.org/10.7287/peerj.preprints.27638v2 （2019）。

3 Nature 544, 411–412 （2017） doi:10.1038/544411a

4 Nature 558, 345 （2018） doi: 10.1038/d41586-018-05467-5