重新审视？5月28日，《》上的一篇文章提出了一种新的期刊评价方案的构想。
注：图片来源于参考文献[1]
所有定量评价指标注定被滥用。古德哈特定律(goodhart’slaw)显示：当一个指标被选作衡量经济走向的指标时，那么它将势必失效，因为人们开始把它玩弄于股掌。这是我们坚定的认为『任何定量指标都难以取代期刊』的理论基础。5月28日，《》上的一篇文章让我们重新审视了我们的观点。
在这篇题为《rethinking impact factors: better ways to judge a journal》的文章中，paul wouters等人指出了单一的期刊在评价期刊中的不足，并提到：“我们需要一套更多元、更透明的期刊评价指标体系，以改善论文发表的现状”。具体而言，他们认为，(1)新的期刊评价方案是一组而不是一个指标，这些指标应涵盖期刊的所有功能;(2)新的方案的使用应遵循一定的规则;(3)应该设立一个监管组织，负责设计评价方案，制定使用规则[1]。这项提议源于2017年在荷兰莱顿举办的研讨会。 它是由莱顿大学科学与技术研究中心、科睿唯安和欧洲生命科学组织embo共同组织的[2]。来自学术生态系统的二十多位专业人士参加了此次活动(国内，杭州电子科学大学的舒非教授曾参与了此次活动)。
1963年，garfield & sher正式提出“期刊(journal impact factor)”，起先是为了使sci数据库选刊时更具有操作性，到后来逐渐被世人所认可，现今成为了jcr期刊引证报告里用于测度期刊影响力的一项重要指标。它的测算公式为：某期刊在2016年的=该期刊2014和2015两年发表的论文在2016年被引用的次数÷2014和2015两年发表的论文之和。期刊综合考虑了发文量和被引次数两个因素，本质上是一个均值型算法，即期刊前两年发表论文的篇均被引次数。
的确，期刊有很多缺陷，容易被人为操控(详见相关阅读中的文章)。2017年4月27日，旧金山宣言(dora)建议：是评价期刊的指标，不应使用类似期刊这类的基于期刊的指标来直接衡量个体论文的质量和评价相关作者的贡献，更不应基于此做出雇用、晋升和基金资助的决定，现已有1,356个机构和14,000多名个体签署该宣言。即便学术界反对滥用的呼声如此之高，在期刊评价甚至学术评价中至今仍然处于主导地位。
自1665年《哲学汇刊》创刊以来，学术期刊已有300多年的发展历史。在这300多年里，学术期刊的功能基本没有变化。paul wouters等人总结期刊的功能如下：
(1)记录研究人员的成果日期与作者身份
(2)管理文章成册，以表示特定领域理论与方法的范畴
(3)评估研究发现的质量与创新程度等
(4)传播科学发现
(5)存档学术成果
他们认为，新的期刊评价方案所使用的一组指标应该覆盖所有这些功能，并且，指标应该符合这些标准：
(1)有效(能够表达所测量的概念);
(2)通俗易懂;
(3)透明(应公开数据，明确说明局限性和不确定程度);
(4)公平(应避免系统性偏差);
(5)有适应能力(当指标的偏差，滥用或其他缺陷变得明显时，应该对指标进行更新);
(6)可重复(使用指标的人应该能够让指标值重现)。
为防止指标被滥用，他们提议指标的使用都应符合以下四项标准：
(1)恰当使用(明确指标所扮演的角色)。在对个人或机构科研水平进行评价时，期刊指标只起辅助作用，而非主导作用[3]。
(2)语境差异(如学科差异)。正如2018年以来的期刊引证报告中所做的那样，除了报告期刊指标的数值之外，还应报告分布特征(例如：论文被引次数)[4]。同时也应考虑不同学科之间的差异。
(3)充分告知。行业学会和相关专家应去普及指标的内涵及相关知识。
(4)承担责任。所有利益相关者都需要时刻关注指标的使用对研究人员以及其他利益相关者产生的影响。
最后，他们提议组建一个监管组织，由监管组织提出新的评价方案，以覆盖学术期刊的各种职能，同时制定合理使用的标准，并计划在2020年的第二次研讨会上启动该监管组织。
总体而言，该提议符合『科学评价时多个指标的组合优于单一指标』的标准，因此，理论上新的评价方案会是一种改进，但无论单一指标还是多指标组合，最终都难逃古德哈特定律的五指山。如何让新的指标体系不重蹈当前的期刊的覆辙，并非制定一套使用标准所能解决的。毕竟，期刊当初也不是用于学术评价的。监管组织如何约束全球的科研评估机构?如何阻止不当的使用行为?这些问题都值得深入思考。(作者：李江/南京大学)
参考文献：
[1] wouters, p., et al. (2019). we need a broader, more-transparent suite of metrics to improve publishing, say paul wouters, colleagues and co-signatories, , .
[2] sugimoto, c.et al. f1000research. https://doi.org/10.7490/f1000research.1116751.1 (2019).
[3] mckiernan, e. c.et al.peerj preprints7, e27638v2 (2019).
[4] larivière, v.et al.preprint at biorxivhttps://doi.org/10.1101/062109(2016).
