《ESI学科动态评价与持续追踪分析模式研究.doc》由会员分享，可在线阅读，更多相关《ESI学科动态评价与持续追踪分析模式研究.doc（13页珍藏版）》请在三一文库上搜索。
1、ESI学科动态评价与持续追踪分析模式研究DOI：10.3969/j.issn.1008-0821.2018.04.022 AbstractESI Subject performance evaluation requires not only existing data analysis，but also historical data and continuous data to find the discipline development law.As an analytical tool for scientific research performance analysis，inci
2、tes database plays an important role in the evaluation and analysis of ESI discipline.This paper analysed the significance of continuous data of Incites database on the dynamic evaluation and continuous tracking analysis of the schools ESI discipline.The dynamic data of the ESI discipline and the an
3、alysis of the continuous tracking were presented in this paper. Key wordsESI discipline；Incites；evaluation；dynamic evaluation；continuous tracking ?W科发展是大学建设的灵魂，一流学科建设是每所大学努力目标，为促进国内高校的发展，国务院于2015年10月提出世界“双一流建设”方案。“双一流建设”目标下，学校极力推进学科建设管理决策或者人才培养引进，需要针对科学研究绩效进行专业评价1。高校图书馆具有丰富文献资源和过硬技术支撑的先天优势，更便于开展基于科学
4、计量学的科研绩效评价，科研评价服务日益已成为高校图书馆利用计量学进行研究和工作的重点，成为协助学校制订科研规划，开展科研管理的重要支撑工具2。 近年来，ESI（全称Essential Science Indicators）和Incites数据库作为引文分析评价工具，成为国际学科与科研评价的标杆数据库3。Incites数据库作为科研绩效分析分析工具，既弥补了ESI数据库学科范围的局限和无法获取历史数据的缺陷，也凭借自身丰富的数据来源和学科评价指标体系，可以为机构、单学科以及个人提供全面的分析，在ESI学科评价分析中具有举足轻重的作用。 国内有关Incites数据库的研究文献主要在全球、国内外、机
5、构、学科以及人才等方面学科绩效评价方面，Incites数据库的功能与应用也有一定研究。但尚未利用Incites数据库进行动态性评价和预测分析，同时也没有深入研究在没有保存Incites和ESI数据库历史数据的情况下，如何进行科研绩效的对比分析。本文立足于实践工作，根据广西大学潜力学科的持续跟踪监测工作、广西大学ESI学科评估和奖励工作，提出如何使用Incites数据库进行动态持续性的学科绩效评价分析。 1 Incites数据库应用于科研绩效评估的研究现状 Incites数据库是基于科睿唯安公司WOS（全称Web of Science）核心合集七大索引数据库的数据进行出版物计数和指标计算。采用更
6、加清晰、准确的可视化方式来呈现数据，可以在WOS中自定义检索数据，也可以实现自建、存储并重新导出带有分析指标的报告。相较于WoS，InCites的评价功能更加强大和全面，除具有WoS的一般评价指标（如论文数、论文被引频次）之外，InCites的评价范围更广，包括了学科、机构、世界范围内的相对评价指标4。InCites可以根据需求为报告选择合适的时间范围，综合了各种计量指标和30年来各学科各年度的全球基准数据5，可以多角度、多指标进行评价科研绩效。 Incites数据库已广泛应用于在学科发展分析和科研绩效评价，现主要可以从宏观层面和微观层面梳理出Incites数据库在学科评价评估中的研究成果。
7、宏观层面，对Incites数据库在全球范围、国家、地区以及机构科研绩效进行对比分析。国家层面，张诗乐利用InCites数据库对发文量排名前50国家的科研实力作比较”6。叶伟萍等对比中美两国科研实力在1981-2011年间发生的变化趋势7。莫蕾钰等基于InCites数据3所美国顶尖公立大学与我国大陆的北京大学与清华大学进行比较分析8。徐娟从发文数量等角度对比了我国高校科研竞争力在1981-2013年的变化趋势9。机构层面，刘雪立等详细介绍了应用ESI和InCites数据库对中国C9高校学科建设的绩效评价和预测方法10。汪静、钟铃分别以合肥工业大学和深圳大学城某入驻院校为研究对象1，11对相关学校
8、的科研绩效进行分析。 微观层面，主要涉及单学科绩效分析（不同机构的对比分析和单学科未来发展预测）、人才评估、期刊评价、分析工具比较等方面的研究。在单学科绩效分析方面，高伟利用InCites数据库对大气科学研究的国家、中国机构分别进行了文献计量分析12。董政娥等以东华大学为案例，探讨学科进入ESI世界前1%进行预测13。分析工具的比较方面，冯花朴介绍了InCites数据库及其使用方法14。付佳佳对InCites和SciVal Spotlight这两个综合型科研评价工具进行比较15。 2 对ESI学科进行动态评价与持续追踪分析功能的重要意义 现有的学科分析数据库WOS、ESI带有一定的分析功能，但
9、是连续性的数据分析功能不全，ESI学科绩效评价不仅需要对现有的数据分析，更需要从历史性的数据和连续性的数据中找出学科发展规律，分析优势与劣势，进而扬长避短。 2.1 获取连续性数据，动态反映科研成果的变化 Incites、ESI数据库更新后历史数据不可重现，如果没有前期研究，没有持续下载两个数据库的数据，很难获取历史数据。而在ESI学科评价中，连续性的跟踪和进行动态分析评价，才能反映一个学科的历史发展脉络，才能更好地对学科未来的发展进行预测。通过及时监测Incites数据库，每次更新与ESI数据库进行对接；在无更新数据的情况下，利用连续性时间段来下载数据和提炼数据。 2.2 便于实时监控，能对
10、学科未来进行合理预测 在ESI数据库中能查询到入选全球前1%的机构，对于尚未入选的机构无法查询，也无法预测。在Incites数据库中则可以查询所有定制了数据的高校或者学科。使用数据库ESI学科的被引次数，与该学科ESI当期的阈值进行比较，获取该学科潜力值，可以判断出该学科与ESI学科阈值的差距。再结合其他数据进行连续性的监测，可以判断潜力值增长的平均速率，预测学科未来进入ESI全球前1%的可能性和时间。 2.3 通过动态对比，发现机构或学科的竞争优势或劣势 Incites数据库为机构或学科提供一个同类对比分析的功能，既可以进行“国家或地区之间的科研绩效对比，也可以进行机构之间学科科研绩效的对比
11、”14在对比分析中，可以利用不同时间段的数据开展机构或学科的差异化比较，准确地评价机构与学科的发展水平。 3 ESI学科持续追踪分析的实现模式 学科发展持续跟踪在学科评估中有着重要意义，现在学科发展预测多数采用学科比重13、总被引频次16-17等量化指标来分析预测入围ESI前1%的可能性。ESI学科的动态变化和发展趋势判断仅靠个别指标来监测是不够的，不能反映学科的发展全景和未来趋势。对于ESI学科，无论是优势学科还是潜力学科，需进行长期的跟踪监测，或以连续性的数据来监测学科动态变化，才能全面评估和掌握学科科研绩效的整体发展脉络。 广西大学图书馆对ESI学科评估采取持续跟踪，通过横向与纵向的维度
12、动态评估找出学科发展的特点、优势及劣势。以下以广西大学图书馆持续跟踪和动态分析广西大学ESI学科评价为例，尤其是对化学学科的深入追踪分析。广西大学化学学科尽管不是ESI优势学科，但在学校学科建设具有重要作用，对我校整体ESI学科的贡献到达20%以上，进入教育部学位中心学科评估排名前10%，为广西石化产业提供科技支撑和技术保障，是我校未来发展的重点学科之一。并且广西大学化学学科潜力值在我校位列第二，成为学校第二个有望较入围ESI前1%的学科。 3.1 实现纵向和横向维度的数据动态对比分析 Incites数据库具有发现优势可持续发展性发展的功能和一定的预测潜在学科发展空间的功能，在进行纵向监测和横
13、向对比具有独特作用，纵向维度主要是利用不同时间段机构或学科的连续变化进行比较，通常使用学科的国内排名变化和学科潜力值两个指标的结合使用来预测学科未来发展趋势；横向维度的动态对比主要是通过同类机构在不同时间段的多维度指标比较开展。 3.1.1 纵向维度动态跟踪监测 纵向维度动态监测通过不同时间段ESI学科发展的发展动态进行定期跟踪。通过Incites数据库的数据与ESI数据库的数据对比分析，定期监测学科发展态势，或者利用Incites数据库即时查看对不同时间段该学科发展情况。 1）ESI学科潜力值的动态变化跟踪 ESI学科潜力值是指某机构某ESI学科与进入全球前1%机构的相对接近程度，通过ESI
14、潜力值可以预知学科入围ESI全球前1%的可能性，是对ESI学科发展态势最直接的预测和跟踪指标。其计算公式为：ESI学科潜力值=某机构某ESI学科总被引次数/该学科进入全球前1%最后1名机构的总被引次数（以下称为“阈值”）。ESI学科潜力值超过1，表明该学科已经入围ESI全球前1%；而潜力值数值在1以下，数据值越高，进入ESI全球前1%的可能性可能就越大。 ESI数据库每2个月更新1次，通过定期跟踪监测每次更新和连续性数据变化，判断出学科潜力值增长速率，从而进一步预测该学科未来入围ESI全球前1%的时间，如表1、图1所示。广西大学图书馆对本校ESI潜力学科进行定期监测，并以每期增长速度推算出平均
15、增长速率，再通过增长速率推算出学科潜力值到达1时的时间。以最后一期更新ESI学科潜力值为x，每期潜力值平均增长速率为y，计算学科潜力值到达1时所用期数为n。计算公式为：x（1+y）n=1。通过计算，可以预测出广西大学植物与动物科学潜力值达到1时需约8个月时间（即4期），而化学学科潜力值到达1则需要1214月时间（即67期），其他学科由于潜力值较低需要较长的时间。 2）ESI学科排名变化监测 学科潜力值的跟踪监测能很好地判断出一个学科与该学科阈值的差距，但是在实际监测中会发现有些机构该学科的潜力值已经很高，甚至已经超过1，却一直盘旋未动，迟迟未入围ESI前1%。这时需要通过其他指标辅助监测，发现
16、未能入围的原因。学科潜力值是一个定量指标，可以判断差距，但是难以?l现问题。通过长期跟踪，发展机构国内排名变化对机构入围ESI前1%也有明显的影响，学科潜力值已经很接近阈值机构，但是就是无法入围，这和多个机构有一定的竞争相关，如果通过国内排名进行跟踪，很容易发现问题，查找出竞争机构。学科排名变化的监测主要通过两种方式实现，一种是即时动态变化的跟踪，即根据每一次更新的数据，及时进行汇总统计；另一种不同时段动态变化，在Incites数据库中分不同时间段进行检索，再统计相关信息。 为更好地观察和监测我校化学学科在国内外排名整体状况，我们选择以10年为1个区间的4个时间维度进行分析，即2003-201
17、3年、2004-2014年、2005-2015年（前3个时间段数据在2016年5月下载）、2006-2016年、2007-2017年（后2个时间段数据在2017年7月下载）如表2所示。从表中，可以发现广西大学化学学科国内排名基本稳定，缓中略升；世界排名上升快速，从2013-2016年被引频次的世界排名提升了193名，发文量世界排名提升了133名。 世界排名能反映出学科在全球范围的排名情况，但由于在Incites中有些机构可能没有定制数据无法查询，世界排名有可能不全。学校职能部门希望重要分析学科在国内高校中的具体和差跟，也为了适应与教育部评估需要，将分析重点放在监测国内高校的排名进展，图2跟踪了
18、广西大学化学学科在国内ESI化学学科的发文量及被引量排名，并且与国内进入ESI大陆高校数进行比较。由图2可以看出广西大学化学学科的发文量排名和被引频次排名连续几期相对保持稳定，而国内入围ESI前1%的高校机构数呈增长趋势。通过比较分析得出，尽管广西大学化学学科ESI学科潜力值呈现较快的增长速度，世界排名也在不断增长，但与国内高校ESI学科相比，发现被引频次排名明显落后于发文量排名，与国内高校化学学科相比也相对落后，提高学科的被引频次成为当务之急。 3.1.2 同类机构差异化动态比较 同时使用学科潜力值与学科国内外排名可以有效地监测潜力学科入围ESI前1%学科的差距。但要分析出机构该学科到底存在
19、哪些优势与劣势，还有哪些地方有待于提升，需要通过其他多角度的对比和监测才能进一步找出原因和发现问题。与同类机构进行多维度的比较，可以进一步找出本校的优势与差距，找准发力点，明确学科今后的努力方向。对广西大学化学学科进行跟踪时，为加强与其他高校之间差距的监测，以阈值机构为标的，选取排名比阈值机构靠前的几所国内高校，选取几所未进入ESI的国内高校，再选取与我校化学学科、阈值机构化学学科相近的几所高校进行对比分析，如表3所示，从各个指标和角度对2007-2017年间广西大学ESI化学学科与其他9所高校ESI化学学科进行全面比较。 Incites数据库在2016年重新增加了5年趋势对比图，为机构和学科
20、在不同时间段的发展趋势提供连续性的比较分析。并采用5年趋势对比图进行差异化比较，图3、图4、图5、图6、图7分别对几所高校的被引频次年趋势、发文量5年趋势、篇均被引频次5年趋势、排名前10%的论文百分比5年趋势、国际合作百分比5年趋势进行立体化的对比。 通过比较，可以看出广西大学化学学科在发文数量和国际合作方面都具有一定的优势，但总被引频次和篇均被引频次还比较低，相比低于发文量较低的山东农业大学、桂林理工大学、深圳大学、烟台大学；“被引次数排名前10%的论文百分比”论文占比也低于其他高校。通过近期的比较很明显看出，我校化学学科的发文量较高，在绝对指标上还有一定的优势，当在相对指标和论文的影响力
21、方面存在较大的不足。 4 利用Incites进行绩效评估的对策及思考 4.1 Incites与ESI获取数据存在一定的差别 首先，两个数据库更新日期不一致。ESI是每2个月更新1次，Incites是每半个月左右更新1次，利用两个数据库数据进行对比时，必须等两个数据库同时更新才能进行对比。其次，数据来源不一致。Incites来源更广泛，论文篇数和被引频次均来源于7个数据库。在利用Incites的学科总被引频次计算学科潜力值，要根据各个学科发文情况总被引频次要剩以0.70.9系数。另外，用十年间的ESI期刊列表在WOS中检索出的论文数与Incites中导出十年间的论文数有1%2%左右的误差。 4.
22、2 长期跟踪要注重指标的弹性可变 1）注重相对指标与绝对指标结合使用。“绝对指标反映的是一定时间、一定条件下的绝对数值，且只能进行同类估测”18，而相对指标是质量指标的一种表现形式，通过两个有联系的统计指标对比而得到的，把现象的绝对差异抽象化，使原来无法直接对比的指标变为可比，在学科评估中可以使不同学科、不同时间、不同机构的两个指标进行对比分析18。 2）单一指标预测，多指标跟踪。使用单一指标对学科发展规律进行预测，同时采用多种指标和从多种角度进行长期跟踪和反复验证。 3）定量分析与内容分析同时开展。在ESI学科评估中，既要注重定量指标比较分析，也要注重对学科内容的分析，要从学科发展的主题演进
23、、作者合作、机构与地区合作以及期刊信息等角度找到学科发展的突破口。 5 结 论 通过纵横角度的对比深入分析，可以看出广西大学化学学科潜力值持续处于较好的上升趋势，在学科发文量方面有绝对的优势，有望在未来12年内有机会入围ESI全球前1%。但通过对长期数据的持续对比，发现除了学科发文量具有绝对优势，但一些指标如篇均被引量、高被引论文占比、国际合作论文等方面，与排名相近的一些高校还是有一定的差距，需重点提高论文的影响力，进一步推动该学科的发展。 ESI学科评价和预测是对学科科研绩效趋势性发展变化的综合预测和判断，需要结合多种评价指标进行综合判定，既要有量单指标也要有相对指标，既要有直接反映指标也要有间接反映指标，避免单一指标判断出现偏颇，增强指标的普适度。通过对多种分析角度、多种分析工具、多种分析指标以及对?W科科研数据的长期跟踪，更能全面分析出学科发展概貌，更加准确地预测学科发展趋势。