人才效益评价系统中指标体系和评估方法的研究
1 前言
目前，国内外都十分重视对技术单位人才效益的评价。西方国家的许多研究机构长期从事这方面的研究工作，国内也有相关部门正在对这一课题进行探讨，取得了一些研究成果。例如，"网大"率先提出了综合大学的排名指标和评价方法，并连续几年为不同类别的大学进行了排序，在一定程度上促进了各个大学之间的良性竞争，取得了一定的社会效益。国际上采用的评价方法和模型纷繁不一，其中影响较大的有SEA方法、隶属函数评估法、Petri分析法、功效系数法、影响图方法、两次记分法和层次分析法等方法和模型，这些方法和模型均以评价目的为中心，从不同的角度探讨了系统的评价问题，在实际应用中取得了一些积极成果。但是这些评价指标和方法的选取缺少系统的理论基础，针对环境千差万别、各单位的不同情况考虑不够全面，使得评价结果不够合理和科学。因此，在应用中必须根据实际情况加以取舍和折衷。科技创新和人才效益的评估是一项难度较大的工作，本文旨在阐述"总参业务技术单位人才效益评价系统"中采用的指标体系、评估模型和方法。
2 评估指标体系
本系统的评估指标体系范围确定和权重分配基于以下考虑：
1）为保证定量评估系统准确性、公正性和代表性，评估体系的确立至关重要，基本的思路是在突出科技创新人才效益的同时，面向院校、研究所和技术保障部队的特点，设立相关的指标体系，以全面反映参评单位科技创新的总体状况。
2）将所有的评估指标分为相互独立的几个大类，对每个大类分配固定的权重（Si），该项权重在使用过程中可根据情况进行调整、优化。每个大类内部指标权重具有比较意义，属于不同大类的指标权重不具有比较意义，从而避免了统一加权方法带来的不同类别项目指标加权困难的问题。
3）权重的分配策略为：对易于量化、审核方便、普遍认可的项目分配高权重；对不易量化、审核困难、认可度低的项目分配低权重。
4）科技单位人才效益评价指标体系的建立以测评对象所做出的贡献作为基本衡量标准，评价指标和权重尽可能利用和借鉴目前国内外综合大学排名研究涉及的的指标体系，结合军队实际，力求涵盖所有科研成果表现形式。
考虑到总参科技单位的实际情况，评估系统测评量化的指标体系分为六大部分，分别是人才队伍、学术水平、成果奖励、学科专业、业务技能和创新实践。
人才队伍指标类考察参评对象的人才属性和人才培养情况，它们中具体的选项根据不同的级别和档次被分别赋予不同的分值，人才属性按照分值从高到低的顺序排列具体包括：诺贝尔奖得主、国外院士、国内院士、国家级高级专家、长江学者特聘教授、军队级高级专家、博士生导师、硕士生导师、教授级、副教授级、讲师级和助教级。需要注意的是，为了避免重复计分，参评对象满足上述多项选择时，只选取分值最高的一项，其余指标类的分值统计也采用相同的方式进行。人才培养按照分值从高到低的顺序排列具体包括：博士后、博士生、硕士生、本科生和专科生。
学术水平指标类统计自然科学论文和社会科学论文的发表情况以及著作出版情况。在自然科学和社会科学论文中又根据收录和发表论文的期刊或会议的档次给它们分配不同的分值。以自然科学论文为例，论文的档次按照从高到低的顺序排列依次是：Science/Nature、SCI/SCIE、EI、ISTP、ISR、CSCD、CSCD扩展库、一级核心期刊/国际级会议、二级核心期刊/国家级会议、普通期刊/省部级会议。另外还考虑了优秀博士论文和硕士论文的分值情况。著作的级别包括科技专著、社会科学专著、科技译著、社会科学译著、自然科学编著、社会科学编著和内部教材编撰。
成果奖励包括科技成果奖和教学成果奖。科技成果按照国际级、国家级、军队级、省部级和发明奖、自然科学奖、科技进步奖、科学大会奖、星火奖、火炬奖以及特等奖、一等奖、二等奖和三等奖等方面和层次被赋予不同的分值。教学成果奖的种类较少，按照国家级、军队级和省部级的层次来赋予分值。
学科专业类指标包括研究生培养、本专科培养和研究机构三方面。其中，研究生培养又根据学科门类、一级学科、二级学科、博士后流动站、博士学位授权点和硕士学位授权点的层次来赋予不同的分值。本专科培养区分本科和专科专业。研究机构按照国家级、军队级和省部级进行评定。
业务技能指标类包括如下几项：在研科研课题总量，分为国家级、军队级和横向项目三个级别；技术保障工作量，分为国家级、军队级和内部三个档次；科研经费总数和发明专利数。
创新实践指标类涉及如下几项：专业技术领域科技创新或风险项目经费比例；科技成果转化效益，具体有分为装备数、经济效益、装备技术革新；继续教育学时数和政策环境。
3 评价模型与算法
3.1 现存的评价模型与算法
随着现代科技的迅猛发展，特别是计算机技术的广泛应用，模型方法的研究领域日趋扩大，从自然科学、人文科学到思维科学，模型方法越来越多地被应用并产生了巨大的经济和社会效益。目前，国内外相关部门和研究机构在评估领域均大量采用模型方法。主要有以下几种模型：
线性加权模型具有直观性强，物理意义清晰，模型运算简单，速度快，易程序化等特点，适用于科技评估。
层次分析模型对一个复杂的问题先把目标、准则、方案措施分层划分出来，再作比较，后进行综合评价，通过计算可得出各指标的相对重要性，从而确定其权重，适用于系统效能评估。
模糊分析模型建立在模糊集合基础上，评价方式与人们的正常思维模式很接近，用程度语言描述对象。其缺点在于指标难以把握，容易造成误判。该模型主要适用于不确定的非线性系统的预测和评价。
特尔斐(DELPHI)模型在定性的基础上，得到定量评估结果，适合用于复杂的大系统评估。此外，隶属函数模型用于控制策略评估，DEA模型用于经济效益评估，灰色模型用于系统功能预测评估等。
3.2 评估模型与方法
经过调研和系统功能分析，我们认为总参业务技术单位科技创新人才效益评价具有以下特点：
1）客观真实性特点：系统确定的指标体系和评价结果要能客观反映测评单位人才效益的真实情况，促进总参业务技术单位科技人才建设的良性竞争。
2）导向性特点：确定的指标体系指明了各参评对象科技创新工作的重点和方向，对相关单位和部门在制定规划、资源配置等方面带有明显的导向性。
3）多样性特点：不同建制单位存在业务种类、工作范围和建设重点的差异，这将造成评价指标的相干性和多样性。
目前科技创新和人才效益的量化评估仍是难点，主要是在评估中如何减少主观性，增加客观性。目前尚无公认一致的评价方法和模式。
根据以上特点，课题组根据军队业务技术单位的实际情况，在对现有研究成果分析研究的基础上，构建了本系统的评估模型，并设计了相应的评估方法。
1）线性评估模型与方法
线性模型和方法主要用于评价指标互不相干条件下的评估。其评价结果在测评对象间具有可比性。系统采用加权的线性模型评估方法，不同的指标分配不同的权重，具体描述如下：
参评单位对每一类指标进行自评的得分累积为Ci（i=1..6），设参评单位的参评人员数为n，则参评单位的第i类自评得分为：Di= Ci/n（i=1..6），参评单位自测总得分为：D=∑iDi（i=1..6）。设上级单位汇评系统对每类指标分配的权重系数为Wi（i=1..6），第j个参评单位的第i类自评得分为Dij，参评单位总数为N。全体参评单位第i类测评最高得分为：Mi=Max（Dij）（i=1..6,j=1..N），则每个参评单位的第i项最终得分为：Fi=Wi * Di /Mi (i=1..6)，参评单位的总得分为：F=∑i Fi（i=1..6）。
在个人成果的评估中，对于多人合作的成果采用如下的评分方法：设某项成果由n个人完成，并且该成果的分值为f。第一完成人的分值为f/2，第二完成人的分值为f/4，依此类推，可以得到排序在第i位的完成人的分值为f/2i。按照以上方法，n个完成人的总得分将小于f。令x=1/2+1/4+…+ 1/2n，则最终排序在第i位的完成人的得分ti=f/2i+ f(1-x)/n。
2）平面评估模型与方法
平面模型和方法主要用于评价指标间具有相干性情况下的评估，是对线性模型和方法的必要补充，其评价结果在测评对象间也具有可比性。平面模型分析法强调指标之间的相干性，将权重关系由线性向平面扩展。
对于本系统，共有六类测评量化的测评项目，即人才队伍（1）、学术水平（2）、成果奖励（3）、学科专业（4）、业务技能（5）和创新实践（6）。这六个方面又分别依靠若干主要细化指标来支撑，各指标还可以进一步分解，逐层延伸，形成指标体系树形结构，例如对于学科专业又可以细化为研究生培养、本专科培养和研究机构。
平面模型分析法简述如下：参评单位对每一类指标进行自评的得分累积为Ci（i为指标类别），参评单位的参评人员基数为n。则参评单位的第i类指标的自评得分：Di= Ci/n。设汇评系统对每类指标分配的权重系数为Si，第j 个参评单位的第i类自评得分为Dij，参评单位总数为N，全体参评单位第i类测评最高得分为：Mi=Max（Dij）（j=1..N）。
在分析中首先作一圆，将圆周i份得到i个点，圆心分别与这i个点的连线得到的i个辐射状的半径分别表示i类测评项目，半径的最大值为所有参评单位中该类指标的测评的最高得分Mi，对应的i边形的面积S0将表征最后的最高综合得分。因此，每个参评单位的第i类指标的最终得分为：Fi=Si * Di /Mi。
对于某个单位的实际计算值也构成一个i边形，当该单位的各项指标量化后，多边形的面积S可计算，其面积将减小，重心也将发生偏移，重心和原点的距离为偏心距d，它反映该单位各项指标之间发展的不平衡，工作的薄弱点所在。因此我们可以用[S/（d * S0 ）]来度量该单位的综合实力。
3）SUE评估模型与方法
与前两种不同，该模型评价结果不具可比性，主要侧重于对测评对象（单位）的投入与贡献进行评价。我们在对国际最新的投入-产出模型分析法（DEA）进行分析改进的基础上，建立了SUE（System Unit Evaluation）模型分析方法。其作用在于通过评估，得到某个参评单位的投入与产出效益，指明该单位的急需努力改进的方面以及能够达到的近期目标。其分析如下：
记Xj=(x1j,x2j,…xmj)，Yj=(y1j,y2j,…,yrj)，其中，xij表示第j种指标中第i个分指标的投入量；yij表示第j种指标中第i个分指标输出的贡献量，可用（Xj,Yj）表示评估模型的第j个指标。每种指标的每个分指标的投入量和输出的贡献量都有相对应的权系数,基于权系数，每类指标都有相应的效率评价函数，可以通过选择合理的权系数，借助于最优化规划模型来求解。
基于DEA基础上的STU能够以数学上严密的定理形式加以证明，显示出更加优越的性能。SUE通过设立的线性规划模型，得出的是相对有效的方法。这个相对有效比绝对有效更加有实际意义：对一定系统，大量的管理运筹学的实际应用研究已经说明，任何效率都不可能达到最优，实际只能追求适合的"满意"效率，否则欲速则不达。STU则提供了这种"满意"解，给出了适合系统发展方向、相对系统现有发展水平可能达到的改进目标。
3.3 量化评估
根据系统提供的评价模型和算法，结合具体的指标体系，对提交并处理后的数据库中原始信息进行提取、归类、合并、计算、统计、汇总，得出每大类指标的评价分值，再进行加权，将得到的评价结果传递到显示模块。
1）个人测评：
根据测评对象的个人数据，运用评价模型和算法程序进行评估，得出个人的分项指标的得分并最终形成总分。
2）单位测评
在教研室/研究室、部/系、学院/研究所或技术保障部队等不同建制级别，可进行单位测评。根据定义的六类测评项目，对数据库中的相应数据进行提取、归类、加权统计，分别得到分项指标的得分，应用评估模型和算法程序，得到测评单位的总得分。
3）总部汇评
总部汇评以单位测评为基础，按照评价模型和算法要求，确定各大类指标的极值，得出全部参评单位的最终得分和序列。汇评既可以对所有单位统一评价排序，也可以根据业务技术单位特点，分类进行评价和排序，解决不同类型单位之间可比性小的矛盾。
4 小结
人才效益评估系统的设计和实现是一项有意义的工作，系统的评估结果有利于合理地分配教育训练经费和科研资金，促进各业务技术单位的良性竞争和自身建设，动态反映军队高等教育、教学改革和科研发展的趋势，方便总部对业务技术单位进行质量监督，在全军范围内引导人才的合理配置和资金的正确流向。指标体系确定和评估方法的选择直接关系评价结果的公正、合理和公平性。本文根据参评单位的特点和使用的场合对确定了合适的指标体系和评估模型，为系统的最终实现奠定了基础。另外，系统采用最新的网络和计算机技术，使得评估过程具有良好的可操作性、较高的安全性和运行效率。