继续教育培训评估的理论依据(三) 二手车评估的理论依据

　　三、评估信息收集方法与设计 　　(一)培训评估信息的收集 　　收集培训评估信息有多种方法，但综合分类后，主要地可归纳为四种，即资料收集法、观察收集法、面谈访问收集法和调查问卷收集法等。
　　资料收集法所涉及的资料分为：有关培训方案的资料：有关培训的会议纪要、现场记录等；编写的培训教程；有关培训的考核、考试资料。
　　观察法主要涉及培训的准备工作及组织情况，培训对象参加培训情况及对培训的反映，培训对象经培训后所发生的变化等。
　　面谈访问主要就要评估内容访问培训对象及其在工作岗位的有关上级主管、培训组织者等。
　　调查问卷应用比较广泛，可广泛应用于培训前、培训中和培训后的评估。涉及培训需求、培训组织、培训内容及形式、培训讲授、培训效果综合调查等。
　　(二)评估信息收集方法设计
　　在资料收集法中，其它的构成成分不涉及设计问题，但考核或考试的设计对培训效果至关重要，所以在这里单独列出予以讨论。利用考核可以对培训前和培训后的情况进行比较。考试分数的提高可以表明培训对学员的技能、知识的提高所起的作用。目前培训中所用的考核大体上可分为三大类。第一类是采用模拟工具或真正设备所进行的笔头能力测试，以及使用计算机和录相片进行的计算机辅助测试。近年来继续教育中心采用了这两种方法，其后一种已在职称晋职、软件培训等考试中应用。第二类是按照培训的目的和内容来划分。可将考核划分为能力测试和成就测试。能力测试可衡量学员的技术技能，而成就测试用来评估学员在某一特定领域的知识和能力及培训的最终效果。第三类方式是按照考核的类型来划分。常用的考试类型包括口试、目标测试、能力测试等。
　　使用观察法时应该注意以下几点：
　　提供信息的所谓“观察”人员必须熟悉观察行为。他们必须全面了解培训的内容和教授了哪些技能。同时，他们应该知道如何解释和报告他们所观察到的情况。即知道如何对行为进行总结，以及以何种形式报告其观察结果。继续教育中心在组织培训时，组成专家评估小组，其成员就必须具备这些能力。
　　观察应该系统化。“观察”人员必须对观察过程进行周密计划，以保证观察过程能够有效地实施。在继续教育中心，对这些人员在过程中的使用和安排，由教学协调单位――训练处按要求统一协调。
　　面谈询问法是一种很有帮助的数据收集方法，但由于各方面的原因不如问卷调查那样常用，它可以提供很难通过书面答卷或观察而获取的数据。当然，面谈还可以发现很多在评估结果中很有用的信息。总装受训人员所在单位遍布全国，继续教育中心一般在学员的培训中常用此种方法。而对培训前和培训后的面谈访问，一般2―3年安排一次，走访若干大单位。面谈访问一般分为两个类型：结构化面谈和非结构化面谈。就结构化面谈来说，采访者将提出一些特定问题，而被采访者则被限制在希望的解答之内，没有其它选择。非结构化面谈可以获取进一步的信息。此类面谈采用很少的几个一般性的问题，并可在发掘重要数据的同时获得更为详尽的信息。总装继教中心在培训中使用的一般为前者，而赴学员所在单位时一般采用后者。
　　使用面谈访问法应注意以下几个问题：
　　确定所需的特定信息。如主题、技能、问题及其它所需信息。
　　编制特定问题。要按照所求信息编制特定问题，且这些问题应该是简要、精炼和易于回答的。例如；一个培训刚结束(培训中)的面谈问题可能包括：能谈一下您对本次培训的整体看法吗?参加本次培训的目的达到了吗?本次培训的哪些方面是您最满意的?您认为本次培训的不足有哪些?您会在工作中应用培训所学吗?
　　最后谈一下问卷调查法。问卷调查法是对培训项目进行评估的最常用的方式。它有各种不同的类型，从简单的评估表格到详尽的后续跟踪表格。按照问题的类型，问卷可有几种格式：
　　无限度的解答。在所设计的问题下方提供可填写答案的充足的空白篇幅。
　　复选列表。一系列项目列表。要求学员选用适用的项目。
　　二选一问题。可提供诸如“是”或“否”从中选择其一，或其它可能的答案。也可设计成“同意”或“不同意”等一系列答案。
　　多项选择问题。有若干个选择，要求学员选择最正确的选项。
　　等级选择。要求学员对一系列项目进行评定。
　　问卷调查可包括上述格式的几段或全部。总装继续教育中心在培训中使用的问卷调查格式为后面四种的综合利用。
　　一份设计不当的问卷会使人感到不解或迷惑。因此，设计问卷应谨慎，而且遵循以下原则：
　　确定所需信息。作为任何一种问卷的第一步，都要注意对培训中的主题、技能或能力，以及与培训成功相关的因素进行详细分类，然后据此编制各类问题。最好能以纲要形式编制好这些信息。
　　选择问卷格式。要分析前述五种格式中哪一种 (或几种)是最适合的。
　　设计问题。根据培训内容设计各种简单和直接的问题，尽量避免使用学员不熟悉的术语或表达方式。
　　编制数据汇总表。这能保证快速完成数据的表格化，供汇总和解释之用。这也有助于确保能迅速地对数据进行分析，并以清晰易懂的方式阐述这些数据。
　　配以适当的说明。
　　――上述各种信息收集方法适用场合：
　　
　　――培训评估信息收集的渠道：
　　培训单位的上级主管部门。对总装备部而言，这个部门就是主管总装继续教育的军训局。他们对培训组织实施的时机选择和目标确定是否得当具有终审权。
　　受训人员。这是收集培训效果评估信息的最重要渠道之一。因为他们最了解岗位对技能方面的要求和自己的不足，知道要在哪些方面接受培训。他们也是培训的直接接受者，对教学方法、授课水平、授课效果、培训的组织具有最直接的感受。
　　受训者的岗位管理人员。这是了解受训人员受训效果的最直接、最公正的信息渠道。受训人员综合素质的提高在工作中的反映，他们看得最清楚，也最有发言权。
　　培训者。他们是培训的具体组织者，不但要对培训整个过程负有责任，而且也渴望真正了解培训的效果。
　　四、培训评估结果评价(培训效果识别)
　　(一)对照组法
　　可想而知，了解培训效果最为准确的方法是采用对照小组。就是说，采用一个参加过培训的人员组和未参加培训的人员组进行比较，如果其它条件没有太大差异，就可以确定两个小组在工作上的差别主要是由培训引起的。但真正使用这种方法，在实践中难以实现。原因之一在于小组成员的选择。因为要想安排完全相同的对照组几乎是不可能的。另一个原因是这种方法过于学究气。但在深入到学员单位了解其主管人员时，可以从一个方面引导主管人员进行相应对比来侧面实现这种方法。
　　(二)趋势曲线分析
　　这种方法是采用以往的工作成绩作为基础画出的一条趋势曲线。然后将这条趋势曲线延伸到未来。经过培训后，可将实际的工作成绩与趋势曲线进行比较，而超出预测趋势曲线的任何工作成绩改进均可被认为是培训的效果。虽然这并不完全准确，但它可以提供关于培训效果的一个合理估计。这种方法可由学员所在单位组织实施，并确实对主管训练工作的领导掌握训练实情具有意义。
　　(三)受训人员对培训效果的认同
　　受训人员最清楚，他们工作的改进，在多大程度上是因为应用了培训中所学的技能和知识。这虽然只是一个估计，但其具有很高的可信度。通常使用以下问题了解受训人员：
　　你的工作成绩的改进有百分之多少是因为应用了在培训中所学的技能、方法、知识?
　　提供此项估计的基础是什么?
　　还有哪些因素对你的工作改进产生了影响?
　　这种方法操作简单，也很容易被受训人员所理解。此外，分析过程也不复杂。因此被广泛采用。2001年由笔者组织的对总装和中共中央党校对所培训过的领导干部，在总装两个大单位进行的培训效果测评就使用了这个方法。
　　(四)主管对培训效果的认同
　　在受训人员评估的基础上，还可请受训人员的主管就培训在产生工作改进方面的作用及程度提供信息。因为受训人员的主管可能更熟悉影响工作成绩的其它因素，所以他们可以更好地提供对效果的估计。总装备部继续教育中心在所进行的培训效果调研中，也较多地使用了此种方法。