基于网络的多元形成性评价研究_诊断评价和形成性评价

　　[摘要]形成性评价是开放教育教学过程质量控制的一个重要途径。从开放教育课程学习目标，即知识性学习目标、学习能力目标和情感性目标出发，构建了多元形成性评价指标体系、管理运行机制及系统架构。并根据多元形成性评价系统架构，设计了题库和作业库结构，提出了基于六维约束的自动组卷算法。针对真实数据集进行的大量实验表明，该算法具有较高的效率，从而为多元形成性评价系统的成功应用奠定了基础。随着互联网的飞速发展，社会性评价、发展性评价以及个性化、智能化评价将是形成性评价的发展方向。
　　[关键词]开放教育；形成性评价；多元评价；组卷算法
　　[中图分类号]G434　[文献标识码]A　[文章编号]1672-0008(2011)03-0072-06
　　
　　一、引言
　　
　　形成性评价是通过诊断教学方案或计划、教学过程与活动中存在的问题，为正在进行的教学活动提供反馈信息，以提高教学活动质量的评价。目前，开放教育形成性评价多采用教师评定作业、随堂测验、查阅学习者学习记录等手工测评操作方式，在具体实施中还有很多不合理的地方，其评价内容、方法和形式单一，有的甚至是流于形式，具体表现为：第一，评价内容单一。有的地方电大仅仅把完成大作业作为评价的内容，这违背了形成性评价是对教与学过程中所有学习活动评价的思想。第二，不能有效监控学习者的自主学习行为。由于在整个学习期间，师生处于准分离状态，开展学习者学习全过程的形成性评价，环节多、工作量大，同时又缺乏有效的工作质量监控，因此，往往出现没有及时跟踪学习者自主学习的情况，导致评价结果不能真实反映学习者学习的实际状况，形成性评价也就难以达到个别化学习指导的效果。第三，评价过程中人情分、送分现象严重。因为评价指标体系设计不科学，评价方式可操作性差，再加上评价过程检查监控不到位，一些教师仅凭自己对学生的熟悉程度或者学生与其关系的亲疏，主观地随意给分。第四，教师和教学管理人员主要采用手工测评操作方式，效率低下。第五，学习者抄袭现象、期末集中完成形成性作业现象和教师集中批阅现象较为普遍。对学习者练习中存在的问题不能及时反馈或根本不反馈，没有发挥形成性评价的教与学诊断性调节作用。
　　近年来，由于基于计算机网络的形成性评价具有反馈及时、反馈形式丰富灵活、反馈内容以多媒体形式呈现、评价时间和地点不受约束等优势，基于网络的形成性评价系统研究和开发是一个非常活跃的课题[2113][4115116]。国外的一些大学开始将基于网络的评价应用于教学中，如WebCT、Virtual-U、BlackBoradCourselnfo、PathWare等网络教学系统已经具备了基本的教学评价功能，包含作业、考试的定性定量评价与管理等。在国内，网络教育学习者形成性评价主要通过网上作业、网上学习测评或纸质作业等形式完成。如中国人民大学网络教育的学生网上作业全部是客观题(单项选择题、多项选择题和判断题)，主要考察学习者对基本概念、基本原理的理解掌握程度。上海电大吴凤铃认为，为发挥形成性评价对开放教育教学的促进作用，并且给日常的教务管理工作带来方便，有必要开发基于B／S模式的形成性考核成绩管理监控系统。中央电大已经开发了一套形成性测评系统，这套系统的主要功能是对学习者的网上作业或者网上测验进行评阅和测评。但这套测评系统存在考核不够全面的局限性，由此形成的考核结果并不能完全反映学习者的学习过程情况，如学习者个别化学习活动情况(包括上网浏览学习、网上讨论、VOD点播、电子邮件等)和参加学习小组活动情况(如社会调查、实践基地活动等)不能通过这套系统进行考核。
　　南京大学桑新民认为，学习评价与资源评价是当前我国远程教育改革发展中的一个重要突破口，落脚点是提高远程学习者的自主学习能力、自信心与综合素质，这是提高中国远程教育质量的重大改革举措和必由之路。因此，研究和构建与远程开放教育特点相适应的基于网络的形成性评价系统，发挥形成性评价导向、反馈调控和促进发展的功能，对于远程开放教育教学过程的质量控制和学习者自主学习能力的提高，具有十分积极的现实意义。
　　
　　二、多元形成性评价的理论研究
　　
　　远程开放学习是基于网络环境的学习，它给学习者提供了丰富的学习材料，学习者从各种媒体得到多样的信息，可以随时选择自己需要的内容进行学习，建构自己的知识。建构主义“以学习者为中心”的教育思想为远程开放教育教学设计提供了理论保障，奠定了远程开放学习的形成性评价体系的理论基础。而美国著名心理学家加德纳(Gardner，H)提出的多元智能理论对现代教育的教学观、评价观、学生观带来了重要影响，该理论强调学生能力和个体的多样性与差异性，给我们的启迪是只有采用多元化方式评价学生才能实现对学生全面、真实的评价。
　　
　　(一)形成性评价的内涵和作用
　　1.基本定义
　　美国著名评价学专家斯克里芬(Scriven)在其《评价方法论》中首次提出了形成性评价(formative assessment)的概念。他认为，依据目的不同，教育评价通常分为形成性评价和终结性评价两种类型。形成性评价也称为过程评价或真实性评价，是指通过诊断教育方案、教育过程与活动中存在的问题，结合学习者在学习过程中所反映出来的情感、态度、方法等，对教师教学过程和进度及学习者学习过程和结果进行评价，不以得出评价对象的优劣等级为目的。Carol Boston指出：依据此定义，评价就包括了教师对学习者学习的观察、教室讨论活动、学习者学业分析等。如果这种评价结果被用来调节教与学，以满足学习者的需要，则评价就变成了形成性评价，它与终结性评价相对立。正因为如此，有些西方学者把形成性评价叫作为学习而进行的评价(assessment for learning)，把终结性评价叫作对学习进行的评价(assessment oflearning)。
　　因此，在远程开放教育条件下，形成性评价(亦称形成性考核)的基本含义是指对学习者学习过程的测评，是对学习者课程学习阶段性的评价。它着重于对学习者认识过程和实际能力形成的监督和评价。其目的不仅仅是知识的巩固和技能的培养，而是要加强对学习过程的指导与管理，及时反馈教学信息，改进教学，以提高学习者的综合素质和能力。由此可见，开放教育形成性评价包含两方面的含义：学习过程评价和学习效果评价。
　　2.形成性评价的作用
　　评价在教育活动中历来起到“指挥棒”的作用，为学习而进行的形成性评价是开放教育教学质量保证体系的重要组成部分。概括地讲，形成性评价是强化素质教育，加强教学过程指导和管理的重要手段；是改革考核内容，改进考核方式、方法的重要措施；是科学测评学习者学习效果，反馈学习信息，促进学习者自主学习，提高学习者综合素质和能力的重要途径。同时，形成性评价也是教师对学习者实施学习指导和帮助的一 种有效形式，有助于强化教学反馈，引导教学过程，促进教学改革；对学习者来说，形成性评价是学习者自我鉴定学习效果的一种有效形式，有助于提高学习效率，提高学习效果，端正学习目的，激励学习热情。
　　
　　(二)多元形成性评价的基本要求
　　多元化学生评价是指不单纯采用标准化测验，而是采用多种途径，在非结构化的情景中评价学生学习结果的一系列评价方法。多元化学生评价的理论基础是美国心理学家加德纳的多元智力理论，该理论强调学生能力和个体的多样性与差异性，要求我们只有采用多元化方式评价学生才能实现对学生全面、真实的评价。
　　1.评价内容从面向知识目标转向能力目标乃至情感目标等多元内容
　　形成性评价是过程性评价、发展性评价，主张真实、全面地评价学习者，实现评价与学习的融合。在学习中实施评价，在评价中促进学习是过程性评价的基本的理念。也就是强调在真实的教学情境下，把学习者的学习看作一个动态、发展的过程，收集关于学习者学习状态、学习策略、学习动机、学习效果等方面的相关信息，以准确地了解学习者的学习情况。而传统的教学评价参照标准比较单一，往往只依据考试成绩的高低、操作技能的熟练程度，却无视不同学习者各异的特质、情感和学习风格。因此，在网络教学中，要重视学习者综合能力和整体素质的发展，从知识、能力、品质、态度等多项指标去衡量每一个学习者。
　　2.评价范围从一元技能转向多元技能
　　现代智力研究成果认为，学生的能力是多方面的，每个学生都有各自的长处与不足，由于学生之间存在着个体差异，评价也不应采取单一维度或标准，应具有多元的取向。网络教学的出现顺应了个性发展的需要，为自主学习创造了良好的环境。学习者在意义建构活动中，表现出来的能力不是单一维度的数值反映，而是多维度、综合能力的体现。如问题解决过程往往由发现问题、定义问题、信息搜索、整合信息和解决方案等技能组成；学习者学习成果作品也可分为设计、组织、内容、演示等多项指标。对学习者进行多维度、多层次的综合评价，从而全面反映学习者的学习状况和成果。
　　3.评价主体由单一的教师转变为以自我评价为主，结合教师评价、小组评价等多元评价主体
　　建构主义主张自主学习，发挥创新精神，实现自我反馈。学习者每一次实现对原有认知结构的改造与重组，也就是完成了一次自我的肯定、否定、再否定的辩证评价过程。这种自我评价有利于学习者成就感的形成、目标的明确、个性化的培养，使学习者由评价客体成为评价主体，增强学习者的评价能力。网络教学强化了学习的自主性，为自我评价提供了强大的“硬件平台”，如集成化的学习环境，具有交互功能的学习资源等，使学习者和学习结果之间有了更直接的联系。教师评价为学习者对知识的意义建构提供了一种引导，而学习者之间的相互交流、评价，可能引起各种层次和类型的文化碰撞、价值观的碰撞以及思维的碰撞，有助于他们在认知层次上达到协同，从而提高教学效果。将三者有机的结合在一起，可以使评价更科学、更合理、更客观。
　　4.评价手段由纸质手工操作转变为以计算机网络为主的多形式、多手段考核
　　在以往的教学评价中，多采用总结性评价，更多地关注整个阶段的教学结果，多采用纸质化手工操作方式。网络技术、通信技术和多媒体技术的不断发展，已经丰富了网络教学的评价手段，具有多项测评功能的评价系统的实现已成为可能。因此，评价方法和评价手段应多样化，而不局限于某一种单一形式。
　　
　　(三)多元形成性评价指标和管理运行机制
　　1.评价指标设计
　　开放教育每个专业都有明确的培养目标，每门课程都有明确的课程学习目标，因此，形成性评价必须紧紧围绕这两个层次的目标展开。课程教学理论认为，课程学习目标是指教学中学生通过教学活动要达到的预期学习结果，具体可分为三个领域：知识与技能，过程与方法、情感态度与价值观。根据多元形成性评价的基本要求，综合各类专业课程学习目标的基本内涵，设计多元形成性评价指标和评价内容如表1：
　　2.管理运行机制
　　形成性评价是一项具有明确目标指向的教学评价活动，是以实现课程学习目标为出发点的一个动态的过程，这个过程主要经历准备、实施、处理、反馈四个阶段。从形成性评价流程来看，这个过程就如同一个管理流程。因此，基于目标管理的课程学习评价管理运行机制就是将评价目标、评价参与人员、评价过程、评价结果等要素纳入管理系统，围绕课程学习评价目标，配置人员、分配职责和任务，建立相应的制度，形成科学的运行流程，取得良好的评价效果。
　　在课程学习评价目标管理系统中的各类人员，按照既定的职能目标，完成自己的工作职责，其管理运行过程如图1所示：
　　管理系统中的各类人员工作职责如下：(1)课程主持教师主要着眼于教学、评价、学习的一体化教学实施方案的总体设计，对课程学习评价过程进行全程监控，对学生学习及评阅教师的评阅任务进行检查、指导；(2)课程辅导教师(评阅教师)完成各阶段评阅任务，及时评阅、及时反馈学生，给出详细的指导性评阅意见，引导或指导学生的学习；(3)导学教师／班主任在课程学习评价过程中，全程监控学生学习任务完成情况和集中性学习活动的到勤情况，按照考核时间要求给学生予提醒、鼓励，激发学生的学习热情；(4)网络管理员要保障学校网络系统的畅通，既要为学生和教师解决计算机及其网络系统的技术问题并提供咨询和服务，同时不断监控和统计分析课程考核情况，为教师和学校管理者提供决策支持。
　　
　　三、多元形成性评价系统设计与实现
　　
　　(一)评价系统结构
　　基于计算机网络的多元形成性评价系统，由两个相互独立又相互关联的子系统：自我评价系统(自评)和形成性评价系统(他评)组成，包含三个功能模块：过程管理模块、多元评价模块和智能反馈模块，其体系架构如图2所示。
　　自我评价系统是一个由学生自定义评价内容，进行自我学习评价的系统，是学生自主学习的一个重要工具。学生可以通过自我检测、自我评价，发现学习中的问题，有针对性地调整学习方法，提高自主学习的效率。自我评价系统为学生提供了一个主动诊断自己学习需要、形成学习目的，识别和选择学习材料，采用适当的学习策略并评价学习结果的自评、自测平台。
　　形成性评价系统是一个为教师提供可设计评价内容，对学生进行测评的人机系统。教师通过学生完成形成性评价任务的记录，了解学生的学习情况和学习成果，评价学生的学习行为、学习过程和学习结果。同时，教师也可以通过该系统诊断学习问题，指导学生学习，不断改进教学。基于网络的形成性评价系统既是一个测量和评价系统，也是教师与学生进行互动学习、沟通交流的平台。
　　多元形成性评价系统与在线学习平台和教务管理系统之间的信息接口。在线学习平台具有为教师的教与学生的学提供监控和记录的功能，这些量化的参数为实现自动评定和反馈创造了条件，可简化学习评价人员的工作，缩短评价周期，提高评 价效率。为共享在线学习平台上的学生网上学习数据，实现对学生网上学习的动态评价和动态调控，需设计多元形成性评价系统与在线学习平台之间的信息接口。此外，由于形成性评价的成绩关系到学生能否拿到课程学分和能否毕业的问题，多元形成性评价系统与教务管理系统之间也必须有信息接口。
　　
　　(二)评价系统组卷算法设计
　　以题库为基础的单元作业和测试的自动组卷算法是评价系生成的试卷模式建立组卷的数据模d；(4)针对用户任务T，在现有试题数据库中建立数据视图“T-View”，“T-View”中包含任务T所能涉及到的试题库中的所有试题；(5)针对T―View中的试题，产生随机数k1…kn，结合难度系数n及曝光度1，产生选题数组i1到isl，共s1题，依次类推s2到sn，则题量M=S1…S2…s3…Sn；求解出组卷的最优方案H：0(minf(s1))…0(minf(s2))…0(min(sn))，即方案H与用户要求的差距最小(step3距离最小的点才能成为最终的候选目标)；(6)若方案H为空，则转到(3)，否则转到(5)；(7)结合试题视图T―View及最优方案H，输出试卷P；(8)结束。
　　4.自动组卷算法实现
　　评价系统试运行环境：IBM3650服务器、Windows 2003Server操作系统(企业版)和Microsoft SQL Server 2005数据库，实验目的是检验评价系统组卷算法的正确性和效率。效率包括时间效率、空间效率，而时间效率是指组卷算法运行速度的快慢，空间效率是指组卷算法需要的存储空间。随着网络技术和大容量存储技术的发展，一个算法所需要的存储空间一般能够满足，因此，组卷算法的时间效率是我们需要关注的重点。
　　在不同的知识点、题型、题量、答题时间、难度和曝光度的条件下，实验设计：题量倍数为1、2、5、10，难度系数为1―5，知识点为第1-5章，题型类别1为客观题(选择题、判断题和填空题等)，题型类别2为客观题和主观题(选择题、判断题、填空题、简答题和论述题等)，设定题量1为25题、题量2为50题，自动组卷400次，依次分别记录组卷时间、答题时间误差和成功率，自动组卷算法的实验数据如表4所示。实验结果表明，基于贪心算法的自动组卷算法具有较好的客观性、准确性和可靠性，已成功应用于浙江广播电视大学多元形成性评价系统，也可供一般院校在线测试平台设计时参考。
　　
　　四、实践与思考
　　
　　(一)实践反馈
　　依据建构主义教育理论，对学习过程、学习环境的绪多要素进行跟踪调查，发现采用了基于网络的多元形成性评价系统后，对学习过程、教学效果等产生了积极的影响。
　　1.对教学者、管理者的影响
　　传统的远程教学实质上是一种管理过程，是一种共性管理。在传统的远程教学中，教师的角色多是管理者的身份，和学生是一种不对等的关系，其传授知识的过程仅仅是普通教育远程化。
　　在采用基于网络的多元评价系统后，全新的网络教学环境改变了教与学的各要素。首先是师生关系发生了变化，评价的发出者变成了多元：教师、学生、平台系统，教师和学生成了平等交流的主体；其次，评价的内容更科学，实现了过程可控、实时反映、可变可调。在这种变化下，教学过程的组织者就不得不考虑如何调整教学计划，采取有针对性的教学策略。这种压力极大地促进教师反思教学行为，改进教学方法，提高教学水平，最终有效提高教师的综合素质，为贯彻远程教育理念、实施新的教学模式提供有力的保障。
　　2.对学习者的影响
　　现代学习者和以往学习者有着鲜明的区别，学习目标、学习方法、个性特征都与历史上的任一时代学习者不同，现代学习者更适应的是多元评价系统，而不是传统的学习评价。他们目标明确，要学会的是能力，而不全是那些理论的知识；学习的内容也随学习者不同而发生变化，他们要求内容具有个性，要求学习平台可以智能判断所需要的学习内容；评价不再是教师的一言堂，而是多元的、多时空的；对于学习过程，要求是丰富多彩的，可以沟通互助，而不是无聊的“悬梁刺股”。多元评价体系正因为比较适合现代学习者的这些特性，让远程学习的学生能及时感受到学习的快乐、学习的效能，从而改变了学习者对学习的情感，使得远程学习者靠文凭愿景支撑学习变为主动学习。
　　
　　(二)理性反思
　　1.合理的建构社会性学习评价
　　社会性学习产生在社会群体各种交流活动和交流过程，学习内容多样化，且常常动态产生于群体交流过程中。远程学习最怕的是学习者的孤岛现象。根据调查显示，大多数成人学习者在一个孤立的学习环境只能坚持完成学习任务中的10％-20％。国外的研究显示，英国开放大学的虚拟学习环境不仅有精心设计的学习资源，还为学习者提供了Flash Meeting、MSG、Compendium(一种概念图工具，能帮助学习者进行可视化思维)和Learning Journal(为学习者提供的网络学习日志工具)等能够增进师生、生生实时交互、共享学习经历的学习工具。因此，社会性学习评价是多元评价学习平台成功与否的关键。
　　在设计社会性学习中，需要考虑的要素有学习沟通、研究协作、团队活动、社会评价。与传统的教育不同，基于网络的多元评价课程学习平台除了提供课程大纲、进度要求、学习视频、参考资源外，还应在学习资源中设计相关学习活动、研究和讨论。学习资源根据学习目标和内容的不同，可以采用文本、图像、图表、动画、音频和视频等多种媒体形式，但要配上相应的脚本，以实现系统对话及学习状况判断。社会性学习强调的是沟通中学习、活动中研究，相应的评价体系则强调的是过程评价和能力评价。
　　2.游戏规则与发展性评价相结合是多元评价的一个发展方向
　　目前，网络游戏在教育中多应用在中小学教育阶段，大学教育及成人教育中并不多见。与网络游戏相比，多数网络课程正如电子版的“教科书”，学习方式单一，自主学习资源不足，缺乏系统化教学设计。究其原因，有相当数量的研究者认同亚里士多德、夸美纽斯、皮亚杰的游戏教育理论，但认为成人游戏教育用处不大。但调查研究表明，国内大多数的游戏玩家在18岁到28岁之间，而且这些玩家比18以下的玩家要平均多出一倍以上时间参于游戏。远程教育生源统计数据发现，多数远程学习者年龄和这些玩家年龄基本相符，网络课程适当嵌入游戏规则是吸引学习者学习的一种有效手段。
　　多元评价课程平台可以参考网络游戏中的角色管理规则、任务与关卡规则、协作任务规则、任务奖励规则，进行相应的教学设计和绩效评价。学生在网络课程中的角色是其在网络课程学习中能力、特征的数字化体现，这些信息保存在个人资料数据库中。角色的静态属性是其身份信息、学籍信息，动态屙胜则是知识与能力等级，动态属性可以通过升级(完成学习任务并掌握新知识)和请教NPC(教师)、阅读资料等途径获得。学习者的学习行为，通过角色管理规则、任务奖励规则以动态属性的形式实时体现，相当于其学习评价中的过程性评价、发展性评价。
　　在设计基于游戏的多元评价课程平台时，如果注意以下两点，将更有利于提高学习者的兴趣和学习效率：游戏学习的奖励荣誉与现实世界的奖励荣誉结合，正如QQ币一样可以转化为现实的货币；研究性学习、实践创新能力考核可以用角色竞赛的形式进行。
　　
　　3.知识元设计是多元评价实现个性化的要求
　　远程学习者与普通教育的学习者不同，学习者属性相差较大，知识量、个性特点、需求和能力目标都不尽相同，不适于采用传统的教学方式和评价方式。因此，在设计多元评价课程体系时，要考虑的一个原则是个性化原则，评价时要充分尊重学生不同的智力优势与学习风格。正如加德纳认为，不同个体的优势智能各不相同，智能的组合方式也各不相同，这必然导致学生学习方式的不同，因而应允许学生采用不同的学习方式与呈现方式，展示他们的学习过程与学习结果，并进行个体针对性的评价。
　　要实现个性化学习与评价，设计网络课程时就必须将所传授的知识技能进行元化，即知识元化，以适应不同需求的学习者。如果加上游戏规则，就是将知识分成细小的任务元，由系统智能的评判并提供给学习者。
　　
　　4.智能系统是多元评价实现的难点
　　在设计多元评价课程体系时，常用到智能专家系统、智能答疑系统等人工智能。智能专家系统可以对学习者的状态进行准确判断，提供个性化的学习服务；对于学习者学习行为和成效进行客观的评价奖励；智能答疑系统可以对学习者提出的问题进行解答。
　　在设计和实践多元评价系统时，我们进行了大量的研究调查，花费了较多的工作设计了相应的算法，以实现智能评价。实践效果验证，系统初步实现了设计目标，但对比一个成年人的智能水平，还是有所欠缺。国内外的文献研究也表明，智能系统还没有真正完全的应用到网络课程体系，很多网络课程的智能程度远远没达到流行商业游戏的智能程序水平，多数网络课程的智能仅仅还是一个幼儿。而且，目前也没有一个可以通用的网络课程智能嵌入系统，通用智能模块的欠缺已严重影响了多元评价网络课程体系的建设，成为多元评价系统设计的难点。