什么是量规
量规是一个真实性评价工具,它是对员工的测验、成长记录或者表现进行评价或者等级评定的一套标准。
量规的具体应用
量规的具体应用:
1.一般量规至少都具有三个要素:
一是评价准则,指决定表现性任务,行为或工作质量的各个指标;
二是等级标准,说明员工在表现任务中处于什么样的水平;
三是具体说明,描述评价准则红质餐上从差到好(或扶好到差)的序列,评价准则在每个等级水平上的表现是什么样的。
2.量规应用的步骤:
一是在工作任务开始之前提供量规,发挥量规对明确学习预期的目的和对学习过程的指导作用;
二是呈现量规的同时,最好给员工提供工作的范例;
三是在适当的时候撞用量规,并与其他评价工具配合使用;
四是充分利用量规促进员工自评和互评;
五是在工作过程中,不断提醒员工注意量规的要求,对有问题的地方及时提供反馈。
量规案例分析
案例一:将量规引入函授网络课程评价中的探索
随着网络的不断发展及其在教育中的应用,网络的交互性、时效性、自主性、多媒体等优点彰显无疑,越来越多的成人高校加入进来,运用网络拓宽函授教育形式,提升函授教育质量。高校的师资及教学资源是有限的,网络课程作为一种重要的教育资源,为函授教育提供了薪的契机和生长点。本文就函授网络课程建设中的评价问题展开探讨。
一、函授网络课程评价中存在的问题及其根源
函授网络课程是指根据函授教育的特点及目的,通过网络表现的某门学科的课程内容及实施的教学活动的总和。函授网络课程的研制通常要经过申报、立项、开发、中期检查、续开发、验收评估、结题等阶段(图1)。在整个函授网络课程制作过程中,评价环节主要在中期检查和验收评估两个阶段进行。据了解,中期检查和验收评估多以专家评审的方式实施,即由项目负责人撰写报告(如中期检查报告表等)说明研制情况并做汇报,然后相关管理部门组织专家评审组根据一定的评价指标进行提问和评估。
专家评审一般是由具备网络课程制作经验以及相关学科的专家组成,依照一定的评价指标及自身的经验,对课程内容、呈现形式、视觉效果、技术含量等各方面做出评价并提出修改意见。采用专家评审的评价方式,存在以下几方面的优势:首先,参与评审的专家学者,能有针对性地指出网络课程设计及制作中的问题与不足,并提出相应的修改意见与建议;其次,这种方式可以在较短时间内对较多的课程给出评价,提高了评价工作的效率;再次,专家评审的操作过程简单易行,在一定程度上节省人力物力,降低了成本。但是,专家评审的评价方式也容易造成某些主观臆断、先人为主等缺陷。
函授网络课程评价是保证函授网络课程质量的重要环节。目前的函授网络课程评价,从评价主体来看,以他人评价为主;从评价形式来看,以总结性评价为主。评价作为一种反馈调节机制,对于函授网络课程的整个建设及开发过程起着重要的作用。目前的这种评价方式存在以下几个问题:
1.过程性评价缺乏
如图1所示,在整个函授网络课程开发过程中,评价环节一般在开发中期及开发完成阶段进行,通过反馈、修改等措施达到调节的目的。但是,大部分开发制作过程中(从进入开发阶段到中期检查之前,从续开发到验收评估之前),没有或少有相应的评价措施,缺乏全程化的过程性指导和监督。实际上,评价对函授网络课程的开发过程起着重要的激励、导向作用。而目前的这种实施方案,使函授网络课程评价仅仅停留在描述对比阶段,显然使评价失去了应有的前瞻性功能。
2.评价主体过于单一
从评价主体来看,目前的函授网络课程评价,以他人评价为主。在这种评价中,函授网络课程的开发教师只能被动地接受评价,按照管理部门或专家评审组的反馈意见进行修改完善。虽然他人评价相对较为客观,可信度较高,但是,如果片面采用这种评价,容易造成两个后果:第一,忽视了评价对象的主体性和能动性,进而扼杀其个性和创造性;第二,评价者与被评价者双方缺少对话,容易使网络课程的开发教师对评价结果产生拒斥、对立心理,不利于评价结果的认同和反馈。
因此,最为理想的评价方式,应该使他人评价与自我评价相结合,充分发挥多种评价主体的力量。
3.评价体系不完善,缺乏针对性
评价体系是开展函授网络课程评价的重要依据。纵观各院校出台的函授网络课程评价体系,不难发现以下问题:一是这些评价体系往往只是国内外较有影响的评价体系的“翻版”或“拼凑版”,缺少对函授教育本身的分析研究,针对性较差。事实上,函授教育的教学对象、教学内容及教学模式等各方面存在特殊性,与普通高校、网络学院的教育有较大区别。因此,函授网络课程评价体系应充分考虑这些差异,而不是“依葫芦画瓢”,照搬其他评价体系。二是这些评价体系各级各类指标之间权重分配不合理且有重叠、相斥的现象,或者以偏概全,只从技术角度进行评价,从而导致评价结果不透彻、评价效果大打折扣。
此外,评价中还存在操作步骤不规范,评价过程中存在着很少或没有将质性评价和量化评价相结合等突出的问题。这些问题的存在一定程度上影响了函授网络课程评价的信度和效度。
导致这些问题存在的主要根源之一是缺乏新的评价理念的指导。函授网络课程评价隶属于教育评价的范畴。目前所进行的函授网络课程评价,其评价方法还只是传统教育评价方法的迁移。随着信息化时代的到来,教育评价理论在各个学派及思潮’的影响下,不管是其内涵还是外延都得到了长足发展。如何将教育评价新理念运用于函授网络课程评价是解决问题的关键。
为了使函授网络课程评价的作用得到应有的发挥,我们必须树立新的评价理念,转变评价的功能,从过去的总结性评价转向过程性评价与总结性评价相结合,从单一的评价主体转向多方共同参与、多边互动的模式。
另一主要根源则是缺乏易操作的评价手段。为了提升函授网络课程的质量,过程性评价是不容忽视的一种评价方式。然而,相对总结性评价而言,实施过程性评价要复杂得多。正因如此,目前实施的函授网络课程评价方案多采取了总结性评价的方式。此外,管理力量薄弱也是诱因之一。随着高校的扩招,高校各部门的工作任务日益繁重,依靠相关部门的一两个管理者很难对几十门甚至上百门的课程开发实施全程化的过程性评价。但其最根本的原因在于目前的函授网络课程评价中,缺乏易操作的、面向过程的评价手段。
二、量规——搭建函授网络课程评价的新平台
针对函授网络课程评价中存在的问题及根源,笔者认为,量规这一评价工具能给我们提供一些问题解决的方法及启示。
量规,译自英文单词rubric,最初来源于基督教徒在圣经上做的红色标记,现词典中定义为“法规的标题”。量规是一种结构化的评价标准。具体而言,一个量规是一套等级标准,每个被认为重要的元素都有一个等级指标,每一元素的等级指标由几个等级组成,用于描述绩效的不同水平。
从表现形式来看,量规往往以二维表格的形式呈现,由评价指标、评价标准、水平等级这三个要素组成。
如表所示,这是为评价学生的概念图作品而设计的概念图作品量规(部分)。从表1可以看出,量规针对每项评价指标都有相应的具体描述,并且这些描述组成从好到差或从差到好的一个序列。
表评价概念图作品的量规(部分)
评价指标 | 评价标准 | 等级得分 | |||
示范级(4) | 完成级(3) | 发展级(2) | 初始级(1) | ||
色彩搭配 | 恰当地使用各种不同的色彩、
形状表示形状表示中的元素, 且根据主题内容选择色彩的种类及数量 |
能使用不同的色彩、概念图中的元素,
但色彩选取没有结合主题内容 |
能使用不同色彩表示概念
概念图中的元素,但没有考虑形状因素, 或者只考虑到形状没有考色彩色彩 |
没有考虑色彩及形状,随机选取 |
根据评价目的的不同,量规有几种不同的形式,较常见的是整体量规和分项量规。所谓整体量规,即将评价对象(例如某一过程或作品等)作为一个整体进行评价。而分项量规则是指对评价对象的某一部分进行评价。在实践应用中,往往会针对评价对象运用几个或一系列分项量规累加结果,最后形成一个整体的评价。
三、量规的设计步骤
结合函授网络课程中教学视频量规(表),简单说明量规的一般设计步骤。
表函授网络课程中教学视频量规
评价指标 | 评价标准 | 等级得分 | ||||
优秀 | 良好 | 合格 | 需改进的 | |||
科学性 | 概念原理 | 阐述的概念、原理等内容符合客观事实,没有科学性错误。 | ||||
问题表述 | 理解准确,表述精确恰当,无误解或歧意。 | |||||
教育性 | 指导思想 | 内容凡涉及政治导向问题的,体现马列主义的指导,无导向偏差,整体设计符合现代教育教学规律。 | ||||
教学目标 | 有明确的学习目标或教学基本要求,体现谁做,做什么,做到什么程度,如何评价等一般要求。 | |||||
结构形式 | 思路清晰、结构严谨、层次分明,各个知识点以及各部分内容之间的关系紧凑、合理,变出课程的重点和难点。 | |||||
资料选取 | 引用的素材、例证、数据、文献等符合科学规范,材料确切,来源可靠。 | |||||
操作示范 | 演示、操作规范,准确 | |||||
技术性 | 镜头处理 | 镜头组接流畅,符合组接原则,节奏适当 | ||||
图像质量 | 图像清晰稳定,无跳动、划伤、重影、扭曲等现象,无明显偏色。 | |||||
声音质量 | 声画同步,无失真和噪声干扰,普通话标准、口齿清晰、声音洪亮 | |||||
艺术性 | 仪态表情 | 着装大方、得体,坐姿端正,视线平视前方,表情自然 | ||||
画面效果 | 画面构图、用光合理,主体突出 |
第一步:确定量规的评价对象及评价目的。在教学视频量规中,其评价对象包括视频的声音、图像及视频的具体内容等,评价目的主要在于发现视频中存在的问题,提升函授网络课程的质量。一般而言,教学视频拍摄是在函授网络课程开发过程中完成的,而教学视频的好坏直接关系到网络课程的质量,因此,针对教学视频拍摄的过程性指导是非常关键的一个环节。运用教学视频量规,能对这一开发过程起到重要的导向作用。
第二步:确定量规的类型,列出评价指标。教学视频只是函授网络课程的一个部分,因此教学视频量规属于分项量规。根据教学视频的特点及作用,教学视频量规确定了科学性、教育性、技术性及艺术性四大评价维度,每个维度又细分出相应的评价指标。应指出的是,在设计制定量规时,可采用头脑风暴的方法,借助多方评价主体的力量,共同设计、制定评价指标,从而保证评价指标的科学性、全面性及有效性。
第三步:制定评价标准,即用具体的、可操作性的描述语言说明每一级评价标准。考虑到篇幅及实际应用的差别,上表中量规采用半结构化形式,仅描述了评价标准,以方便相关人员根据具体情境选择、调整及设计量规。
第四步:确定水平等级并分配相应分值。各水平等级之间应具有明显的差别,分值差通常为1,且水平等级不可过多。较常用的水平等级描述有:示范级、完成级、发展级、初始级;优秀、良好、合格、需改进的等。
第五步:在实践中不断修整、完善量规。在函授网络课程开发过程中,管理部门可以结合自评、互评等活动,运用量规方便地实现多主体、多维度的评价,并在实践中不断积累有效评价信息,使评价指标体系更加合理完善。
四、量规在函授网络课程评价中的作用
将量规应用在函授网络课程评价中,其作用可以从开发层面及管理层面来阐释:
1.开发层面
(1)目标导向作用。量规对每个评价指标对应的每个水平等级都提供详细而具体的评价标准,从而让开发教师很容易明确他们的研制目标,使目标明确化、清晰化。特别是在函授网络课程开发之前运用量规,这种“可视化”的目标使开发教师很容易明确“什么是高质量的函授网络课程”,从而起到很好的导向作用。
(2)“脚手架”作用。在开发过程中,将函授网络课程的研制规范、重要环节及注意事项等问题通过量规的形式呈现给开发团队,能有效地促进研制小组解决开发中的问题。例如开发团队协作的问题。在实际制作过程中,一门网络课程的开发任务很容易被简单分割成教师讲授及技术合成两大块,团队成员之间无协作或少协作。运用协作开发量规,可以有效地引导制作者开展团队协作,提升开发效率及质量。因此,对于开发团队而言,量规可以用来引导整个开发过程,起到“脚手架”的作用。
2.管理层面
(1)提高评价的公平性、一致性和客观性。一个好的量规除了有一套等级标准之外,还对各项指标进行详细而具体的描述,并且其中包含的术语都是相关评价人员所熟知的,从而实现与多元评价主体清晰交流的目的。
与其他评价形式相比较,运用量规能使评价标准公开化,从而降低了评价的随意性,使评价客观化、公正化。
(2)促进过程性评价的实施。在函授网络课程开发过程中,结合自评和互评活动,运用量规可以记录和收集有效的评价信息,从而及时了解各课程的研制进度、存在的问题,并给予积极地引导和帮助。可以说,量规的运用,不仅为开发团队指引了方向,起到很好的导向作用,而且还能有效地促进过程性评价的实施,从而为根本上提升函授网络课程质量奠定基础。
(3)提高评价的可操作性。量规具有很强的灵活性、适应性及操作性。运用量规,可以方便地实现多主体、多维度的评价。具体而言,从评价主体来看,运用量规,不仅专家、管理者可以参与评价,而且开发团队的教师、网络课程的使用者都可以参与评价;从评价形式来看,运用量规,不仅可以开展自评(开发教师)、他评(专家、管理者),而且还可以进行互评(开发团队之间)活动。
(4)促进评价体系的合理性及完善性。量规的评价标准、评价等级及整个结构不是一成不变的,而是在应用中不断修整、发展、完善的。针对目前函授网络课程评价体系的不足,运用量规可以帮助我们发现存在的问题、收集解决的策略,从而积累有效的评价信息,构建更完善的评价体系。值得指出的是,量规的制定不应只由管理者或是专家承担,而应充分发挥多方评价主体的力量,共同参与量规的设计制作,从而使评价体系逐步合理完善。
五、量规在函授网络课程评价中的应用方案
量规是一种结构化的评价标准,具有灵活性高、操作性强、面向过程等特点。针对目前函授网络课程评价中存在的问题,如何运用量规是一个值得深入探讨的问题。下面是笔者结合实践总结出来的一套操作方案(表3所示)。
表量规在函授网络课程评价中的应用方案
阶段 | 参与人员 | 主要工作 |
准备阶段
(函授网络课程研制之前) |
管理人员
专家组成员 |
背景分析
确定目标 编制量规 建立量规库 制定实施策略 制定进度表 |
过程阶段
(函授网络课程研制之中) |
管理人员
课程制作者 (包括教师、技术人员等) |
发布量规
组织培训 开展自评、互评活动 收集信息 整理反馈 |
反思阶段
(函授网络课程研制之后) |
管理人员
专家组成员 课程制作者(包括教 师、技术人员等) |
专家组评审
开展自评、互评活动 收集信息 汇总反思 完善量规库 |
1.准备阶段
在函授网络课程研制之前,管理人员会同专家组成员首先应进行背景分析,包括教育评价理论分析、被评人的心理分析、使用者需求分析等,从而确定函授网络课程评价中应解决的主要问题,以加强评价活动的针对性,明确评价活动的目标。然后根据函授网络课程的开发过程,有针对性地编制各环节的量规,建立量规库(图2所示)。最后管理人员应根据函授网络课程的研制时间,制定各阶段的实施策略及进度表。
2.过程阶段
将量规应用到函授网络课程评价过程中,何时提供量规是一个非常关键的问题。按以往的做法,一般趋向于在函授网络课程开发完成后提供量规。实际上,在函授网络课程开发前提供量规是较为恰当的。一方面,在开发前提供量规,有利于开发教师在制作过程中明确自己的目标,了解什么样的函授网络课程是较理想的,从而充分发挥量规的导向作用;另一方面,在开发前提供量规,还有利于过程性评价的实施,使评价活动贯穿在整个函授网络课程开发过程中,发挥其应有的前瞻性功能。因此,在函授网络课程开始研制初期,管理人员就应发布量规,并组织课程制作教师开展培训,使其明确量规的内涵、结构、作用及使用方法等。不仅如此,培训是管理人员与制作教师之间建立相互沟通、相互理解的重要步骤。培训可以采用座谈会、讨论会的方式进行,从函授网络课程评价的意义人手,使制作教师充分理解评价在函授网络课程开发中的作用,从而激发起他们的内在动机,使其消除对立情绪与防卫心理,并积极参与评价活动。
根据进度表及各阶段的研制任务,管理人员可以有选择地运用量规开展自评与互评活动。例如电子讲稿制作环节,管理人员可以借助电子邮件、QQ等通讯工具组织自评活动。课程制作者按照量规中所提供的具体而详细的评价标准,可以方便地检查电子讲稿制作中可能存在的页面排版、色彩拾配、内容呈现方式等相关问题,从而有效地促使其进行修改与完善。通过自评活动,不仅有利于调动开发教师的积极性和主动性,而且有利于增强开发教师的自我监控、自我激励与自我完善。互评活动则可以安排在中期研制阶段进行,组织制作教师对阶段性制作成果开展相互评价。通过互评,促使制作教师间相互学习、相互交流。不管是自评还是互评活动,对于制作教师而言,量规在函授网络课程评价中起到了较好的导向作用;对于管理人员而言,量规能切实地促进过程性评价的实施,提升管理工作的可操作性及效率。量规能在管理人员与制作教师之间架起了相互沟通的桥梁。
此外,信息收集与整理反馈也是一项非常重要的工作。管理人员应在过程阶段及时记录、整理、分析每次评价活动的各种数据,如制作教师在各阶段的自评、互评量规、座谈记录等,从中提取有效信息并将结果及时反馈给教师,以便其在函授网络课程研制过程中及时改进相关工作。
3.反思阶段
在函授网络课程研制完成之后,借助量规可以方便地开展多主体、多维度的评价。专家组评审有着较强的可靠性、可操作性,是较常用的一种评价方式。但是,如上所述,专家组评审也存在一定的缺陷。因此,管理人员除了开展专家组评审之外,还应组织制作教师的自评或互评活动。采用多元多样的评价形式,不仅能充分发挥各个评价主体的作用,而且能提高函授网络课程评价的全面性。再这些评价活动开展过程中,管理人员应及时地收集相关信息,结合调查、访谈等研究手段,就函授网络课程各环节的量规修整、量规的应用方式、作用等问题与多方评价主体展开讨论、分析及反思,然后逐步完善量规库,最终建立一套基于量规的全面、有效的函授网络课程评价体系。