柳学智:信息技术对大规模考试的影响

发布日期:2017-05-09 来源:

柳学智

[摘要]  在大规模考试中,随着信息技术的应用,所采集的信息由纸质信息转换成数字信息,考务管理由人工操作转变成计算机管理,测试过程由纸笔测试转变成电子测试,由此催生了电子考试。

[关键词]  大规模考试  信息技术  管理  电子考试

信息技术对大规模考试的影响主要表现在以下几个方面。

一、信息采集

在传统考试中,采集的信息是纸质信息,将信息技术应用于考试信息采集,所采集的信息由纸质信息转换成数字信息,实现了考试信息采集的数字化。在大规模考试中,需要采集的考试信息主要有两类:一类是考生的报名信息,包括考生的档案信息和报考信息,主要用于考务管理,在考生报名时采集;另一类是考生的答题信息,根据评分是否客观,可分为客观题答题信息和主观题答题信息,是评价考生水平的主要依据,在考生考试时采集。

光标阅读机的应用

光学标记阅读机(Optical Mark Reader,  OMR,也称光标阅读机、光电阅读机,简称读卡机或阅卷机)是一种高速信息录入设备,它运用光电转换原理,以极快的速度识别填涂点,从载有待录入信息的信息卡上读取数据。用光标阅读机每秒可为计算机录入数千个信息位,是人工敲击键盘的上百倍,而且误码率极低,是键盘录入无法比拟的。

光标阅读机解决了计算机数据录入的“瓶颈”问题,大大提高了信息录入的效率。光标阅读机主要用于采集可分类的信息或可编码的信息,在我国大规模考试中的应用主要集中在两个方面:一是采集考生的报名信息,将考生的报名信息分类、编码或将汉字转换成区位码,由考生填涂报名信息卡,然后通过光标阅读机读入计算机,实现了报名信息采集的数字化,为报名信息管理提供信息来源;二是采集考生客观题答题信息,将考生对客观题的做答结果分类、编码,由考生在考试时填涂答题信息卡,考后由考试机构通过光标阅读机读入计算机,实现了客观题答题信息采集的数字化,为客观题成绩管理提供信息来源。

近年来,随着计算机性能的提高,光标阅读机的性能也有新的发展。有些光标阅读机不仅可以扫描照片,还可以直接识别手写体的阿拉伯数字、阅读条形码,这些性能都极大地方便考务管理,提高管理效率。

报名信息的网络采集

随着互联网络的发展,人们的工作、学习和生活日益依赖于网络,网络的快捷与方便不仅提高了效率、节省了时间,而且改变了人们的工作和生活方式。在考试领域,越来越多的考试管理部门开发出了网上报名系统,越来越多的考试通过互联网络采集报名信息,报名信息的网络采集在逐渐成为报名信息数字化采集的一个新的发展方向。

网上采集报名信息是指考试管理部门将某一考试需要采集的报名信息项制成报名信息表,并将该表置于互联网络服务器之上,考生通过互联网络访问该服务器,填写报名信息表中的报名信息项,然后直接将报名信息提交到该网络服务器之中。

通过互联网络采集报名信息,考生足不出户就可以完成考试的报名,节省了时间,增加了方便;从考试管理部门角度看,大大减少了报名信息采集的工作量,更为重要的,由于报名信息由考生直接填写和校核,提高了报名信息采集的准确性。

㈢身份识别信息的采集

在大规模考试的管理中,要有效地预防和查处替考行为,保持考试的公平与公正,前提是对考生身份进行有效识别。有效识别考生身份一直是各级考试管理机构关心的头等大事。识别考生身份需要依赖相关信息,这些信息通称为身份识别信息。随着信息技术的发展,人们在探索多种方法采集考生身份识别信息,更为准确、有效地识别考生身份。

    1、照片信息的采集

照片是目前大规模考试考务管理中识别考生身份的主要依据。在考生信息的管理中,照片信息一直作为考生报名信息的一部分,在大规模考试信息管理的早期,照片信息主要采集纸质信息,难以采集数字信息,未能实现照片信息采集的数字化。到了上世纪末,多媒体技术的成熟和计算机性能的提高,使得考务管理中直接采集数字照片信息成为可能,照片信息采集才真正实现数字化,此时报名信息采集的数字化才全部完成。目前采集考生照片信息主要有两种方式:一是通过摄像头或数码相机直接为考生拍照,将照片信息输入计算机,这种方式应用于考试现场,可以有效预防考生替考现象的发生,因而受到广大考试机构的青睐;二是通过扫描仪将考生提交的照片扫描进入计算机,如果考生众多,这种方式有较大的手工操作工作量。

    2、指纹信息的采集

指纹是人体固有的生物特征,具有唯一性和很强的稳定性,可以作为身份识别的客观依据。在传统的考务管理中,主要依据核对照片、笔迹等方法识别考生身份,但这些方法往往不够准确、可靠。随着信息技术的发展,取像设备性能的提高,指纹识别技术逐渐成熟。在考生报名时,通过指纹仪现场采集考生的活体指纹信息,存入计算机,建立考生指纹信息库。每科考试前进行指纹验证,如果考生指纹与预留指纹信息相符,允许进入考场,如指纹不符,经工作人员认真核实后,将非法人员拒之场外。

    3、其它身份识别信息的采集

除了照片、指纹等身份信息外,人体还有很多其它生物特征,比如掌纹、虹膜、声音等,这些生物特征都可以作为身份识别的客观依据,随着信息技术的发展,针对各种生物特征的识别技术不断诞生并日渐成熟,改变着传统的识别考生身份的观念和方法,通过这些技术的应用,将更为准确、有效地识别考生身份,有望根除考试过程中的替考现象,进一步保证考试的公平与公正。

主观题答题信息的采集

在考试的发展中,最早出现的是主观题,在我国科举考试1300年的历史中,大都使用主观题。到了19世纪末,随着心理测量学在西方逐步建立并得到发展,为提高考试的科学性、客观性,人们利用心理测量学对考试的各个环节进行控制,于是产生了标准化考试。在标准化考试中,客观题因为适合机器阅卷、评分客观、易于大规模推广而倍受宠爱,在20世纪,客观题风靡整个考试领域,主观题因为评分主观、不适合大规模推广而受到冷落,在一些重要的大规模考试中,主观题所占的比例下降,有些考试甚至取消了主观题,全部采用客观题。

随着客观题的风行,客观题的缺点也逐渐为人们所认识,到了上世纪末,人们重新认识到主观题在测量高级思维能力方面不可替代的作用,信息技术的发展也使人们有更多的方法对主观题的缺点进行控制。于是,主观题在大规模考试中重新受到重视,在考试设计中,人们对所测特质重新定义,并在考试试卷中重新增大主观题所占的比例。

重新重视主观题,并不是简单地回到历史的老路上去,随着计算机软硬件性能的提高,人们利用信息技术对传统的主观题进行了很多改进,甚至开发出新的主观题题型。在主观题答题信息的采集上,信息技术的应用主要表现在两个方面:一是纸质主观题计算机辅助评卷,二是电子主观题计算机智能评卷。

    1、纸质主观题计算机辅助评卷

人工评阅主观题试卷时,由于人的主观性,评卷人员的思想、观点、兴趣、爱好,甚至情绪、疲劳等众多因素,都可能影响评卷人员对评分标准的掌握,导致自己与自己、自己与他人的评卷结果不一致,由此产生了巨大的评分误差。如何控制主观题评分误差,是考试领域中长期存在并一直未能很好解决的问题。主观题评分误差的控制,不仅关系到主观题成绩采集的科学与客观,而且关系到考试本身的发展与命运。

传统纸质主观题的评卷,是在考试完成之后把试卷密封装订,分发到评卷人员手中,评卷人员根据标准答案对主观题进行评分。这种评卷方式不仅花费巨大的人力、物力和财力,而且无法保证评卷质量:评卷误差的控制主要掌握在评卷人员手中,虽然能够通过抽样的方式进行复查,但是数量有限,达不到全面、公正的效果。

纸质主观题采取计算机辅助评卷,先用扫描仪将考生的纸质主观题做答结果以图像的方式扫到计算机中,按照既定的程序进行图像切割、编码,再保存到数据库之中,然后在局域网内,在计算机屏幕上给评卷人员呈现特定的主观题做答结果,由评卷人员通过键盘和鼠标的操作进行打分,直接将该题的评定分数输入计算机。这种评卷方式不仅操作方便快捷,更重要的是记录了评卷人员的评分数据,通过对这些评分数据的统计分析,计算机系统可以把评卷人员评卷的轨迹刻录得一清二楚,由此找出评卷人员打分的规律性特点。对“离谱”的评卷人员,可以进行事先的筛选,在评卷过程,如果发现个人的评卷结果与专家评卷结果的差异超过允许范围,计算机自动提出警示。通过上述种种措施可以有效地控制主观题评阅过程中的误差,保证评卷质量。

    2、电子主观题计算机智能评卷

在纸质主观题中,虽然人们可以利用计算机辅助评阅试卷,但试卷的评阅还是依靠人工进行,计算机只起辅助作用,帮助控制评阅过程中主观因素,减少评分误差。随着信息技术的发展,产生了电子主观题,人们直接利用计算机代替人工评阅电子主观题,计算机直接采集考生主观题做答结果和成绩信息。这方面比较有代表性的是美国教育考试服务处(Educational Testing Service, ETS)的Jill  Burstein等人研制的电子作文评卷员(Electronic Essay Rater,  E-rater)。

电子作文评卷员的研制充分利用了应用语言学的最新成果和多元统计技术,其评卷的基本思路是:首先确定一篇作文的写作特点,然后让计算机能够自动识别并量化这些写作特点,计算机比较某一篇作文的写作特点与这些特点的相似程度,并根据相似程度赋予该篇作文一个分数。

电子主观题计算机智能评卷是一个极为活跃的新的发展领域,它不仅完成了主观题成绩采集的数字化,更为重要的,它还将对考试管理产生深刻影响。

二、考务管理

考务管理是指考试管理机构对大规模考试实施过程进行的管理。严格意义上说,考试信息采集也是考务管理过程的一个环节。信息技术的应用实现了考试信息采集的数字化,也标志着考务管理过程开始了信息化进程,随着信息技术应用的深入,考试实施逐渐由人工操作转变成计算机管理。

考务环节的计算机管理

传统考试都是纸笔考试,在传统考试的考务管理中,所有的考务环节都依赖人工进行操作,人工统计考生人数、编排考号、填写准考证、粘贴考生照片等,由于考生众多,人工操作不仅工作量大,而且容易出错。随着计算机的普及和应用,某些考务环节开始引入计算机,让计算机代替人工操作,用计算机统计考生人数、编排考号、打印准考证、统计成绩、打印成绩单等。在考务环节进行计算机管理,不仅大幅度减少工作量,提高了工作效率,而且减少了错误,提高了工作质量。但是限于计算机的发展水平和人们对考务管理的理解,此时计算机的应用还处于初期水平,主要考务管理工作还是依赖人工进行操作,虽然在某些考务环节计算机已得到应用,但各考务环节之间计算机的应用是分离的,缺乏必要的联系,还没有从系统的角度将各个考务环节联系起来。

考务管理系统的研制与发展

随着信息技术应用的深入,越来越多的考务环节实现了计算机管理,人们开始将这些分散的考务环节联系起来,从系统的角度规划信息技术在考务管理全过程中的应用,研制考务管理系统,使信息技术的应用达到一个新的水平。

    1、专用考务管理系统的研制与发展

考务管理系统的研制是从具体考试开始的。随着越来越多的考务环节实现了计算机管理,在一些大规模考试的考务管理中,人们开始研制考务管理系统来管理各个考务环节,由于这样的系统只能适用于某一类考试,称此系统为专用考务管理系统。

专用考务管理系统的发展经历了日臻完善的过程。在系统发展的初期,信息技术的应用水平还相对较低,从系统功能上,考务管理功能还不够完善,所管理的考务环节还相对较少,随着系统的逐步使用,考务管理功能日趋完善,所管理的考务环节逐渐增多,直至全部考务环节都能通过考务管理系统进行管理。从应用范围上,在大规模考试整个实施范围内,开始是某些地区先行试点,后来逐步将考务管理系统推广到全部地区。

    2、通用考务管理系统的研制与发展

随着专用考务管理系统的日趋完善,越来越多的考试开始利用专用考务管理系统进行管理,由于专用考务管理系统仅适用于某一考试,如果为每一考试都开发一个专用系统,既不经济也不实用,专用考务管理系统的弊端逐渐显现。由于某些大规模考试的实施具有相同或相似的过程,人们开始研制通用于多个考试的考务管理系统,随着软件技术的进步,管理系统的功能也越来越强大,于是适用于多个考试的通用考务管理系统便应运而生。

通用考务管理系统的发展也经历了日臻完善的过程。最初的通用考务管理系统概括化程度还比较低,所管理的考试种类还比较少,随着系统的使用和推广,考务管理功能逐渐完善,系统概括能力逐渐增强,通用考务管理系统所管理的考试种类也越来越多。

三、测试过程

测试过程是指考生在某一考试时间内对某一考试科目的做答过程。信息技术不仅影响着传统的考务管理,也改变着传统的测试过程。信息技术应用于测试过程,产生了崭新的测试形式,由此引发了测试形式的变革。

电子题库的建立

信息技术对测试过程的影响是从电子题库开始的。在早期的大规模考试中,为了便于检索和组卷,人们将题目记录在纸质题卡上,并按照一定的规则将题卡分类存放,随着题目的增多,就形成了早期的题库。随着计算机的普及和应用,人们将题目及其参数存储在计算机中,根据题目参数,计算机能十分方便、快捷地检索出所要的题目;而且更为重要的,根据一定的组卷策略,计算机可以抽出相关题目,组成符合要求的试卷。这些电子题目组成了电子题库。

在有些考试中,由于多种条件的限制,人们并不能为题目建立起各类参数,在缺乏必要参数的情况下,命题专家根据经验将某些题目搭配在一起组成试卷,这些试卷也能大致适合于相应水平的考生群体。这些试卷内的题目,由于缺乏必要的参数,不宜单独存放,而这些题目组成的试卷由于经过了命题专家的经验判断,可以以试卷为单元存放在计算机之中,这些电子试卷组成了“卷库”。在电子题库建立的初期,这种“卷库”是十分普遍的。

真正意义上的电子题库是以题目为单元建立的,在电子题库中,题目参数十分重要,题目除了有描述所测试的内容范围、能力层次、认知水平的参数外,还应根据心理测量理论给出相应的难度、区分度等参数。

电子测试的产生与发展

千百年来,人们一直使用纸和笔进行考试,这种测试形式我们称之为纸笔测试。在电子题库的基础上,人们进一步将信息技术和测量理论应用于测试过程,产生了崭新的测试形式,引发了测试形式的变革,这也是信息技术对考试最为深刻的影响。新的测试形式抛弃了传统考试中的纸和笔,以电子信息为特征,这种测试形式我们称之为电子测试,在国外统称为基于计算机的测试(Computer Based Testing, CBT)。

与纸笔测试相比,电子测试发生了巨大变化,在电子测试中人们设计出更多更新功能的题型,例如,在测试过程中考生可以制作图表,控制过程,编排顺序,对推理过程进行解释等,这些题型在纸笔测试中是难以实现的。与纸笔测试相比,电子测试能够提供一个更为真实的测试环境,因而也更能真实地测量出考生的实际水平。

根据测试过程中题目的呈现方式,电子测试分为两种:直线式测试和适应性测试。

    1、直线式测试

直线式测试是指在测试之前试卷题目已经固定,考生在规定的时间内需要做答试卷中的所有题目。直线式测试也经历了多个发展阶段,在信息技术应用的早期,直接将传统的纸笔试卷搬到计算机上,试卷结构、题目分值、评分标准等都与纸笔试卷一样,同一时间内所有考生做答的试卷完全相同,容易看出这种测试形式未能充分发挥电子测试的优势。后来,针对同一考生群体提供几套固定试卷,并将这几套试卷在同一考场内的不同考生之间进行分配,使得相邻的考生具有不同的试卷,这种测试形式能够有效地防止作弊,提高了考试的安全。但由于受到试卷数量的限制,这种测试形式的考试还不能经常进行,时间还需要相对集中,考生并不能完全按照自己的意愿随意选择时间参加考试。从严格意义上讲,这两种测试形式还不是真正的电子测试。

真正意义上的直线式测试要依据大容量题库,在测试之前临时生成试卷,不同的考生生成的试卷不同,而且不同的科目可以在同一时间施考,这样能够最大限度地防止考生作弊,保证测试过程的安全。

从测量理论上看,直线式测试仍然可以按照经典测量理论计算考生分数,分析试题试卷,进行题目等值等。

    2、适应性测试

适应性测试是指在测试之前试卷题目并不固定,在测试过程中,计算机根据考生已做答题目的情况决定下一步要呈现的题目或终止测试过程,测试过程与考生的水平相适应。这种测试形式在国外统称为计算机化适应性测试(Computerized Adaptive Testing,  CAT)。适应性测试是近年来引人注目并取得重大进展的测试形式,在测试中根据先验经验选取适合考生水平的题目进行施测,做答完立即评分,以上一题的做答情况决定下一道题目,直至施测结束,在测试过程中始终选择适合考生水平的题目让其做答。与直线式测试相比,适应性测试的测试思想发生了巨大的变革:它通过考试系统与考生之间的交互,为每一个考生建立一个个人化的测试过程,由于题目的选择是依据考生的水平进行的,因此考生所做的每一个题目的难度都与其水平相匹配,水平高的考生避免做易题,水平低的考生避免做难题。因此,适应性测试更容易准确地测量出考生的真实水平。

在直线式测试中,考生须在规定的时间内做答规定的题目,有些题目对他们来说不是太易就是太难。适应性测试一开始是任意选择几道中等难度的题目,如果考生做答正确,下一道题目就增加难度;如果考生做答错误,下一道题目就降低难度。根据考生对题目的做答反应,计算机逐步调整对考生能力的估计。因而适应性测试的测试时间比直线式测试要短。

与直线式测试相比,适应性测试具有很多优点:第一,考试效率高,实践表明,适应性测试只需直线式测试一半的测试时间和约为40%的试卷长度,便可达到直线式测试相同的精度;第二,可比性强,由于适应性测试一般依据题目反应理论(Item Response Theory, IRT)构建,IRT的优良特性在适应性测试中得到充分体现,尤其是考生能力参数,具有可比性;第三,测试过程的个性化,可以适应不同考生的个人水平。

四、电子考试

在大规模考试中,随着信息技术应用的深入,传统的考务管理通过计算机和网络实现,测试过程变成了电子测试,在此基础上,大规模考试诞生了一种崭新的考试形式----电子考试。

电子考试产生的条件

电子考试是完全意义上的电子信息考试,所采集和处理的信息都是电子信息,抛弃了传统考试中的纸质信息。电子考试完全以电子信息为基础,其产生取决于两方面的条件:一是电子考试的测试过程必须是真正意义上的电子测试,二是电子考试的实施必须通过功能完善的考务管理系统进行管理。

在当前社会的信息化水平下,并非所有的大规模考试都可以改造成为电子考试。目前制约电子考试诞生的主要因素是测试过程未能实现真正意义上的电子测试,由于电子测试依赖考生做答方式的改变,依赖整个社会的信息化水平,这个过程可能要持续较长的时间。

与纸笔考试相比,电子考试的考务管理系统发生了较大变化。在研制纸笔考试的考务管理系统时,依据的是纸笔测试的特点,开发的是与纸笔测试相适应的考务管理系统。由于纸笔考试的测试过程由于未能实现电子测试,纸笔考试的考务管理系统并不能直接用于电子考试,电子考试需要建立与电子测试相适应的考务管理系统。

在电子测试的基础上,开发出与电子测试相适应的功能完善的考务管理系统,才能产生真正意义上的电子考试。

电子考试的特点

与纸笔考试相比,电子考试具有如下特点。

第一,可以立即报告分数,考生可以马上了解测试结果。

第二,改善了考场环境,考生更喜欢由小数量计算机组成的考场,而不是大群体集合的考场。

第三,开放的考试时间,考生可以根据自己的情况选择考试时间,并可以在短时间内多次参加考试。而传统的考试,在考生错过某一次考试之后,往往要等上一年,才能参加下一次考试。

第四,提高了考试安全,不再丢失试卷和答题纸,通过照相,得到考生照片,能有效地防止考生替考。

《中国考试》2005年第1期(上),第27-31页