冰果智能作文评阅系统与人工评分的相关分析

冰果智能作文评阅系统与人工评分的相关分析冰果英语智能作文评阅系统话题：冰果英语智能作文评阅系统英语作文英语语法知识智能要：冰果英语智能作文评阅系统是针对高等院校英语作文推出的机器自动评阅大批量学生作文的产品，旨在辅助人工评分，减轻教师负担，并且可以避免人工评分的主观性。本研究将冰果英语给出的智能评估与人工评估进行相关分析，旨在探讨冰果智能作文评阅系统与人工评估的吻合度，提出不能完全依靠智能评估来测试学生的真实语言能力。关键词：冰果智能作文评阅系统；人工评分；相关分析中图分类号：G202文献标识码：A文章编号：1002-7661（2012）11-0037-01通过作文可以检测应试者综合运用语言的能力。然而，由于疲劳因素、情感因素和不一致性，人工评阅作文具有很强的主观性。近几十年来，随着计算机硬件和软件性能快速提高，自然语言处理等技术获得了长足的发展，国内外一批作文自动评分系统相继问世，如冰果英语智能作文评阅系统，并被应用到英语写作测评中，给作文评阅带来了新希望。冰果英语智能作文评阅系统是针对高等院校英语作文推出的机器自动评阅大批量学生作文的产品，目前很多国内高校都在使用该系统。但是，冰果智能作文评阅系统与人工评分的结果是否一致？该系统是否能真正反映学生的真实语言能力？针对这两个问题，本文对西南大学植保学院中级班学生［.nEt］的一次英语作文进行了教学实证研究。

一、研究设计西南大学植保学院2011级英语中级56名非英语专业大学一年级本科生参与了本次研究。参与实验的学生经过中学和大学半学期的英语学习，掌握了基本的英语语法知识，但由于写作练习不多，写作能力不强。参与实验的老师具有一定的专业水平，能公正的对学生作文进行评估。本研究的工具之一是学生的作文样本。教师和冰果智能系统对这些作文分别进行评阅，分数等级是0-20分，评阅方式是整体评分。另一研究工具是学生近期的自主阅读考试成绩。教师首先布置主题为“”的作文，要求学生写出一下3点内容：1.?(?字数不少于350。两星期后，学生分别提交作文的纸质稿和电子稿。教师对学生作文从语言、内容、篇章结构三方面进行评分，并给出评语。然后将电子稿按要求整理到文件中，提交到冰果智能评阅系统的批量处理作文，并给系统设置好相应参数，经处理得到学生作文的分数和评语。利用SPSS软件分别对人工和冰果评出的分数，自主阅读考试成绩做两两的相关分析。二、数据收集与分析本研究收集了56份作文的人工评阅成绩与冰果智能评阅成绩，以及56名学生本学期的自主阅读考试成绩，运用SPSS数据统计软件分析相关系数，结果如自主阅读考试总成绩、人工评阅与智能评阅的相关性统计学指出，皮尔逊相关系数=0.01即为具有相关性，数字越大，相关性越强。

意义指数与相关性成反比，意义指数越高则相关性越低，完全正相关意义指数为0.001.相关系数是以往语言写作测试中较多采用的数据标准。指出相关系数0.8被普遍认定为写作测试中满意的标准。由表1可以看出：人工评阅分数与自主考试分数的皮尔逊相关系数为0.458，意义指数为0.002，相关程度高，意义明显；冰果智能评阅分数与自主考试分数的皮尔逊相关系数为0.212，意义指数为0.163，有一定的相关性，意义不明显。人工评阅分数与冰果智能评阅分数的皮尔逊相关系数为0.169，意义指数为0.269，有一定的相关性，意义不明显。由这两项分析可以得出：人工评阅分数与冰果智能英语作文评阅系统的分数相关性不高；人工评阅的分数比冰果智能英语作文评阅系统的分数更能反映学生的真实英语水平。参考文献：[1]利，陈潇潇.国外自动作文评分技术研究[J].外语电化教学，2007（117），25-28.[3]葛诗利.中国学习者自动作文评分探索[J].外语界，2007（5）.[4梁茂成.国外作文自动评分系统评述及启示[J].外语电化教学，2007（10).[5鲁艳辉等.智能写作评分系统在大学英语写作中的实证研究[J].现代教育技术，2010（6），56-58.