新东方网>郑州新东方学校>托福学习>正文

解密托福写作评分神器——E-rater

2019-12-11 17:56

来源:郑州新东方留学考试

作者:

学霸养成工具箱
家庭教育 小学辅导 中考干货
高考干货 艺考专区 考研备考
雅思考试 托福考试 线上免费课

新东方老师好

  托福TPO是每一名托福考生再熟悉不过的备考资料了,如果你做过官方TPO,或者是新东方TPO (tpo.xdf.cn),你可能会好奇:

  每次模考完后,写作部分的分数是如何评判出来的?

  今天就给大家介绍托福官方写作评分“神器”——E-rater。

01 E-rater是做什么的?

  当考生完成托福考试后,作文部分(包括综合写作和独立写作)的分数将由接受过ETS培训的老师和E-rater共同批改。

郑州托福培训

  截图来源:https://www.ets.org/toefl/ibt/scores/

   在批改过程中,机器和人工独立评分,互相不知道彼此的分数,人和机器的评分范围都是0-5分,最终系统会对这两个分数进行加权平均。

  值得一提的是,为了保证分数的公平有效,人工给分和机器给分的误差不得超过1分(如人工给出3分,机器给出4分为正常;人工给出2分,机器给出4分则为异常分数);若两者分数误差超过1分,将由ETS的专业阅卷者进行再次评分。

02 E-rater是如何做到准确阅卷的?

  E-rater通过计算机数据功能对于考生写作文本的相关信息进行一定的标签匹配,结合ETS的过往的写作数据库来审核考生的写作质量。它利用的是计算机语言学中的自然语言处理(Natural Language Process,简称NLP)方法。

  其中E-rater最擅长捕捉的是考生的语言使用,E-rater系统将考生考场作文的语言与数据库中不同分数段的文章的语言进行比对,判断考生的写作语言质量;

  同时,E-rater还可以通过检测逻辑连接词的使用来大致判断考生文章的逻辑衔接情况,通过匹配主题关键词来检测考试的文章发展是否出现跑题。

  简单来说,像手机软件“唱吧”一样,E-rater就是把考生的作文与数据库里的文章进行比对,从而给出系统判断的分数。

03 E-rater能够关注到考生写作的哪些方面?

  许多人认为E-rater只能检查语法错误,这样想可就错了。

  作为ETS开发的几大数据引擎之一,E-rater可以依据托福写作评分标准,审核考生作文的五个方面:

  Organization & Development(文章组织和发展)

  Grammar(语法)

  Usage(用词)

  Mechanics(格式)

  Style(语言风格)

  下图便是E-rater的母引擎Criterion呈现的分析界面:

  郑州托福培训

  在上图中,我们可以看到系统将考生的文章进行了不同色块的标注,每个色块代表着文章的不同成分。

  开头段的黄色表示background information,红色表示thesis statement;

  中间段蓝色表示topic sentence,绿色表示supporting information;

  结尾段橙色表示conclusion

04 E-rater是如何按照托福写作要求进行评分呢?

  我们知道,托福独立写作从三个维度去考量考生的作文:Development(内容发展)、Organization(结构组织)和Language Use(语言使用)。

  E-rater既然读不懂我们的文章内容,那它是如何做到精准判分的呢?

  Development这个维度要求考生在文章发展中做到内容充实,而E-rater并不能读懂考生的文章内容表达,因此它采取的方式是评估考生文章的The Length of Discourse Element(话语元素长度)。简单来说,话语元素长度从两个方面进行评估:

  平均句长(也就是说,如果全文的句子写的都很短,则证明考生的思想内容很简单,没有能够有效表述清楚自己的论述。托福官方建议一篇托福写作的平均句长应该在15-20词左右);

  正文段句子数量(也就是说在中间发展段中,如果句子数量过少,证明考生没有话说,因此也就无法有效展开自己的观点);

  我们可以这样理解:

  两个人文字聊天过程中,如果彼此有话说,那么双方发出去的句子一定不会很短,内容也不会很少;

  如果彼此发出去的文章都是“嗯”、“哈哈”、“哦”、“呵呵”之类的,那么就基本上进入了尬聊的阶段。

  当然,E-rater也会检测与话题相关的语言内容来确保考生是否出现跑题的现象,因此,紧扣主题,不断出现与主题相关的词汇和表达对于托福独立写作非常重要。

  Organization这个维度要求考生合理组织段落,并且注意文章内容的逻辑衔接。读不懂考生的E-rater很是聪明地从这两个角度去评估:

  The Number of Discourse Elements(话语元素数量,也就是合理分段。E-rater会检测考生是否在文章中呈现了Thesis Statement、Main Ideas、Supporting Ideas、Conclusion等。一般来说,建议考生的文章为4-5个自然段)

  The Use of transitions(逻辑连接词的使用。机器通过检测考生句子之间的逻辑连接词去判断文章的逻辑是否存在以及是否合理)

  郑州托福培训

  Language Use这个维度是E-rater最擅长的,因为它可以通过对考生的语言表达进行数据分析,并匹配以往数据库里的语言数据,从而对考生的文章语言质量进行审核。

  在语言层面,E-rater会:

  从Grammar角度去审核考生文章中的Fragments(句子碎片)、主谓一致(Subject-verb agreement)等内;

  郑州托福培训

  从Usage角度去审核考生文章中的Missing or Extra Article(冠词错误)、Preposition Error(介词错误)、Wrong Part of Speech(词性错误)等;

  郑州托福培训

  从Mechanics角度去审核考生文章中的Spelling(单词拼写)、Missing Comma(逗号缺失)等;

  郑州托福培训

  从Style角度去审核考生文章中的Repetition of Words(词汇重复)、Short Sentences(过多短句使用)、Passive Voice(过多被动语态使用等)

  郑州托福培训

  如果大家想要进一步去了解Language Use的细节,建议大家去阅读《托福官方指南(第5版)》第669页到731页的第10章Writer’s Handbook for English Language Learners的具体内容。

  其实,E-rater功能再怎么强大,它也是以人工阅卷模型来进行设计的,这就是为什么人机阅卷能够达到高度一致性。只要同学们满足了人工阅卷的要求,E-rater同样也会给出一个高分。

该文由新东方留学考试统筹,由合肥学校李盛老师供稿

郑州托福培训

  郑州托福培训

了解课程、预约活动或者有任何问题可以点击下方图片咨询新东方老师哦

点击咨询新东方老师

郑州新东方免费体验课

学霸养成工具箱
家庭教育 小学辅导 中考干货
高考干货 艺考专区 考研备考
雅思考试 托福考试 线上免费课

焦点推荐

版权及免责声明

凡本网注明"稿件来源:新东方"的所有文字、图片和音视频稿件,版权均属新东方教育科技集团(含本网和新东方网) 所有,任何媒体、网站或个人未经本网协议授权不得转载、链接、转贴或以其他任何方式复制、发表。已经本网协议授权的媒体、网站,在下载使用时必须注明"稿件来源:新东方",违者本网将依法追究法律责任。

本网未注明"稿件来源:新东方"的文/图等稿件均为转载稿,本网转载仅基于传递更多信息之目的,并不意味着赞同转载稿的观点或证实其内容的真实性。如其他媒体、网站或个人从本网下载使用,必须保留本网注明的"稿件来源",并自负版权等法律责任。如擅自篡改为"稿件来源:新东方",本网将依法追究法律责任。

如本网转载稿涉及版权等问题,请作者见稿后在两周内速来电与新东方网联系,电话:0371-60277776。

  • 郑州新东方英语培训
  • 郑州新东方雅思培训
免费体验课