自考试星推出AI判分以来,我们已经为众多招聘考试、证书考试提供了判分服务并获得了客户伙伴的认可。这次我们以其中6场考试为例,我们与客户伙伴同时进行了AI判分和人工判分并做了复盘比对,题型涉及材料作文题、实用文写作题、论述题三种。(文中部分信息已做脱敏处理)
实用文写作题
实用文写作是事业编招考中会考到的题型,答题有基本的格式和要求。本题要求考生根据材料拟一份公告,分值25分。
我们将判分规则设定为格式正确、内容准确、层次清晰、方案完整、表达得体、创新性6个维度来综合衡量被试者的公文写作能力,用AI判分模型给出更加全面和客观的分数。
从AI评分和人工判分的结果来看,AI判分成绩围绕着人工判分成绩上下波动,成绩本身具有相似形态,人工评分的成绩更集中在中高分段,AI评分更符合正态分布。
我们使用Pearson相关性分析方法,对AI判分和人工判分的相关性进行比对,结果显示I判分和人工判分结果有较强的正相关关系,也就是说AI判分在实用文写作类的考试判分中有着较强的相关性,AI判分在公文写作这类主观题中有着高度信任的可用心。
↓↓ AI判分与人工判分分数分布对比图
论述题
论述题是一种常见的主观题形式,题干本身会提供若干材料,要求考试者根据题目要求和自己的理解,清晰而全面的阐述自己的观点,这类题目重点考察考试者对问题的理解深度、逻辑思维、文字表达等综合能力。在人工判分模式下,即使有相对统一的判分要求,也比较容易受到判分老师主观因素的影响。
使用AI判分时,我们将原始的判分规则进行了结构优化,把观点鲜明、立意明确、条理清晰、表达流畅等评分维度融合,划分为6个分数等级,并详细给出每个分数等级评分标准,将评分标准结构化,更精细化地进行智能评分。
↓↓ 多级结构化AI判分规则示例
在这次的判分项目中,我们对200份试卷进行了人工+AI双判的模式,并对最终成绩进行比对分析,AI判分的离散程度更高,在一定分数段更符合正态分布。
材料写作题
材料写作题一般给出一两篇材料,考生结合实际书写规定字数的议论文。这类考题,考验考生的审题、立论、写作、思维连贯等综合能力。同样采用多级分数区间法来制定AI判分规则:从文章主旨、文章结构、语言表达、字数四个维度来综合判分。
从最后1033份试卷的人工判分和AI判分的效果对比来看,最高分、最低分、平均分,中位数、众数几个维度都非常接近。实测对比下来,AI判分在材料写作题判分上已经高度可用。
↓↓ AI判分与人工判分分数效果对比
考试星AI智能判分支持线下纸笔考试和线上电子试卷,如果您也有各类试卷批量智能化判分需求,欢迎咨询我们或免费注册体验(注册可免费领判分次数)。
以上内容未解决您的问题?
立即咨询
领取方案