星案例 | 三类主观题型AI判分效果
作者:小星
时间:2024-11-01
阅读量:48059

体验智能防作弊考试


自考试星推出AI判分以来,我们已经为众多招聘考试、证书考试提供了判分服务并获得了客户伙伴的认可。这次我们以其中6场考试为例,我们与客户伙伴同时进行了AI判分和人工判分并做了复盘比对,题型涉及材料作文题、实用文写作题、论述题三种。文中部分信息已做脱敏处理


实用文写作题


实用文写作是事业编招考中会考到的题型,答题有基本的格式和要求。本题要求考生根据材料拟一份公告,分值25分。


我们将判分规则设定为格式正确内容准确层次清晰方案完整表达得体创新性6个维度来综合衡量被试者的公文写作能力,用AI判分模型给出更加全面和客观的分数。


从AI评分和人工判分的结果来看,AI判分成绩围绕着人工判分成绩上下波动,成绩本身具有相似形态,人工评分的成绩更集中在中高分段,AI评分更符合正态分布。


我们使用Pearson相关性分析方法,对AI判分和人工判分的相关性进行比对,结果显示I判分和人工判分结果有较强的正相关关系,也就是说AI判分在实用文写作类的考试判分中有着较强的相关性,AI判分在公文写作这类主观题中有着高度信任的可用心。


↓↓ AI判分与人工判分分数分布对比图

AI判分与人工判分分数分布对比图


论述题


论述题是一种常见的主观题形式,题干本身会提供若干材料,要求考试者根据题目要求和自己的理解,清晰而全面的阐述自己的观点,这类题目重点考察考试者对问题的理解深度、逻辑思维、文字表达等综合能力。在人工判分模式下,即使有相对统一的判分要求,也比较容易受到判分老师主观因素的影响。


使用AI判分时,我们将原始的判分规则进行了结构优化,把观点鲜明立意明确条理清晰表达流畅等评分维度融合,划分为6个分数等级,并详细给出每个分数等级评分标准,将评分标准结构化,更精细化地进行智能评分。


↓↓ 多级结构化AI判分规则示例

多级结构化AI判分规则示例


在这次的判分项目中,我们对200份试卷进行了人工+AI双判的模式,并对最终成绩进行比对分析,AI判分的离散程度更高,在一定分数段更符合正态分布。


材料写作题


材料写作题一般给出一两篇材料,考生结合实际书写规定字数的议论文。这类考题,考验考生的审题、立论、写作、思维连贯等综合能力。同样采用多级分数区间法来制定AI判分规则:从文章主旨文章结构语言表达字数四个维度来综合判分。


从最后1033份试卷的人工判分和AI判分的效果对比来看,最高分、最低分、平均分,中位数、众数几个维度都非常接近。实测对比下来,AI判分在材料写作题判分上已经高度可用


↓↓ AI判分与人工判分分数效果对比

AI判分与人工判分分数效果对比


考试星AI智能判分支持线下纸笔考试线上电子试卷,如果您也有各类试卷批量智能化判分需求,欢迎咨询我们或免费注册体验(注册可免费领判分次数)

以上内容未解决您的问题?

联系在线客服
热门标签
考试星 在线考试系统 考试云平台 飞书版在线培训考试 线上考试平台 AI智能录题功能 考试平台 网络考试平台 企业微信在线答题系统 线上考试摄像头问题 在线培训学习系统 监考系统 在线问卷系统 学员线上考试 考试监考系统 答题考试平台 在线模拟考试系统 在线考试答题系统 竞赛考试答题系统 线上学习系统 人脸识别考试系统 认证考试平台 考试客户端 摄像头监考系统 微信考试答题小程序 问卷系统 企业在线培训考试系统 招生考试 在线考试云平台 考试服务云平台 随机抽题软件 线上考试 考试阅卷系统 在线模拟考试平台 考试评分系统 免费在线考试系统 在线学习培训系统 线上竞赛答题平台 积分系统搭建 刷题平台 学生在线考试平台 在线学习考试系统 在线考试平台 阅卷系统 防切屏设置 智能化考试平台 企业考试系统 安全生产考试平台 线上培考平台 在线试卷平台 企业培训考试系统 在线刷题系统 微信考试系统 在线考试 线上知识竞赛系统 知识竞赛系统 线上招聘考试平台 在线答题软件 企业微信在线培训系统 在线学习考试平台 证书考试平台 智慧考试系统 云监考 问卷答题系统 在线阅卷系统 智能化考试服务平台 考试星微信小程序 智能监考系统 数学考试系统 线上培训平台 企业线上培训 免费在线考试平台 钉钉版在线培训系统 高校期末在线考试 职业资格认证考试平台 企业培训平台 在线考试题库系统 线上知识竞赛平台 微信在线答题系统 考试星考试流程更新 答题阅卷系统 企业在线考试系统 智能题库系统 在线考试功能 在线答题竞赛系统 线上答题平台 线上考试系统 线上考试监考软件 在线培训系统 知识竞赛平台 招聘笔试 智能考试系统 考试在线系统 线上答题考试平台 在线招聘考试平台 好用的线上考试平台 党建平台 竞赛平台 在线考试答题平台 安全知识竞赛平台