经济合作与发展组织（Organisation for Economic Co-operation and Development，简称为OECD）官方网站于2023年1月25日发布了《过程数据在大规模教育评估中的应用》（The uses of process data in large-scale educational assessments）报告，该报告旨在阐述过程数据①在大规模教育评估中的应用及其风险
数字化转型对当前大规模教育评估产生了深远的影响，尤其改善了评估数据的收集与使用方式。在传统纸笔评估模式中，基本无法观察到学生进行测试的思维过程和行为等数据，而数字评估模式可捕捉并分析学生测试过程中的日志数据，深入探究学生在测试项目中的表现。过程数据来源包括在线行为、手势和面部表情、言语互动、眼球运动和生理反应等。为捕捉这些过程数据，当前研究者通常选择采用出声思维报告（Think-aloud protocols）②、眼动追踪（Eye tracking）、评估后测问卷（Post-assessment questionnaires）和视频分析（Video studies）等方法。
过程数据在整个过程周期中都可被广泛应用，从而改善评估设计、测试质量。
第一、评估设计。过程数据已成为评估设计迭代过程中的重要组成部分，诸如眼动追踪、出声思维报告、以及用户体验的研究数据都被用来测试评估的有效性，并对评估设计进行迭代。
第二、现场测试。在国际大规模评估中，不同应试者群体会对测试内容产生不同的理解方式，导致结果出现偏差。通过评估后测问卷、人种学观察等方式收集过程数据，帮助分析不同群体的应试者理解测试内容，为评估管理和设计提供辅助信息，以减少偏差。
第三、质量保证。在大规模评估过程中，会出现数据伪造等异常情况，这些异常情况会对评估结果的有效性产生负面影响，而过程数据可以帮助识别此类异常情况，例如响应时间的日志数据有助于甄别重复的响应模式，从而发现数据伪造的可能性。
第四、参与和表现。过程数据为解释学生参与度和评估表现提供了有力支持，其主要应用分为以下两类：一是在传统的评估领域，诸如数学、语言和科学领域，使用过程数据来补充、加强对学生表现的分析；二是在创新领域，诸如创造力和问题解决领域，过程数据是评估学生表现的主要信息来源。
第五、测试验证。过程数据可以帮助分析学生表现产生差异的原因，有助于解释测试成绩，是测试验证重要的证据来源。
过程数据的使用需要进行合理验证，以确保其有效性、可靠性和公平性。在大规模评估中，对过程数据的合理验证需要考虑以下四个方面：第一、偏向性。单一的数据收集方法会对结果的有效性产生威胁，因此进行适当的三角测量③对验证过程数据的有效性具有重要价值，例如采用眼动追踪、出声思维报告和视频研究三种方法来收集过程数据。在过程数据的信息源中，日志数据的有效性相对较低，具有偏向性。该方法只能捕捉到学生与键盘和鼠标进行互动的日志事件，无法收集学生屏幕外的行为数据，如使用纸和笔等。第二、理论架构。大多数情况下，理论架构会对过程数据的解读产生影响，有助于解释诸多潜在现象，如人格、认知、动机等潜在属性。因此理论架构的选择以及其与过程数据之间的关联需要充分理由与验证。第三、多样性，公平和包容。不同应试者群体的多样性可能会导致过程数据出现预期外的变化，例如与正常学生相比，有自闭症等疾病的学生的反应时间与击键方式都有所不同。这表明过程数据有助于多样性、公平和包容相关议题的研究。第四、伦理和后果。相比传统的评估方式，过程数据涉及大量学生隐私，对数据伦理提出了巨大挑战，易引起教师与学生的担忧，可能会对评估结果产生反作用。因此在大规模教育评估中，需尽快建立适当的伦理框架来指导过程数据的使用。
在大规模评估中，过程数据的价值已受到重视，众多研究者已有目的地收集并使用过程数据，这大大改善了评估的质量与可靠性，有助于深入探究学生的表现与参与度，但其应用也会带来挑战与风险，需要考虑潜在的负面影响。
注释：
① 基于计算机的评估模式实现了被试与测验任务的动态交互, 并且能够实时记录被试在模拟情景中的反应过程, 将其存储为过程数据。通过记录被试的反应结果与解答步骤，相比于传统的结果数据，过程数据可以更多地揭示被试的思维过程，是被试潜在心理活动过程的外在表现，进而推断其表现特征。
② 出声思维报告是心理学中研究个体思维活动的一种方法。在心理学研究中，研究者要求受试在进行问题解决或推理实验任务时，尽可能地说出大脑的思考内容逻辑，研究者则用录像机或录音机对这一过程予以记录，然后把受试说出的话转为书面文本，用于进一步分析。
③ 三角测量是指使用多种来源的数据进行研究，或使用多种方法分析数据，以提升调查研究的可信度。
转载自：
