今天与大家分享美国宾夕法尼亚大学教育学院学习分析中心主任Ryan Baker教授主旨报告内容(文中仅为作者个人学术观点),欢迎阅读!
Ryan Baker
美国宾夕法尼亚大学教育学院学习分析中心主任
大家好。我是瑞安·贝克。今天我分享的是“检测和回应学生自我调节学习的差异”。这是我与许多同僚在宾夕法尼亚大学以及其他地方合作完成的。让我们先从自我调节学习,及如何测量它开始讨论。自我调节是学习的重要组成部分,与学习结果呈正相关。尤其在解决数学问题上,熟练掌握自主学习的学生能够有效地设定目标、搜索信息,并引导他们的注意力和认知资源,从而使他们朝着目标努力。自我调节学习能够促进学生成功解决问题,让他们对自己所需的知识、概念有深刻的理解。
在过去的几十年里,已经有许多研究关注如何测量自我调节的学习(SRL)。在我们的工作中,我们想要做的是尝试采用基于优势视角的方法来衡量SRL,我稍后会谈谈什么是基于优势视角的方法,以及它们与基于短板视角的方法有何不同。但我们的目标是建立以自我调节学习相关的学习理论、把测量和干预联系起来,并避免基于短板视角的干预,我稍后会再次细谈这些内容,这些都是非常常见的学习分析方法。
在我们当前的研究中,我想讨论的是,我们基于理论驱动构建了SRL的自动探测器。具体来说,我们采用了CUE Think平台,该平台的设计方式与和的SMART模型非常兼容,后者是一个模型,一个广泛使用的自我调节学习模型。我们把它们结合在一起,从CUE Think平台获取数据,然后贴上标签。一开始我们是人工贴标签,虽然我们不会在后续的研究中继续使用这种方式,但是这些人工贴的标签首先标记出了与软件有关的学习指标,然后,我们将交互数据和这些人工标签结合起来,建立自动检测器,以完全自动化的方式检测自律学习结构,无需人工参与。接着我们将检查算法是否存在偏差,以确保它们对所有学习者都是公平的,并为检测器开发基于优势视角的用途。
在CUE Think中,学生们将经历四个阶段的问题解决方法,这和波利尼西亚、温妮和哈德温的研究相符合。在第一个阶段,理解阶段。学生试着理解问题在问什么。然后他们可以进行计划,选择自己的策略,包括发明新的策略,并制定计划。接着他们开始尝试解决这个问题,并使用视频制作工具制作视频,供同学和老师们观看和评论。
然后,在回顾阶段,他们检查他们的数学答案、回顾视频,由此回顾最初的判断,再给出最终答案。下一个环节是学生们互相观看彼此的视频,并进行点评。在这种情况下,我们构建探测器的过程如下:首先,我们将结构成分操作化。找出我们真正想要测量的东西,然后对数据进行定性编码,以此获得可以用来构建探测器的事实。接着我们将从数据中提炼出可能能够预测这些结构的数据特征。然后使用机器学习来训练模型并验证它们。由此可见,我们从和的SMART框架开始把“操作化”概念化。SMART包括搜索、监控、组合、排练和翻译。根据这个框架,这些是在解决问题过程中会发生的认知操作。
在组合阶段,我们着眼于自我调节学习的四个指标。数字表征,也就是学生如何用数字表示数学问题,以及展示其对数值变量使用方式的理解。情境表征,即表征问题,包括情境细节,这与学生在情境中实际参与数学表征的背景特征的情况有关。
第三,策略导向,也就是学生说明他们如何计划找到答案。第四,结果导向,他们只提供最终的数字答案。他们直接去寻找结果。在认知操作翻译中,它包括数据转换,即学习者操纵信息在问题中表达的方式。在这种方法中。顺便说一下,还有另一个结构成分。我们会讨论到它,但我们会以不同的方式检测它。所以我现在就不讲了。但在这套方法中,我们通过对数据进行定性编码来构建检测器。人们一起进行初步编码,以获得他们认为的代码可能是什么。然后他们分别进行编码,我们再检查评分员间可信度,确保我们的人工编码是可靠的。这样,我们就能知道这些结构本身是否有效。
在这完成之后,人们对更多数据单独编码,这样我们就可以得到一个足够大的数据集,并围绕这些数据建立探测器。我们发现Kappa,就是评分员间可信度,其数据表明在完全出于偶然性和保底概率的情况下,模型比预期的更好。我们发现,Kappa高于通常认为的所有这些构造的0.63基线阈值。在所有这些构造中,Kappa都高于0.6,最低的是0.63。然后我们建造探测器。这是Zhang等人在《 Data 》杂志上发表的论文。在本案例中,我们使用了来自182个的示例数据。这基本上是学生们解决了一个问题,但以为是已有数据存在的CUE Think条例。我们使用编码的示例来训练机器学习模型,在我们的尝试中,我们发现在推断是否存在自我调节学习行为方面效果最好。
然后,我们通过对未见过面的学生进行测试来评估模型的性能。我们在未见过的数据上评估计算模型是否表现良好。这是使用了AUC ROC度量标准,AUC ROC有几种解释。但相对来说,在这种情况下,如果你把所有表现出某种构造的学生和没有表现出某种构造的学生各抽取一个,那么AUC ROC就是能分辨出区别的模型。
最后,我们检查我们的算法偏差,以查看对于我们的数据集中的代表性组集合,该算法对于它们中的任何一个都表现得足够好。因此,我们发现,我们无法成功地建立一个策略导向的模型。我们只是没有得到足够好的东西。我们得到的结果比通常情况稍微好一点,但还不够好。但我们对所有其他模型进行了交叉验证。我们在其他的一些子集上建立了模型,并测试了别的数据。当我们对这些数据子集进行平均时,所有其他模型的平均 AUC ROC都达到了0.75以上。这差不多是符合用于临床医学诊断要求的模型水平。这是一个适用于现实世界的水平。这些模型的AUC ROC从0.76到0.89不等,数值表示的AUC ROC只比0.76稍好一些,已经相当不错了。虽然没有达到你现在可以得到的COVID快速测试的水平,但比现实中很多用来做决策的东西要好。
我们还注意到,当我们检查算法偏差时,需要注意的是,有很多方法可以定义算法偏差,而不仅仅是差异性能。但这是我们在这里使用的,因为这是我们想要评估探测器的原因,因为我们想看看探测器是否可以有效地使用。我们发现,在不同性别和种族群体中,AUC ROC实际上存在非常小的差异。这些群体相对能代表美国境内那些我们希望能纳入监测范围的少数群体。尽管我们没有足够的美国土著/美国印第安学生来对此进行评估。但两组之间的差异很小,可能只是偶然发现一次。这在结构上也是如此。这对每一个单独的结构都是适行的。
因此,不仅在差异相对较小的地方,而且在被检测的结构中,没有一个学生群体,无论是性别还是种族,没有一个学生群体的检测器表现始终是最好或最差的。即使任何一个探测器的差异都很小,你可能会说,我们担心的方向总是相同的,但没有一致的、最好的群体。因此,我们有相对充分的证据相信,各组之间的检测器在预测准确性方面并无差异,这表明我们至少没有这种类型的算法偏差。
我们还开发了一种既能监控又能转换认知操作的模型。而它是我们以不同的方式建立的,这也是为什么我之前没有谈到它的原因,它是策略发明,即学习者发明了一种新的解决问题的策略。在这种情况下,我们没有给数据贴标签,也没有使用机器学习,而是使用知识工程开发了检测器,我们仔细思考了我们想要捕捉的构造的含义,开发了一个定义美国宾夕法尼亚大学研究生,ICI国际会议║美国宾夕法尼亚大学Ryan Baker教授主旨报告,并在数据上进行了测试。我们重复完善定义并用它测试数据,直到对定义满意为止。在这种情况下,我们能够证明跨类使用的策略可以用于此目的。因此,我们要做的是,如果系统中没有学生发明的策略,也没有老师建议的策略,我们就说是学生发明的策略。我们发现其作为一个操作性定义,观察是否四个以上的学生使用相同的策略是合理的,因为学生总是以小组模式工作。
他们会谈论自己发明的新策略。所以如果你有三个人,他们都使用相同的新策略,那很可能是其中一个人发明的。而如果一个班有25人,其中23人都用了同样的新策略,那就很可能是老师让他们这么做的。这一见解也是来自现有的课堂观察,领导这次探测器开发工作的纳希拉就曾做过这样的观察。在策略发明方面,我们发现,只有不到一半的学生在使用平台的某一时刻发明了新策略,当学生说出他们在讨论策略的时候做了什么,发明策略的学生中有98%都使用了这些策略。
这实际上比那些使用了他们认为会使用的策略美国宾夕法尼亚大学研究生,但没有发明策略的学生比例要高得多。我们还发现,发明策略的学生更倾向于使用情境表示法和数据转换法,这表明在使用更复杂的自我调节学习策略时两者之间存在一定的重叠。因此我们建造了这些探测器。
现在,我们该如何使用它们?我们要用它们来实际干预,让学生受益。我们在这方面的目标是,我再次谈到优势视角。让我就此说几句话。基于优势的方法是一种我们试图确定学生知道什么,并试图建立、帮助他们建立他们所知道的东西的方法。这与基于短板的方法形成鲜明对比,后者是指当我们试图确定他们不知道什么,并试图帮助他们发展它。这两者都有其用武之地。但学习分析、人工智能、教育和相关文献都非常关注短板,它们令人难以置信地专注于发现错误并修复它。在这里,我们要试着发现一些正确的东西,并在此基础上加以改进。
所以首先,我们告诉老师,当学生展示出一个好的策略时,他们应该鼓励学生在未来使用这种策略。同时,我们也会向学生提供一些方法,帮助他们建立解决问题的策略库。特别是,当学生做了一次之后,我们会建议他们再做一次,我们会记得一个学生在这里展示过这个策略,并鼓励他们再次使用。这样,他们就可以建立自己的策略库。
同样,这是基于优势而不是基于短板的。我们不是说你永远不做X,要做X,我们是说你这次做了X,那就再做一次。让我们把它变成你经常使用的东西。我们在这些方面的干预措施是与教师和学生共同设计的。我们采用了奥克波等人推荐的基于优势的方法,奥克波是我的一位亲密同事。我是这篇论文的合著者。这种方法包括对学习者优势进行广泛的概念化和定义,试着思考学生可能做的一切事情美国top30名校留学,如果我们帮助他们在此基础上发展,就能使他们受益,检测学生拥有的优势,利用系统特性和功能来激发他们的优势,比如鼓励他们去做,并在界面上建议他们可以在哪里做,提供机会利用系统特性和功能来发展新的优势。在这种情况下,告诉教师学生的使用情况,并建议学生使用他们以前使用过的策略。
在与教师沟通时,让学习者、教育者和其他利益相关者看到这些优势。具体来说,我们使用SRL检测器来识别学生的积极或有效策略。举例来说,”干得好,你在计划中使用了已经找到的信息”,以此强化这种好方法。然后当学生再次需要时,我们会提醒他们使用该策略。“记住,上次你创造了一种新方法,在这里再试一次。”“除了列出的方法,还有什么可以解决这个问题吗?”我们正在对此进行研究。我们将在今年10月到12月之间进行这项研究。所以你看到的就是我们正在做的。希望我们能取得好结果。如果没有,我们会继续努力。我们会努力做得更好。我们会找出我们做错了什么,并以学习为导向,我们将尝试使用学习工程来使它变得更好。我们会看看效果如何。万事开头难。
无论如何,总的来说。我们在这里试图做的,是识别对学习很重要的自我调节学习行为,实时检测它们,验证我们的模型有没有算法偏差,而且是否对学生有效。我们将利用它们,围绕我们的模型设计干预措施,然后对干预措施进行测试,这就是我们现在的工作。然后反复设计,再次测试。在自动检测方面,我想简单提一下 PCLA 正在进行的其他工作。我们一直在研究如何根据数据解读技能、深度学习转换、知识、追踪估算,对大学生物学课中学生的开放式回答进行分类,这是最近在模拟学生实际使用深度学习算法方面取得的进展。但很多类似研究都没有与教师可以使用的东西联系起来。
我们一直致力于将深度学习中的知识追踪估算转换为教师可解释的技能和能力。我们最近在做的工作是在几何游戏中自动检测空间推理能力,在数学学习过程中检测认知偏差,以及在开放式回答中自动检测学生在未学习材料的情况下试图过关的游戏系统。我们也一直在研究,我们已经开发了一个基于大型语言模型的教学助理,它能在课程讨论论坛中做出回应,并帮助讲师和助教。我们一直在研究定性编码的人机混合合作伙伴关系。在这个项目中,我们实际上正在尝试利用人类和大型语言模型的长处,以便能够更好地进行定性编码,不仅速度更快,甚至还能产生更好的结构、更好的定义和更好的编码,这也是真正弄清LLM擅长什么。我们还一直在研究基于大语言模型的编程入门自动反馈。我们已经证明,这项工作不仅能立即提高学生的学习成绩,甚至在你关闭大语言模型基本提示后,学生的成绩仍然会更好。因此,这确实表明学生正在不断学习。我们一直在研究数据驱动的课堂访谈,在课堂访谈中使用检测器,比如我今天谈到的那种,来告诉课堂研究人员,有一些事情正在发生,他们可能想和学生谈谈。
最后,我们一直在研究美国和中国在使用数字化学习平台进行研究方面的差异。两个国家在研究中都大量采用了数字学习平台,但采用的方式却大相径庭。如果你看了那篇论文,就会发现更多的信息。总之,如果你有兴趣进一步讨论其中的任何一个方向,包括我今天主要谈到的内容,以及提到的其他项目,我都非常有兴趣与你讨论,请给我发邮件。我很乐意和你谈谈。感谢您的关注。最后打个广告,如果你对我谈到的工作感兴趣,我们所有的出版物都可以在网上找到,谷歌“瑞安·贝克”。此外,我有一个流量不高的页面,我会在那里分享我们所有的最新结果。我们还有一个免费的大型在线开放课程“Big Data and ”,所有视频都可单独观看,宾夕法尼亚大学还有一个在线学习分析硕士课程。非常感谢您的关注。我希望你喜欢这次演讲,期待今后的交流。祝大家会议愉快。
END
往期回顾
为课程·为学生·为未来
华东师大课程与教学研究所
美国宾夕法尼亚大学研究生,项目推荐|宾夕法尼亚大学-东亚文化人文硕士
宾夕法尼亚大学
东亚文化人文硕士
宾夕法尼亚大学( of ),简称宾大(UPenn),位于宾夕法尼亚州最大城市费城,是一所全球顶尖的私立研究型大学,著名的八所常春藤盟校之一,北美顶尖大学学术联盟美国大学协会14所创始成员之一。
宾大由本杰明·富兰克林创建于1740年,是美国第四古老的高等教育机构,也是美国第一所从事科学技术和人文教育的现代高等学校。 1765年成立全美第一所医学院、1881年成立全美第一所商学院、1896成立全美第一个学生会组织,在至今数百年的学校历史中,宾大一次又一次在教育以及科学技术上推动了人类文明的发展,诞生了人类历史上第一台通用电子计算机ENIAC,被誉为现代计算机科学文明的发源地,以及风疹疫苗、乙肝疫苗、认知心理疗法等的发明挽救了无数生命。
宾大拥有全世界最强大的校友网络之一,包括数十位在各自领域的最高奖项获得者(如诺贝尔奖、图灵奖等)以及许多美国国家院士。
项目简介
EALC 的研究生组管理东亚人文学科的文学硕士学位。该学位既是进入更高层次研究生学习的门户英国G5院校留学,也是为公共和私营部门的教学、管理和专业职业做准备的途径。
项目分支:无
项目特色
课程设置
宾夕法尼亚大学八 (8) 立方米的东亚主题 5000 级或以上课程,包括至少两个研讨会。必须通过完成的课程或考试来证明对前现代东亚文化的熟悉。
除了上述八 (8) 门基础课程外美国宾夕法尼亚大学研究生,项目推荐|宾夕法尼亚大学-东亚文化人文硕士,还需要掌握相当于宾夕法尼亚大学三年级教学水平的现代汉语、日语、韩语或蒙古语的听说读写能力。熟练程度可以通过课程作业或考试来证明美国宾夕法尼亚大学研究生,这些课程作业或考试可以在进入课程时或在课程期间的任何时间进行。需要初级或中级语言学习的学生可以将其作为硕士课程的一部分,但第一年或第二年的现代东亚语言课程不得计入硕士学位。需要这些课程的学生应该期望在夏季参加这些课程,或者比语言技能水平更高的学生参加该课程的时间更长。
一篇可接受的硕士论文,其中学生展示了进行研究生水平研究的能力,或者两篇研究论文,可以是独立的工作,也可以是为所修课程编写的论文,并得到教师的批准。论文必须反映出对学术格式(参考文献和参考书目)的熟悉程度以及对中文、日文、韩文或蒙古文研究工具的使用。论文必须是关于在学生计划毕业的学期之前的学期早期由指导老师批准的主题。硕士论文的标准长度超过五十 (50) 页(20,000-25,000 字)。在大多数情况下,这个长度对于充分解释或论证主题是必要的。在开始撰写硕士论文之前,学生花一个完整的学期进行研究也是标准做法。
就业信息
典型就业行业:
典型就业公司:
薪资水平:
录取要求
截止日期:11.15
先修课要求:so would have had a of six of their East Asian as well as some , , or .
【免费咨询】
福利放送:
如何申请美国北卡罗莱纳州立大学研究生,北卡罗来纳州立大学2025USNews美国排名
北卡罗来纳州立大学是一所位于美国北卡罗来纳州罗利市的公立研究型大学如何申请美国北卡罗莱纳州立大学研究生,北卡罗来纳州立大学2025USNews美国排名,成立于1887年。作为美国南方的一所顶尖大学如何申请美国北卡罗莱纳州立大学研究生,北卡州立大学以其在科学、工程、农业和商业等领域的学术研究和教育质量而闻名。下面老师给大家分享一下北卡罗来纳州立大学美国排名。
一、北卡罗来纳州立大学美国排名
美国排名第58位,与上届排名相比名次上升了2名。
北卡罗来纳州立大学拥有现代化的校园设施,包括图书馆、实验室和运动场地,为学生提供良好的学习和生活环境。学校的师资配置十分优越,拥有众多在各自领域内享有盛誉的教授和研究人员。
校园文化丰富多彩美国top30名校留学,学生生活活跃,拥有众多的社团和组织,涵盖学术、文化、体育等多个方面,促进了学生之间的交流与合作。
毕业生就业率较高,许多学生在毕业后能够顺利进入知名企业和机构,展现出北卡州立大学卓越的教育质量和培养能力。
二、北卡罗来纳州立大学工程专业美国排名
北卡罗来纳州立大学生物/农业工程美国排名:8
北卡罗来纳州立大学工业工程美国排名:13
北卡罗来纳州立大学化学工程美国排名:17
北卡罗来纳州立大学环境工程美国排名:19
北卡罗来纳州立大学电气工程美国排名:19
北卡罗来纳州立大学材料工程美国排名:21
北卡罗来纳州立大学计算机工程美国排名:26
北卡罗来纳州立大学土木工程美国排名:27
北卡罗来纳州立大学机械工程美国排名:29
北卡罗来纳州立大学生物医学工程美国排名:30
以上就是北卡罗来纳州立大学美国排名的相关内容。如果您对美国留学感兴趣,欢迎您在线咨询留学通老师()。留学通专注美国TOP30名校申请,采用5v1服务模式,21步精细服务流程,硬性四维标准+六维背景提升等留学服务体系,为学生申请美国名校提供保障。