图对比学习
摘要
知识追踪(KT)的目标是根据学生对相关练习的历史学习来估计他们对一个概念的掌握程度。知识追踪的好处是可以更好地组织和调整学生的学习计划，并在必要时进行干预。随着深度学习的兴起，深度知识追踪(DKT)利用循环神经网络(RNNs)成功地完成了这一任务。其他的工作尝试引入图神经网络(GNNs)，并相应地重新定义任务，以实现显著的改进。然而，这些努力至少存在以下缺点之一:1)它们过于关注节点的细节，而忽略了高级语义信息;2)难以有效建立节点的空间关联和复杂结构;3)它们只是代表概念或练习，而没有整合它们。受自我监督学习最新进展的启发，我们提出了基于双图对比学习的知识追踪(Bi-CLKT)来解决这些限制。具体来说，我们设计了一个基于“练习到练习”(E2E)关系子图的两层比较学习方案。它包括子图的节点级对比学习以获得练习的判别表示，以及图级对比学习以获得概念的判别表示。此外，我们设计了一个联合对比损失，以获得更好的表示，从而获得更好的预测性能。此外，我们还探索了两种不同的变体，分别使用RNN和记忆增强神经网络作为预测层进行比较，以分别获得更好的练习和概念表示。在四个真实数据集上的大量实验表明，所提出的Bi-CLKT及其变体优于其他基线模型。
1 引言
随着在线教育平台的不断发展，海量的在线学习数据可以准确、及时地追踪学生的学习状态。为了追踪学生对特定知识点或概念的掌握情况，有人提出了一项名为知识追踪(KT)的基本任务[1]，它通过一系列学生与练习的互动来预测他们对这些练习对应的概念的掌握情况。具体来说，知识追踪解决了预测学生是否能够正确回答与概念相关的下一个练习的问题，考虑到他们之前的学习互动。近年来，KT任务在学术界受到了极大的关注，许多学者进行了研究，提出了许多解决这一问题的方法。该领域的传统方法主要分为使用隐马尔可夫模型的贝叶斯知识跟踪模型[1]和使用深度神经网络[2]及其导数方法的深度知识跟踪[3,4,5,6]。
现有的KT方法[7,4,2]通常针对练习所属的概念，而不是区分练习本身来构建预测模型。这种方法假设学生正确解决相关问题的能力在一定程度上直接反映了学生对概念的掌握程度。因此，以这种方式基于概念进行预测是一种可行的选择，然而，考虑到模型的有限性能，这降低了任务本身的难度。一般来说，一个KT任务包括多个概念和大量的练习，甚至有更多的情况下，一个概念与许多练习相关联，以及一定比例的情况下，一个练习可能对应多个概念。传统模型只能处理前者，而对于后者，往往不得不将这些跨概念练习分成多个单概念练习。这种方法虽然提高了这些模型的可行性，但却妨碍了整个任务的准确性。
尽管这些基于概念的KT方法在一定程度上取得了成功，但练习本身的特点常常被忽视。这可能导致模型的最终预测精度降低，并无法预测具体的练习。即使两个练习有相同的概念，它们难度的不同可能最终导致它们被正确回答的概率有很大的差异。因此，已有文献[8,9,10,11,12,13]尝试用运动特征作为概念输入的补充，取得了一定的成功。但是，由于习题数量和学生实际互动的习题数量之间存在较大的差异，每个学生可能只与非常小的一部分习题进行互动，导致数据稀疏的问题。此外，对于那些跨越概念的练习，简单地向练习中添加特征会丢失潜在的练习间和概念间信息。因此，需要使用高阶信息，如“练习到练习”(E2E)和“概念到概念”(C2C)来解决这些问题。
由于gnn的广泛部署[14,10,15,16,17]，以及在解决跨概念练习的传统方法的不可预测性方面的突破，用图表重新定义知识追踪问题的想法最近获得了显著的发展势头。传统的KT通常以与输入练习及其响应相对应的概念形式将顺序数据作为输入。这导致了练习之间缺乏信息，只有练习和概念之间的关系是可用的。图论的最新研究为打破这一瓶颈开辟了可能性。与顺序数据不同，图数据可以很好地捕获“练习到练习”(E2E)和“概念到概念”(C2C)的高阶信息，这是由于图本身的多元节点和边缘结构。因此，一些研究[14,18]转向从图的角度重新定义该任务。然而，这些努力面临着以下几个问题:1)过于关注节点的细节，而忽略了高级语义信息;2)难以有效建立空间关联，节点结构复杂;3)只表示概念或练习而不整合它们。
由于数据标注的难度和不准确性，自监督学习越来越受欢迎，在计算机视觉[19,20,21]和自然语言处理[22,23]等许多领域都取得了巨大成功。自监督学习的特点是处理低质量或缺失的标签，这是监督学习的要求，使用增量层的输入数据本身作为学习模型的监督标签。这可以与带有特定标签信息的监督模型一样强大，并消除了监督模型所需的冗长的标签工作。具体来说，自我监督学习消除了对特定任务的标签需求，这是监督学习的最大瓶颈。特别是对于大量的网络数据，大规模获取高质量的标签往往非常昂贵和耗时。自我监督学习在文本和图像数据集的任务中表现出色，但在图的检索、推荐、图挖掘和社会网络分析等问题上仍处于初级阶段。
在本文中，我们针对传统的基于GNN的KT模型所遇到的问题，提出了一个自监督学习框架和基于双图对比学习的知识跟踪(BiCLKT)模型。我们的模型采用了全局双层和局部双层结构的对比学习，分别应用图级和节点级GCNs提取“练习到练习”(E2E)和“概念到概念”(C2C)的关系信息。最后，利用基于深度神经网络的预测层对学生的学习成绩进行预测。
- 据我们所知，我们提出了第一个基于自我监督学习的知识跟踪框架。通过对比自监督学习，我们解决了传统的基于gnn的知识跟踪模型所遇到的许多问题，从而显著提高了最终预测结果的准确性。
- 对于知识追踪，我们设计了一个两层对比学习框架，分别在全局和局部层面执行“练习到练习”(E2E)和“概念到概念”(C2C)的关系信息。运动的表征是最终习得的，并通过联合对比损失函数有效地组合在一起。这样的结构使得练习嵌入同时具有练习和概念结构信息，对最终的预测任务有积极的影响。
- 我们在四个真实世界的开放数据集上进行了彻底的实验，结果表明，我们提出的框架及其变体与单个基线模型相比，在预测效率方面都有显著提高。我们还进行了消融研究来分析每个单独模块的有效性，这大大提高了模型的可解释性。
2 相关工作
使用机器学习进行知识追踪主要有两种方法。第一种是以贝叶斯知识追踪(BKT)[1]为代表的传统机器学习KT方法。BKT主要应用隐马尔可夫模型(Hidden Markov Model)，该模型使用贝叶斯规则来更新每个被视为二元变量的概念的状态。一些研究扩展了基本的BKT模型，并引入了额外的变量，如滑移和猜测概率[7]、概念难度[24]和学生个性化[25,26,13]。另一方面，传统的机器学习KT模型还包括因素分析模型，如项目响应理论(IRT)[27]和绩效因素分析(PFA)[28,16]，这些模型往往侧重于从历史数据中学习一般参数来进行预测。
随着深度神经网络的发展，文献经历了深度知识追踪方法的进步，这些方法已被证明在学习大量数据的有效表示以实现更准确的预测方面更有效。例如，深度知识追踪(Deep Knowledge Tracing, DKT)[2]利用循环神经网络(RNNs)跟踪学生的知识状态，成为第一个取得良好效果的深度知识追踪方法。另一个例子是动态键值记忆网络(DKVMN)[4]，它建立一个静态和动态矩阵，分别存储和更新所有的概念和学生的学习状态。Xu等[29]提出了一种开创性的深度矩阵分解方法，用于从多视图数据中进行概念表示学习。然而，这些经典模型只考虑最基本的概念特征，缺乏练习特征导致最终预测不可靠。
后来有人提出了一些更深入的KT方法，它们在预测时确实考虑到了练习的特点。例如，带注意机制的练习增强循环神经网络(EERNNA)[6]利用练习的文本信息，让嵌入本身包含练习的特征，但在现实中很难收集这些文本信息，这样做对嵌入本身带来了太多的干扰。
记忆网络动态学生分类(DSCMIN)[8]使用问题难度建模来帮助区分相同概念下的不同问题。另一方面，DHKT通过使用问题和技能之间的关系来获得练习的表示形式，从而增强了DKT。然而，由于数据稀疏性问题，这并没有捕获练习和概念之间的关系。由于实践序列中存在长期依赖关系，序列键V值记忆网络(SKVMN)[11]改进了LSTM，取得了良好的效果，以提高捕获这种依赖关系的能力。我们的方法与这些方法的不同之处是，这些方法通过一定的假设从原始的“练习到概念”(E2C)关系构建了练习-影响关系图，并分别使用图级和节点级GCNs提取“练习到练习”(E2E)和“概念到概念”(C2C)的关系信息。
另一方面，为了减少过多细节信息的干扰，我们采用对比学习模型，将概念和练习分开学习进行表示。
2.2 自监督学习
自我监督学习的研究大致可以分为两个分支:生成模型和对比模型。生成式模型的主要代表是目前非常流行的自动编码。
图数据的主要方法是通过GNN学习将图的节点嵌入到潜在空间中，然后通过学习到的表示重建原图的结构和性质。通过逐步减小生成图与原始图之间的损失大小来调整节点的表示。然后使用学习到的表示来重建原始图。这些表示对原始图的结构和属性特征进行编码。对比学习则是通过增强方法对输入数据进行结构上的破坏，在学习表示形式之前，将预测对象和对应的标签从自身的结构中分离出来，最后比较损失函数，使正对之间的距离最小，负对之间的距离最大，从而实现对完整图的结构把握。沿着GCNs学习图表示方向的先驱方法包括Hu等[30]和Kaveh等