Augmenting Knowledge Tracing by Considering Forgetting Behavior

提出的問題

  在預測學生知識結構的時候存在問題，因爲學生往往會有遺忘因素的影響，遺忘行爲的主要是由於兩個原因：這類問題上一次互動的時間和過去嘗試次數。

  正確回答的概率與交互的滯後時間和次數間的以往關係，左側爲時間，右側爲次數。

  論文通過考慮他們的遺忘行爲來關注建模和預測學生的知識，在DKT的基礎上進行了擴展。

提出的解決方案

考慮了三個方面

重複時間間隔：同一技能id的交互與前一次交互之間的延遲時間。

序列時間間隔：序列中一次交互與前一次交互之間的延遲時間，與技能ID無關。

過去的測試次數：學生用相同的技能ID回答問題的次數。

模型

藍色箭頭描述學生對知識建模的過程。橙色箭頭描述了預測學生成績的過程。模型包含了與遺忘$c_t,c_{t+1}$是multi-hot vectors，量化遺忘相關信息：重複時間間隔、序列時間間隔和過去的實驗計數。
其中$v_t$與multi-hot vector $c_t$集成方法：

然後，用集成的輸入$v_t^c$和前一個學生的知識狀態$h_{t-1}$更新$h_t$

在預測學生成績過程中，將下次步驟$c_{t+1}$的附加信息與更新後的學生知識狀態向量$h_t$進行了集成：

最後基於更新後的學生知識狀態$h^c_t$，預測所有技能正確回答的$y_t$的概率：

對於$\theta^{in}$和$\theta^{out}$，探索了四種積分方法

其中C是訓練的變換矩陣，表示逐元素乘法。$\theta^{in}$和$\theta^{out}$共享
對於$\theta^{out}$使用同樣的方法，但是應用於學生的知識向量不是$v_t$
雙向交互(Bi-interaction)是Xiangnan He and Tat-Seng Chua.在2017年的Neural Factorization Machines for Sparse Predictive Analytics.中提出的，它對交互向量與上下文信息向量、上下文信息向量之間的二階交互進行編碼。

最小化正確回答技能$id-q_{t+1}$ 的下一個問題的預測概率與真實標籤$a_{t+1}$之間的標準交叉熵損失來聯合學習這些參數。

其中$δ(q_{t+1})$是一個在技能id在下次t+1次回答的一個one-hot編碼。

實驗結果

採用兩個數據集：

ASSISTments 2012將skill_id定義爲技能id的標識符，經過預處理，數據集包含了45675名用戶的5818,868次交互和266項技能。

slepemapy.cz該數據集來自一個用於地理實踐的在線系統。我們將place_asked定義爲技能id的標識符。在刪除了只有一次交互的用戶之後，數據集包含了87,952個用戶的10,087,305個交互和1,458個技能。


  串聯和乘法（混合）的組合在ASSISTments和slepemapy.cz數據集上實現了最佳AUC，值分別爲0.7309和0.8046。
  乘法積分在ASSISTments數據集上獲得了第二好的AUC分數，而雙向交互整合在slepemapy.cz上獲得了第二好的AUC分數。

RT——從佛得時間間隔
ST——序列時間間隔
TC——過去的實驗計數

成就(創意及貢獻)

1. 提出了一種知識追蹤模型，通過使用多個特徵明確地模擬遺忘行爲擴展DKT。
2. 研究了多種遺忘信息地組合如何影響性能。