我從去年年底開始被老闆拉入元學習的坑以來（後來發現他是拍腦袋決定的），陸陸續續地也讀過十來篇元學習領域的論文了，算是對這個領域有了一定的瞭解。
我原本是打算在剩下的時間裏在元學習領域深耕，以希望能有一些還過得去的成果。奈何元學習在解決實際問題時價值實在不大，而我們課題組的工作偏應用，希望算法可以解決實際的問題。元學習現在的應用多存在於計算機視覺領域，在人臉識別等任務上有一些應用。但是我們課題組的研究方向主要是自然語言處理，能應用上元學習的場景實在有限。這是我暫緩元學習研究的原因之一。
元學習自MAML提出以來，感覺發展好像有點停滯。最新的元學習進展要麼是將MAML應用於具體的任務，要麼是對MAML進行改造，鮮有能比肩MAML的里程碑式算法出現。而MAML的提出者Chelsea Finn的研究興趣已經轉向機器人領域。最近一年的頂會上，元學習的文章已經比較少見了，我自己找到的只有4篇，還都是一些無關痛癢的貢獻。元學習是一種學習如何學習的算法，希望機器可以像人一樣快速學習。而我們知道人之所以可以快速學習，是因爲人之前積累了大量的先驗知識。所以我覺得，如果我們能從先驗知識的角度切入，通過將“元知識”（我自創的一種叫法）引入訓練集，可能可以得到一些比較好的結果。我自己想過一種引入元知識的方法，但還沒有經過實驗驗證，等我驗證了之後再分享出來吧。
由於課題組的要求，我最近的研究方向也轉到了對課題組可能更有幫助的自然語言處理領域的魯棒性算法和強化學習上了。轉了方向之後跟實驗室的業務也更加貼近。我這兩個月在讀文獻時，發現了一篇很有意思的文章《Learning to reweight examples for robust deep learning》，這篇文章的思想時通過模型學習出訓練樣本的權重，訓練一輪後對訓練樣本進行重賦權然後再進行訓練。這篇文章聲稱自己受了元學習的啓發，纔想出了這個算法。我在想，現有元學習方法都聚集於快速學習，那我能不能將元學習用於構造魯棒性算法呢？我覺得是個有趣的研究方向。
我不想把自己的博客寫成一個純粹的技術博客，我希望它是一個可以分享自己在計算機領域見解和歷程的平臺，當然也是一個交流平臺。因爲我個人是半路出家，之前學的是數學，所以這個博客在探討一些問題的時候可能會更側重得出結論的過程，而不是簡單地寫出一個結論。
希望自己在未來可以保持穩定地更新博客，最近受疫情影響，在家裏蹲了快半年了，中間也犯懶過好多次。