原创 解讀表示學習中的自適應計算時間 Adaptive Computation Time （ACT）
最近在學習網紅模型Universal Transformers時接觸到了自適應計算時間（Adaptive Computation Time, ACT）這個新奇的算法。查了一下，這個算法其實並不算新，2016年就被Google Deep
2019-04-08 14:56:35
原创 小評最近很火的BERT模型
應Pattern Recognition審稿人要求，加入最近很火的BERT模型作爲我們提出的文本表示模型的對比方法。在此和大家共同學習分析一下最近深度學習在自然語言處理領域的網紅模型BERT，嘗試品味BERT的精髓，探討BERT可能的
2019-04-04 15:00:25
原创 特徵選擇方法學習筆記（二）
之前看過了mRMR的方法了，從特徵與目標的最大相似度和特徵與特徵間的最小冗餘出發來尋找特徵子集。這樣的方法的確是不錯的，在實驗中取得了魯棒的效果。但是經過和別的方法對比後發現，該方法目前在選擇特徵上以及不能算登峯造極了。或許大家
2018-08-23 23:53:14
原创 特徵選擇方法學習筆記（三）
之前已經看過兩種特徵選擇的方法，一個是從局部結構出發，一個是從整體優化出發。這兩中方法都取得了比較好的效果。那麼，有沒有既考慮局部結構又顧及總體優化呢的方法呢？聰明的研究者們的確想到了這兩手抓兩手都要硬的方法。今天我們就來看一種
2018-08-23 23:53:14
原创 譜--從矩陣到圖形
這幾天看到的各種文章中，總會不約而同的出現一個詞——譜（spectral） 一看是看到這個譜，反映出來的是光譜、頻譜，這一下把我帶到溝裏了，怎麼想都想不明白。折騰了很久了之後，終於發現，此譜乃數學中的譜。那到底這個神奇的譜是什麼
2018-08-23 23:53:14
原创 流形正則化學習筆記
早就聽說流形正則化能將有監督學習和無監督學習融合成半監督學習，聽上去威武霸氣，但真正一看就只能高山仰止了。今天硬着頭皮學習了一下，淺淺品味往聖先哲的思維魅力。 半監督學習（semi-supervise learning
2018-08-23 23:53:13
1
原创 特徵選擇方法學習筆記（一）
今天開始會持續學習一些state-of-art的特徵選擇方法，跟大家分享一下學習的心得和這些方法的主要思想，希望能對同志們的工作有所啓發。 首先我們看的是一篇2005年發表在PAMI（IEEE Transactions
2018-08-23 23:53:13