之前刷CS231n作業的時候，遇到的一些知識點，怕自己忘了，記錄在這裏。
Assignment2
- 最後的softmax之前千萬不要加relu，否則經過一段時間的sgd，會導致輸出全0。反向求導也無效。
- x.reshape(x.shape[0], -1).T != x.reshape(-1x.shape[0])
Assignment3
關於LSTM
- 反向傳播時狀態s也要反向傳播，而且要初始化爲0。原因和h類似，建議畫一下圖。
- h在反向傳播時，是後一個節點和當前層輸出對應loss的傳播之和。整體反向傳播的輸入參數的dh一般是指每一層的輸出對應的loss傳播。