Tensorflow optimizer源碼解讀配合文章寫優化器

以下鏈接給了重要參考！
https://zhuanlan.zhihu.com/p/63500952
記錄一下過程中的難點

1. 首先這些優化詞都是繼承自父類optimizer.py
   （D:\anaconda3\envs\tsor_gpu1.9\Lib\site-packages\tensorflow\python\training\optimizer.py）
2. 自定義優化器中需要重寫overrides一些方法
3. get_slot（）這個api疑惑了很久，就是自定義或者給的優化器比如說Adam中需要給變量或者可迭代的變量創建一個名字爲‘name’的slot，可以理解爲參數，準確說應該是在這個優化器中需要的中間參數。
4. 現在還不太懂的是，這些重寫的方法在哪兒被調用，又是怎麼確定需要重寫的方法的。哪些方法只需要繼承就行。
9. 關於文中的新優化器算法，明日再看看，試試改改