原创 【論文筆記】M-Walk: Learning to Walk over Graphs using Monte Carlo Tree Search
本文用了強化學習，在知識圖譜上游走，尋找目標節點。 一、簡介 大概意思就是，在知識圖譜上，給出一個起始節點和查詢（query），然後找到目標節點。 圖G包含節點和邊。 如下圖，給出起始節點Obama，query：citizenship，
2020-07-04 03:33:58
3
原创 【論文筆記】ANR: Aspect-based Neural Recommender 基於方面的神經網絡推薦系統
【大概記錄一下這篇論文和思考】 ANR: Aspect-based Neural Recommender 基於方面的神經網絡推薦系統 作者大大：Jin Yao Chin，Kaiqi Zhao，Shafiq Joty，Gao Cong（Na
2020-06-21 20:21:23
1
原创 李宏毅強化學習筆記【3.Actor-Critic】
複習策略梯度policy gradient 計算在某一個state，採取action a的概率。到遊戲結束爲止，獲得多少reward。 G很不穩定。除非sample很多。 複習Q-learning 用期望代替sample，value
2020-06-21 20:21:22
原创 李宏毅強化學習筆記【2.Qlearning】
Qlearning value-based 學習critic：並不直接採取行爲，只評價現在的行爲有多好/不好。假設現在actor叫π，看到state s，累計reweard的期望有多大。 第一個遊戲圖，未來可能會獲得很多分數。第二個，可
2020-06-21 20:21:22
原创 李宏毅強化學習筆記【1.PPO】
策略梯度Policy Gradient policy決定actor的行爲，給定一個輸入，輸出行爲 公式和之前講的一樣 R是一個τ的總分！！！！！！！！！！！不是單個s，a的reward tip1：add baseline
2020-06-21 20:21:22
原创 【產品筆記】3.產品經理實戰
1、團隊合作 2、產品設計到立項 3、項目啓動到產品上線 4、產品上線後的運營 產品=商業模式+功能+設計+技術+內容 產品的成功歸功於整個團隊的精誠合作；產品的失敗只歸咎於產品負責人。 用戶運營：拉新，留存，老用戶召回 內容運營：
2020-06-06 23:54:41
原创 【產品筆記】2.互聯網產品修煉
如何做正確的產品（戰略），比正確的作產品（執行）更重要 正確的產品，在正確的時間，正確的做出來。 選擇比努力更重要。 產品的本質、規律 用戶域市場是檢驗產品價值的唯一標準：任何產品價值的唯一衡量標準就是他的目標用戶及市場 產品守恆定律
2020-03-22 16:39:52
原创 【產品筆記】1.什麼是精益產品探索
爲什麼會有這個需求，用戶是否需要，對不對 如果需求從一開始就錯了，後面也不會發展很好 大多數產品失敗，是因爲沒人需要，而不是設計的問題。 我們要學習，在市場中什麼人可用，什麼人不可用。 沒有商業計劃能夠在遇到客戶後倖存——Steve Bl
2020-03-04 20:50:14
原创 李宏毅強化學習筆記【5.Imitation Learning】
如果沒有reward，怎麼辦 和環境互動，但不能得到reward，只能看着expert的demonstration學習。 判斷開車撞人扣多少分很難，收集人開車的例子，人對話的例子是比較簡單的。 不知道怎麼定reward，但可以收集範例。
2020-02-23 05:11:15
原创 李宏毅強化學習筆記【4.Sparse Reward】
沒有reward，訓練很難。 因爲一開始機器什麼都不知道，就靠隨機。如果隨機一個概率特別小的纔有reward，reward非常稀疏，就非常難學習，因爲做什麼動作都一樣糟糕。 1.reward shaping 環境有一個固定的rewar
2020-02-23 05:11:15
原创 李宏毅強化學習筆記【0.強化學習導論】
agent觀察（observation即爲state）environment agent對做一些動作（action），影響environment 因爲有一些影響，environment給agent一些reward，告訴他是好的影響還是壞的
2020-02-23 05:11:15
原创 LeetCode 103.二叉樹的鋸齒形層次遍歷
給定一個二叉樹，返回其節點值的鋸齒形層次遍歷。（即先從左往右，再從右往左進行下一層遍歷，以此類推，層與層之間交替進行）。 例如： 給定二叉樹 [3,9,20,null,null,15,7], 3 / \ 9 20
2019-03-23 02:32:50
原创 LeetCode 28.實現strStr()
實現 strStr() 函數。 給定一個 haystack 字符串和一個 needle 字符串，在 haystack 字符串中找出 needle 字符串出現的第一個位置 (從0開始)。如果不存在，則返回 -1。 示例 1: 輸入: h
2019-02-21 16:18:31
原创 LeetCode 27.移除元素
給定一個數組 nums 和一個值 val，你需要原地移除所有數值等於 val 的元素，返回移除後數組的新長度。 不要使用額外的數組空間，你必須在原地修改輸入數組並在使用 O(1) 額外空間的條件下完成。 元素的順序可以改變。你不需要考慮數
2019-02-21 16:18:21
原创 LeetCode 143.重排鏈表
給定一個單鏈表 L：L0→L1→…→Ln-1→Ln ， 將其重新排列後變爲： L0→Ln→L1→Ln-1→L2→Ln-2→… 你不能只是單純的改變節點內部的值，而是需要實際的進行節點交換。 示例 1: 給定鏈表 1->2->3->4,
2019-02-21 16:18:11