作者：LogM
本文原載於 https://segmentfault.com/u/logm/articles，不允許轉載~
文章中的數學公式若無法正確顯示，請參見：正確顯示數學公式的小技巧
本文爲《數學之美》的讀書筆記。
第19章 談談數學模型的重要性
- 數學很重要
第20章 談談最大熵模型
- 思想：對一個隨機事件的概率分佈進行預測時，我們的預測應當滿足全部已知條件，而對未知的情況不要做任何主觀假設。
- $$P(d|x_1,x_2,...,x_{20}) = \frac{1}{Z(x_1,x_2,...,x_{20})} e^{\lambda_1 (x_1,d)+ \lambda_2(x_2,d)+ ... + \lambda_{20}(x_{20},d)}$$
- 歸一化因子：
$$Z(x_1,x_2,...,x_{20}) = \sum{e^{\lambda_1 (x_1,d)+ \lambda_2(x_2,d)+ ... + \lambda_{20}(x_{20},d)}}$$
第21章 拼音輸入法的數學原理
- 語言模型
第22章 自然語言處理的教父馬庫斯和他的優秀弟子們
- 人物傳記
第23章 布隆過濾器
- 本質和哈希表一樣，區別是映射函數精心設計過，在可接受的衝突率前提下，減少了內存的佔用。
第24章 貝葉斯網絡（信念網絡）
- 馬爾科夫鏈假設依賴關係是一維的，所以建立一維的鏈。但實際問題很複雜，很多依賴關係不能用鏈上的狀態轉移描述，需要用圖描述。
- 爲了計算方便，依舊保持馬爾科夫假設成立，即每一個狀態只與和它直接相連的狀態有關。
第25章 條件隨機場、文法分析及其它
- 條件隨機場：在隱馬爾科夫模型中，$x_1,x_2,...$ 爲觀測值，$y_1,y_2,...$ 爲隱狀態，$x_i$ 只與 $y_i$ 有關。而條件隨機場中，$x_i$ 與 $y_i$、$y_{i-1}$、$y_{i+1}$ 都有關。
- 可以認爲條件隨機場是一種特殊的概率圖模型。仍遵守馬爾科夫假設。條件隨機場是無向圖。
- 條件隨機場通常用最大熵模型建模：
$$P(x_1,x_2,..,x_n,y_1,y_2,...,y_m) = \frac{e^{f_1+f_2+...+f_k}}{Z}$$
第26章 Viberti 算法
- 隱馬爾科夫模型可以轉換爲籬笆網絡。Viberti 使用動態規劃思想在這個網絡中求最短路徑。
第27章 期望最大化算法
第28章 邏輯迴歸和搜索廣告
- 搜索廣告的發展：競價排名 -> 預測用戶點擊 -> 全局優化
- 預測廣告點擊率一般用邏輯迴歸做
第29章 各個擊破算法和 Google 雲計算的基礎
- MapReduce
第30章 Google 大腦和人工神經網絡
- 人工神經網絡
-
人工神經網絡與貝葉斯網絡的關係：
- 有向圖，且遵從馬爾科夫假設
- 訓練方法相似
- 對於很多模式分類問題，兩種方法效果相近
- Google 大腦：分佈式的人工神經網絡
第31章 大數據的威力
- 數據很重要