在前面幾篇中分類問題和迴歸問題裏涉及到的伯努利分佈和高斯分佈都是廣義線性模型（Generative Linear Models.GLMs）的特例。下面將詳細介紹廣義線性模型。
1、指數族
我們可以將一些分佈總結到一個指數族中。指數族可表示爲：
η是指naturalparameter/canonical parameter，T (y)是指sufficientstatistic, a(η)是指logpartition function。T、a和b的選擇決定了分佈族，η的改變會得到這個分佈族裏的不同分佈函數。
伯努利分佈和高斯分佈都是指數族分佈的例子。首先伯努利分佈可以如下表示：
因此可以得到以下結果：
這表明伯努利分佈可以通過選擇適當的T、a和b用指數族的形式表示。其次高斯分佈可表示爲：
同理可得以下結果：
2、構建廣義線性模型
一般針對一個問題要用到廣義線性模型，我們基本都遵循以下三個假設。
（1）y | x; θ ∼ ExponentialFamily(η).先根據數據假設y服從某一指數族分佈。
（2）選擇一個假設函數滿足h(x) =E[y|x]。根據這個，我們可以預測x對應的y值或者進行分類。
（3）
下面將通過最小二乘法和Logistic迴歸熟悉構建廣義線性模型的步驟。
2.1 最小二乘法
最小二乘法針對的是連續型的數值。y滿足高斯分佈
2.2 Logistic迴歸
伯努利分佈是針對二元分類問題的指數族分佈。y|x; θ ∼ Bernoulli(φ)，從1、指數族中的分析可以知道
3、Softmax迴歸
當分類問題不再是二元而是k元的時候，即y∈{1,2,…,k}。我們可以利用構建廣義線性模型來解決這個分類問題。具體步驟如下。
假設y服從指數族分佈，φi = p(y = i; φ)並且可知
此外1{·}代表括弧裏的條件爲真式整個式子的值爲1，否則爲0。所以(T (y))i = 1{y = i}。從概率論的知識可知，E[(T (y))i] = P (y = i) = φi 。所以我們可以得到：
所以
所以
定義ηk =log(φk/φk) = 0，所以
所以
所以softmax函數可以如下表示：
根據假設（3），並定義θk = 0，所以可以得到Softmax迴歸：
根據假設（2）可知
因此可知道最大似然概率的計算爲：
而接下來要確定最大似然概率，從而去確定假設函數到最終確定分類結果。可以接着前面的梯度上升或者牛頓迭代法來求取。
這就是基本的利用廣義線性模型求解的過程。確定y服從的分佈，然後確定T、a、b、η，然後得到假設函數的基本模型，然後利用最大似然規律或者其他方法求得最貼近的參數值，從而能夠得到最貼近真實的假設函數來解決問題。