普通最小二乘估計（Ordinary least squares，OLS）
最小二乘法http://baike.baidu.com/view/139822.htm
最小二乘估計法http://baike.baidu.com/view/2021020.htm
最小二乘擬合http://baike.baidu.com/view/3137894.htm
1801年，意大利天文學家朱賽普?皮亞齊發現了第一顆小行星穀神星。經過40天的跟蹤觀測後，由於穀神星運行至太陽背後，使得皮亞齊失去了穀神星的位置。隨後全世界的科學家利用皮亞齊的觀測數據開始尋找穀神星，但是根據大多數人計算的結果來尋找穀神星都沒有結果。時年24歲的高斯也計算了穀神星的軌道。奧地利天文學家海因裏希?奧爾伯斯根據高斯計算出來的軌道重新發現了穀神星。高斯使用的最小二乘法的方法發表於1809年他的著作《天體運動論》中。法國科學家勒讓德於1806年獨立發現“最小二乘法”，但因不爲世人所知而默默無聞。勒讓德曾與高斯爲誰最早創立最小二乘法原理髮生爭執。1829年，高斯提供了最小二乘法的優化效果強於其他方法的證明，因此被稱爲高斯-莫卡夫定理。
最大似然估計（Maximum likelihood，ML）
最大似然法http://baike.baidu.com/view/1918804.htm
極大似然法http://baike.baidu.com/view/1460040.htm
極大似然估計http://baike.baidu.com.cn/view/185250.htm
最大似然估計法http://bbs.sciencenet.cn/blog-491809-400893.html
最大似然估計http://www.cnblogs.com/liliu/archive/2010/11/22/1883702.html
最大似然法，也稱最大或然法、極大似然法，最早由高斯提出，後由英國遺傳及統計學家費歇於1912年重新提出，並證明了該方法的一些性質，名稱“最大似然估計”也是費歇給出的。該方法是不同於最小二乘法的另一種參數估計方法，是從最大似然原理出發發展起來的其他估計方法的基礎。雖然其應用沒有最小二乘法普遍，但在計量經濟學理論上佔據很重要的地位，因爲最大似然原理比最小二乘原理更本質地揭示了通過樣本估計總體的內在機理。計量經濟學的發，更多地是以最大似然原理爲基礎的，對於一些特殊的計量經濟學模型，只有最大似然法纔是成功的估計方法。
對於最小二乘法，當從模型總體隨機抽取n組樣本觀測值後，最合理的參數估計量應該使得模型能最好地擬合樣本數據；而對於最大似然法，當從模型總體隨機抽取n組樣本觀測值後，最合理的參數估計量應該是使得從模型中抽取該n組樣本觀測值的概率最大。
從總體中經過n次隨機抽取得到的樣本容量爲n的樣本觀測值，在任一次隨機抽取中，樣本觀測值都以一定的概率出現。如果已經知道總體的參數，當然由變量的頻率函數可以計算其概率。如果只知道總體服從某種分佈，但不知道其分佈參數，通過隨機樣本可以求出總體的參數估計。
以正態分佈的總體爲例，每個總體都有自己的分佈參數期望和方差，如果已經得到n組樣本觀測值，在可供選擇的總體中，哪個總體最可能產生已經得到的n組樣本觀測值呢？顯然，要對每個可能的正態總體估計取n組樣本觀測值的聯合概率，然後選擇其參數能使觀測值的聯合概率最大的那個總體。將樣本觀測值聯合概率函數稱爲變量的似然函數。在已經取得樣本觀測值的情況下，使似然函數取極大值的總體分佈參數所代表的總體具有最大的概率取得這些樣本觀測值，該總體參數即是所要求的參數。通過似然函數極大化以求得總體參數估計量的方法被稱爲極大似然法。
矩估計（Moment method，MM）
矩估計http://baike.baidu.com/view/2019009.htm
矩估計http://wenku.baidu.com/view/37e371c7aa00b52acfc7ca28.html
廣義矩估計http://baike.baidu.com/view/8471298.htm
工具變量法http://baike.baidu.com/view/2107261.htm
原點矩http://baike.baidu.com/view/7115935.htm
中心矩http://baike.baidu.com/view/7115935.htm
由英國統計學家皮爾遜於1894年提出的，是最古老的一種估計法之一。所謂矩估計法，就是利用樣本矩來估計總體中相應的參數。最簡單的矩估計法是用一階樣本原點矩估計總體期望，而用二階樣本中心矩估計總體方差。對於隨機變量來說，矩是其最廣泛、最常用的數字特徵，主要有中心矩和原點矩。
由辛欽大數定律知，簡單隨機樣本的原點矩依概率收斂到相應的總體原點矩，這就啓發我們想到用樣本矩替換總體矩，進而找出未知參數的估計，基於這種思想求估計量的方法稱爲矩法，用矩法求得的估計稱爲矩法估計，簡稱矩估計。
傳統的計量經濟學估計方法，例如普通最小二乘法、工具變量法和最大似然法等都存在自身的侷限性，即其參數估計量必須在滿足某些假設時，比如模型的隨機誤差項服從正態分佈或某一已知分佈時，纔是可靠的估計量。而矩估計原理簡單、使用方便，使用時可以不知道總體分佈，而且具有一定的優良性質（如矩估計爲E(ξ)的一致最小方差無偏估計）。廣義矩估計法除不需要知道隨機誤差項分佈外，且允許隨機誤差項存在異方差和序列相關，因而所得到的估計量比其他方法更有效。
但在尋找參數的矩法估計量時，對總體原點矩不存在的分佈如柯西分佈等不能用，另一方面它只涉及總體的一些數字特徵，並未用到總體的分佈，因此矩法估計量實際上只集中了總體的部分信息，這樣它在體現總體分佈特徵上往往性質較差，只有在樣本容量n較大時，才能保障它的優良性，因而理論上講，矩法估計是以大樣本爲應用對象的。
轉自:http://blog.163.com/loongfee@126/blog/static/173697334201302211527594/
