簡介
曆史背景
最小二乘法發展于天文學和大地測量學領域，科學家和數學家嘗試為大航海探索時期的海洋航行挑戰提供解決方案。準确描述天體的行為是船艦在大海洋上航行的關鍵，水手不能再依靠陸上目标導航作航行。
這個方法是在十八世紀期間一些進步的集大成：
（1）不同觀測值的組合是真實值的最佳估計；多次觀測會減少誤差而不是增加，也許在1722年由Roger Cotes首先闡明。
（2）在相同條件下采取的不同觀察結果，與隻嘗試記錄一次最精确的觀察結果是對立的。這個方法被稱為平均值方法。托馬斯·馬耶爾（Tobias Mayer）在1750年研究月球的天平動時，特别使用這種方法，而拉普拉斯（Pierre-Simon Laplace）在1788年他的工作成果中以此解釋木星和土星的運動差異。
（3）在不同條件下進行的不同觀測值組合。該方法被稱為最小絕對偏差法，出現在Roger Joseph Boscovich在1757年他對地球形體的著名作品，而拉普拉斯在1799年也表示了同樣的問題。
（4）評定對誤差達到最小的解決方案标準，拉普拉斯指明了誤差的概率密度的數學形式，并定義了誤差最小化的估計方法。為此，拉普拉斯使用了一雙邊對稱的指數分布，現在稱為拉普拉斯分布作為誤差分布的模型，并将絕對偏差之和作為估計誤差。他認為這是他最簡單的假設，他期待得出算術平均值而成為最佳的估計。可相反地，他的估計是後驗中位數。
最小二乘估計法
1801年，意大利天文學家朱賽普·皮亞齊發現了第一顆小行星谷神星。經過40天的跟蹤觀測後，由于谷神星運行至太陽背後，使得皮亞齊失去了谷神星的位置。随後全世界的科學家利用皮亞齊的觀測數據開始尋找谷神星，但是根據大多數人計算的結果來尋找谷神星都沒有結果。時年24歲的高斯也計算了谷神星的軌道。奧地利天文學家海因裡希·奧伯斯根據高斯計算出來的軌道重新發現了谷神星。
高斯使用的最小二乘法的方法發表于1809年他的著作《天體運動論》中，而法國科學家勒讓德于1806年獨立發現“最小二乘法”，但因不為世人所知而默默無聞。兩人曾為誰最早創立最小二乘法原理發生争執。
1829年，高斯提供了最小二乘法的優化效果強于其他方法的證明，見馬爾可夫定理。
最小二乘估計法通常歸功于高斯（Carl Friedrich Gauss，1795），但最小二乘估計法是由阿德裡安-馬裡·勒讓德（Adrien-Marie Legendre）首先發表的。
定義
最小二乘估計法是對過度确定系統，即其中存在比未知數更多的方程組，以回歸分析求得近似解的标準方法。在這整個解決方案中，最小二乘法演算為每一方程式的結果中，将殘差平方和的總和最小化。
最重要的應用是在曲線拟合上。最小平方所涵義的最佳拟合，即殘差（殘差為：觀測值與模型提供的拟合值之間的差距）平方總和的最小化。當問題在自變量有重大不确定性時，那麼使用簡易回歸和最小二乘法會發生問題；在這種情況下，須另外考慮變量-誤差-拟合模型所需的方法，而不是最小二乘法。
最小平方問題分為兩種：線性或普通的最小二乘法，和非線性的最小二乘法，取決于在所有未知數中的殘差是否為線性。線性的最小平方問題發生在統計回歸分析中；它有一個封閉形式的解決方案。非線性的問題通常經由叠代細緻化來解決；在每次叠代中，系統由線性近似，因此在這兩種情況下核心演算是相同的。
最小二乘法所得出的多項式，即以拟合曲線的函數來描述自變量與預計應變量的變異數關系。
當觀測值來自指數族且滿足輕度條件時，最小平方估計和最大似然估計是相同的。最小二乘法也能從動差法得出。
回歸分析的最初目的是估計模型的參數以便達到對數據的最佳拟合。在決定一個最佳拟合的不同标準之中，最小二乘估計法是非常優越的。這種估計可以表示為：
乘法的解
一般線性情況
若含有更多不相關模型變量，可如組成線性函數的形式
即線性方程組
通常人們将tij記作數據矩陣A，參數bj記做參數向量b，觀測值yi記作Y，則線性方程組又可寫成：
即
上述方程運用最小二乘法導出為線性平方差計算的形式為：
特殊情況——矩陣
的特解為A的廣義逆矩陣與Y的乘積，這同時也是二範數極小的解，其通解為特解加上A的零空間。證明如下：
先将Y拆成A的值域及其正交補兩部分
所以，可得
故當且僅當是解時，即為最小二乘解，即。
又因為
故的通解為
因為
所以又是二範數極小的最小二乘解。
示例
某次實驗得到了四個數據點：、、、（概述圖中紅色的點）。我們希望找出一條和這四個點最匹配的直線，即找出在某種“最佳情況”下能夠大緻符合如下超定線性方程組的和：
最小二乘估計法采用的手段是盡量使得等号兩邊的方差最小，也就是找出這個函數的最小值：
最小值可以通過對分别求和的偏導數，然後使它們等于零得到。
，如此就得到了一個隻有兩個未知數的方程組，很容易就可以解出：
也就是說直線是最佳的。
數據點（紅色）、使用最小二乘法求得的最佳解（藍色）、誤差（綠色）。
