1801年，意大利天文學家朱賽普·皮亞齊發現了第一顆小行星谷神星。經過40天的跟蹤觀測後，由於谷神星運行至太陽背後，使得皮亞齊失去了谷神星的位置。隨後全世界的科學家利用皮亞齊的觀測數據開始尋找谷神星，但是根據大多數人計算的結果來尋找谷神星都沒有結果。時年24歲的高斯也計算了谷神星的軌道。奧地利天文學家海因裡希·奧爾伯斯根據高斯計算出來的軌道重新發現了谷神星。

　　勒讓德給高斯寫信說:“如果給你一堆已知的點，讓你找到一個函數，盡可能的讓這些點讓這個函數表示出來，你怎麽做?”

　　高斯說:“這個問題很有趣，同時，我們也應該好好研究它。”

　　勒讓德說:“線性回歸，就是讓直線接近那群點，這群點盡可能接近到，在距離的分布上呈高斯分布。”

　　高斯說:“沒錯，你的意思是，除了直線以外，其他類型的函數也可以這樣做嗎?”

　　勒讓德說:“確實如此。”

　　高斯說:“面對一群點，第一任務就是需要找什麽樣的函數。”

　　勒讓德說:“一般，研究這個問題的時候往往就已經知道是什麽函數了。”

　　高斯說:“那道也是，這種問題，在條件上已經會給出一個函數來。然後你如何去做這種逼近?”

　　勒讓德說:“就跟對待點離線的距離有x方向的和y方向的，然後使用平方和開根號的那樣子。讓x方向和y方向裡曲線的那個對應的切線有這樣的距離。”

　　最小二乘法，又稱最小平方法，是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。最小二乘法還可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。