normal equation for linear regression

normal equation, 其實就是直接從線性代數中拿過來用的, 在線性代數中最小平方法的章節, 就可以用 normal equation 來使誤差最小, 其方程式如下:

$w = (X^T X)^{-1}X^T y$
其中 $w$為目標函數的係數,$X$為輸入的資料,$y$為結果,利用此方程式可求出$w$,使得方程式誤差最小
此處有一點需要注意, 若$X^T X$ is not invertible, 則需使用pseudoinverse, 但這種情況在實際應用時相對少見,故此處略表不提

reference:
1. learning from data
2. machine learning by andrew ng