预测模型

线性预测模型，试图学习 $\displaystyle{ f }$ 使得模型输出 $\displaystyle{ f \left( x _{ i } \right) }$ 逼近标签 $\displaystyle{ y _{ i } }$

$$\displaystyle{ f \left( \mathbf{ x } \right) = \sum _{ d } w _{ i } x _{ i } + b }$$

向量形式

$$\displaystyle{ f \left( \mathbf{ x } \right) = \mathbf{ w } ^{ \top } \mathbf{ x } + b }$$

损失函数

$$\displaystyle{ E _{ \left( w , b \right) } \xlongequal[ ]{ \Delta } \sum _{ i = 1 } ^{ m } \left( w x _{ i } + b - y _{ i } \right) ^{ 2 } }$$ $$\displaystyle{ \begin{aligned}\frac{ \partial E _{ \left( w , b \right) } }{ \partial w } & = 2 \left( w \sum _{ m } x _{ i } ^{ 2 } - \sum _{ m } \left( y _{ i } - b \right) x _{ i } \right) = 0 \\ \frac{ \partial E _{ \left( w , b \right) } }{ \partial b } & = 2 \left( mb - \sum _{ m } \left( y _{ i } - w x _{ i } \right) \right) = 0\end{aligned} }$$ $$\displaystyle{ \begin{aligned}w \sum _{ m } x _{ i } ^{ 2 } - \sum _{ m } y _{ i } x _{ i } + b \sum _{ m } x _{ i } = 0 \\ mb - \sum _{ m } y _{ i } + w \sum _{ m } x _{ i } = 0\end{aligned} }$$ $$\displaystyle{ m w \sum _{ m } x _{ i } ^{ 2 } - m \sum _{ m } y _{ i } x _{ i } + \left( \sum _{ m } x _{ i } \right) \left( \sum _{ m } y _{ i } \right) - w \left( \sum _{ m } x _{ i } \right) ^{ 2 } = 0 }$$ $$\displaystyle{ w \left( \sum _{ m } x _{ i } ^{ 2 } - \frac{ 1 }{ m } \left( \sum _{ m } x _{ i } \right) ^{ 2 } \right) = \sum _{ m } y _{ i } \left( x _{ i } - \frac{ 1 }{ m } \sum _{ m } x _{ i } \right) }$$ $$\displaystyle{ w ^{ \ast } = \frac{ \sum y _{ i } \left( x _{ i } - \bar{ x } \right) }{ \sum x _{ i } ^{ 2 } - \bar{ x } \sum x _{ i } } }$$