Skip to content
Notes

回归模型和分类模型

对数几率回归

梯度下降

f(x)=∑n=0∞f(n)(a)n!(x−a)n\displaystyle{ f \left( x \right) = \sum _{ n = 0 } ^{ \infty } \frac{ f ^{ \left( n \right) } \left( a \right) }{ {n !} } \left( x - a \right) ^{ n } } E(w+Δw)≈E(w)+Δw∇E(w)\displaystyle{ E \left( \mathbf{ w } + \Delta \mathbf{ w } \right) \approx E \left( \mathbf{ w } \right) + \Delta \mathbf{ w } \nabla E \left( \mathbf{ w } \right) }

要使得 f(x+Δx)<f(x)\displaystyle{ f \left( x + \Delta x \right) < f \left( x \right) } 即 f(x+Δx)≈f(x)+Δx∇f(x)\displaystyle{ f \left( x + \Delta x \right) \approx f \left( x \right) + \Delta x \nabla f \left( x \right) } 中 Δx∇f(x)<0\displaystyle{ \Delta x \nabla f \left( x \right) < 0 }

由于 (∇f(x))2>0\displaystyle{ \left( \nabla f \left( x \right) \right) ^{ 2 } > 0 }，令 Δx=−α∇f(x),α>0\displaystyle{ \Delta x = - \alpha \nabla f \left( x \right) , \alpha > 0 }

使得 Δx∇f(x)=−α(∇f(x))2<0\displaystyle{ \Delta x \nabla f \left( x \right) = - \alpha \left( \nabla f \left( x \right) \right) ^{ 2 } < 0 }

因此当 Δx=−α∇f(x)\displaystyle{ \Delta x = - \alpha \nabla f \left( x \right) }，则能够形成一次梯度下降

多分类

  • 一对一：老虎或兔子，结果可以通过投票
  • 一对其余：猫或非猫，选择置信度最高的
  • 多对多

类别不平衡问题

  • 数据
    • 欠采样
    • 过采样
  • 算法

评估方法

  • 类别平衡：accuracy
  • 类别不平衡：ROC 曲线, AUC 曲线