Skip to content

回归模型和分类模型

对数几率回归

梯度下降

f(x)=n=0f(n)(a)n!(xa)n\displaystyle{ f \left( x \right) = \sum _{ n = 0 } ^{ \infty } \frac{ f ^{ \left( n \right) } \left( a \right) }{ {n !} } \left( x - a \right) ^{ n } } E(w+Δw)E(w)+ΔwE(w)\displaystyle{ E \left( \mathbf{ w } + \Delta \mathbf{ w } \right) \approx E \left( \mathbf{ w } \right) + \Delta \mathbf{ w } \nabla E \left( \mathbf{ w } \right) }

要使得 f(x+Δx)<f(x)\displaystyle{ f \left( x + \Delta x \right) < f \left( x \right) }f(x+Δx)f(x)+Δxf(x)\displaystyle{ f \left( x + \Delta x \right) \approx f \left( x \right) + \Delta x \nabla f \left( x \right) }Δxf(x)<0\displaystyle{ \Delta x \nabla f \left( x \right) < 0 }

由于 (f(x))2>0\displaystyle{ \left( \nabla f \left( x \right) \right) ^{ 2 } > 0 },令 Δx=αf(x),α>0\displaystyle{ \Delta x = - \alpha \nabla f \left( x \right) , \alpha > 0 }

使得 Δxf(x)=α(f(x))2<0\displaystyle{ \Delta x \nabla f \left( x \right) = - \alpha \left( \nabla f \left( x \right) \right) ^{ 2 } < 0 }

因此当 Δx=αf(x)\displaystyle{ \Delta x = - \alpha \nabla f \left( x \right) },则能够形成一次梯度下降

多分类

  • 一对一:老虎或兔子,结果可以通过投票
  • 一对其余:猫或非猫,选择置信度最高的
  • 多对多

类别不平衡问题

  • 数据
    • 欠采样
    • 过采样
  • 算法

评估方法

  • 类别平衡:accuracy
  • 类别不平衡:ROC 曲线, AUC 曲线