第三章 线性模型

3.4 线性判别分析LDA

给定训练样例集，将其投影到一根直线上，使得同类样本接近，不同类样本远离；

学习结果：将任何一个未知样本投影到上述直线上，根据落入的区间进行分类；

目标曲线为

$$y=\boldsymbol \omega^T\boldsymbol x$$

最大化目标为广义瑞利商

$$J=\frac{||\boldsymbol w^T\boldsymbol \mu_0 - \boldsymbol w^T\boldsymbol \mu_1||_2^2}{\boldsymbol{\omega^T\Sigma_0\omega} +\boldsymbol{\omega^T\Sigma_1\omega}} =\frac{\boldsymbol{\omega^T(\mu_0-\mu_1)(\mu_0-\mu_1)^T\omega}}{\boldsymbol{\omega^T(\Sigma_0+\Sigma_1)\omega}}\\ 类间散度矩阵：S_b=（\mu_0-\mu_1)(\mu_0-\mu_1)^T\\ 类内散度矩阵：S_w=\Sigma_0+\Sigma_1$$

由于$J$中的分子分母都为$\omega$的二次项，则无需考虑$\omega$的大小。不妨设处如下的优化形式，再利用拉格朗日乘子法求解：

$$\min_{\omega} -\omega^TS_b\omega\\ \mathrm{s.t.} \quad \omega^TS_w\omega = 1$$

求解结果

$$\boldsymbol{\omega=S_\omega^{-1}(\mu_0-\mu_1)}$$

关于$S_\omega$求逆需要用到奇异值分解！！！

3.5 多分类学习

（1）线性判别分析

（2）利用二分类学习器学习：

OvO（两两组合得到一个分类器，最终结果通过N(N-1)/2个分类器投票产生）

OvR（分为一组和其它组学习）

MvM（分为多组学习，纠错输出码“）

---

• ← Previous Post
• Next Post →