使用生成模型和判别模型进行线性分类——PRML第四章(2)

分类方法可分为三种：判别公式，生成模型和判别模型。生成模型和判别模型都是概率框架下的方法，不管是做分类或是做回归都有两步：

1. 推断(inference stage)：推断假设的概率模型中的参数，得到概率分布
2. 决策(decision stage)：选择适合的优化目标，根据概率分布决定最终的分类结果

在分类问题中，在决策阶段，需要关注的是判别概率分布$p(C_k|\mathbf{x})$。比如，如果优化目标是最大化正确率：

$$\max~~~p(correct)=\sum_{k=1}^{K}p(\mathbf{x} \in R_k, C_k) = \sum_{k=1}^{K}\int_{R_k} 1 \times p(\mathbf{x},C_k) \mathbf{dx}$$

其中$p(correct)$表示预测对的期望，其最优解是将每个样本$\mathbf{x}$，将其分配到$p(\mathbf{x},C_k)$最大的那个类。如下图所示：

最优的分界面是$x = x_0$。因为$p(\mathbf{x})$是固定的，$p(\mathbf{x},C_k)$实际上是由$p(C_k|\mathbf{x})$决定。

生成模型和判别模型的区别

不管是生成模型还是判别模型，对于分类，其最终的落脚点都是判别概率$p(C_k|\mathbf{x})$，但是他们获得判别概率的方式不一样。对于贝叶斯公式：

$$p(C_k|\mathbf{x}) = \frac{p(\mathbf{x},C_k)}{p(\mathbf{x})} = \frac{p(\mathbf{x}|C_k)p(C_k)}{\sum _j p(\mathbf{x}|C_j)p(C_j)}$$

判别公式直接对$p(C_k|\mathbf{x})$进行建模，生成模型对$p(\mathbf{x},C_k)$或者$p(\mathbf{x}|C_k)$与$p(C_k)$进行建模。如果对$p(\mathbf{x},C_k)$进行建模，可通过计算边缘概率得到$p(\mathbf{x})$，如果对$p(\mathbf{x}|C_k)$与$p(C_k)$进行建模，通过条件概率公式可以得到$p(\mathbf{x},C_k)$进而得到$p(\mathbf{x})$。能否直接或间接对$p(\mathbf{x})$进行建模是生成模型和判别模型的本质区别。

生成模型分类

神奇的变换

在正式讲具体生成之前，先看一个神奇的变换。

对于二分类，判别概率为：

$$p(C_1|\mathbf{x}) = \frac{p(\mathbf{x}|C_1)p(C_1)}{p(\mathbf{x}|C_1)p(C_1) + p(\mathbf{x}|C_2)p(C_2)} = \frac{1}{1+exp(-a)}=\sigma(a) \tag{1}$$

其中

$$a= \ln \frac{p(\mathbf{x}|C_1)p(C_1)}{p(\mathbf{x}|C_2)p(C_2)}$$

对于多分类：

$$p(C_k|\mathbf{x})=\frac{p(\mathbf{x}|C_k)p(C_k)}{\sum _j p(\mathbf{x}|C_j)p(C_j)} = \frac{\exp(a_k)}{\sum_j \exp(a_j)} \tag{2}$$

其中:

$$a_k = \ln(p(\mathbf{x}|C_k)p(C_k))$$

连续特征

假设以类别条件概率$p(\mathbf{x}|C_k)$服从高斯分布：

$$p(\mathbf{x}|C_k)=\frac{1}{(2\pi)^{D/2}}\frac{1}{|\Sigma|^{1/2}}\exp\left\{ -\frac{1}{2}(\mathbf{x}-\mathbf{\mu}_k)^T\Sigma^{-1}(\mathbf{x}-\mu_k) \right\} \tag{3}$$

并且每一个类的协方差矩阵$\Sigma$相同。考虑二分类，将式(3)代入(1)中可得到：

$$p(C_1|\mathbf{x})=\sigma(\mathbf{w^Tx}+w_0) \tag{4}$$

其中:

$$\mathbf{w}=\Sigma^{-1}(\mu_1-\mu_2)\\ w_0 = -\frac{1}{2}\mu_1^{T}\Sigma^{-1}\mu_1+\frac{1}{2}\mu_2^{T}\Sigma^{-1}\mu_2+\ln{\frac{p(C_1)}{p(C_2)}} \tag{5}$$

因为$\Sigma​$相同，二次项抵消了，所以可以得到关于$\mathbf{x}​$的线性形式，也因此最终的分界面是线性的。如果协方差不同，最终的非线性的。

如上图所示，绿色类别和红色类别协方差相同，因此右边的分界面是线性的。与蓝色的协方差不同，因此分界面是非线性的。

对于K类，同样可以得到类似结果，式(2)中的

$$a_k = \mathbf{w_k^Tx}+w_{k0}$$

其中：

$$\mathbf{w_k}=\Sigma^{-1}\mu_k\\ w_{k0}=-\frac{1}{2}\mu_k^{T}\Sigma^{-1}\mu_k+\ln{p(C_k)}$$

模型求解

上一节已经对$p(\mathbf{x}|C_k)$进行了建模，要得到联合概率还需要对$p(C_k)$建模。对于二分类问题，这里简单假设$p(C_1)=\pi,p(C_2)=1-\pi$。则：

$$p(\mathbf{x}_n,C_1)=p(C_1)p(\mathbf{x}_n|C_1)=\pi N(\mathbf{x}_n|\mu_1,\Sigma) \\ p(\mathbf{x}_n,C_2)=p(C_2)p(\mathbf{x}_n|C_2)=(1-\pi) N(\mathbf{x}_n|\mu_2,\Sigma)$$

则似然函数为：

$$p(\mathbf{t,X}|\pi,\mu_1,\mu_2,\Sigma)=\prod_{n=1}^{N}[\pi N(\mathbf{x}_n|\mu_1,\Sigma) ]^{t_n}[(1-\pi) N(\mathbf{x}_n|\mu_2,\Sigma)]^{1-t_n} \tag{6}$$

利用最大似然估计可求解。

离散特征

对于离散特征，比如有D个特征，每个特征取值0或1，这个时候假设类别条件概率是高斯分布不合适，可采用二项分布(这里采用朴素贝叶斯的假设，假设每个特征相互独立)：

$$p(\mathbf{x}|C_k)=\prod_{i=1}^{D}\mu_{ki}^{x_i}(1-\mu_{ki})^{1-x_i}$$

使用该方式同样可以得到线性的分界面：

$$a_k = \sum_{i=1}^{D}\left\{ x_i \ln \mu_{ki} + (1 - x_i) \ln (1 - \mu_{ki})\right\} + \ln p(C_k)$$

为什么会得到线性分界面

通过上述推导可以发现，不管假设类别条件概率$p(\mathbf{x}|C_k)$服从高斯分布还是二项分布，最终得到的分界面都是线性的，为什么会这样呢？

不管是高斯分布还是二项分布，都属于指数分布的一种。指数分布的一般形式是：

$$p(\mathbf{x|\eta})=h(\mathbf{x})g(\mathbf{\eta})\exp{\left\{ \mathbf{\eta ^Tu(x)} \right\}}$$

引入放缩参数（正太分布里面的方差）后：

$$p(\mathbf{x|\eta},s)=\frac{1}{s}h(\frac{1}{s}\mathbf{x})g(\mathbf{\eta})\exp{\left\{ \frac{1}{s}\mathbf{\eta ^Tu(x)} \right\}}$$

高斯分布是指数分布好理解，对于二项分布：

$$p(x|\mu) = Bern(x|\mu)=\mu^x(1-\mu)^{(1-x)} = \exp{\left\{ x\ln \mu + (1 - x) \ln (1-\mu)\right\}} \\ = (1-\mu) \exp{\left\{ \ln \left( \frac{\mu}{1 - \mu} \right)x\right\}}$$

也可以看成指数分布的形式。

实际上，只要假设$p(\mathbf{x}|C_k)$服从指数分布$p(\mathbf{x}|\eta_k,s)$，并且类别之间共享$s$，$u(\mathbf{x})=x$，那么得到的分界面就是线性的。

对于二分类：

$$a(x) = \frac{1}{s}(\eta_1 - \eta_2)^T\mathbf{x}+\ln{g(\eta_1)}-\ln{g(\eta_2)} + \ln p(C_1) - \ln p(C_2)$$

对于多分类：

$$a_k(x)=\frac{1}{s}\eta_k^T\mathbf{x}+\ln g(\eta_k) + \ln p(C_k)$$

判别模型分类

使用判别模型进行分类会直接对$p(C_k|x)$进行建模，判别模型的好处是：

1. 学习的参数更少
2. 效果可能更好

下节有具体讲解。

Logistic regression

对于二分类问题，在生成模型中假设类别条件概率$p(\mathbf{x}|C_k)$为高斯分布得到式(4)所示形式：

$$p(C_k|\mathbf{x}) =y(x)= \sigma(\mathbf{w^Tx}+w_0) \tag{7}$$

其中$\mathbf{w}和w_0$由式(5)组成。既然$\mathbf{w}$是还是由参数决定的，为什么我们不直接学习$\mathbf{w}$？Logisitic regression就是这么做的。

原来使用生成模型的时候，对于二分类问题需要学习的参数有：$\mu_1,\mu_2,\Sigma$和$\pi$。假设数据是$M$维，总参数个数为：$M + M +(M+1)M/2+1=(M+5)M/2+1$，是随着$M$二次增长。

而使用Logisitic Regression需要学习的参数仅$M$个，随着$M$线性增长。

另一方面，由于原来生成模型对$\Sigma$有相同性假设，会作用到$\mathbf{w}$上，会限制最终模型，而判别模型直接学习$\mathbf{w}$则不会存在这个问题，效果可能更好。

对于给定数据集$\lbrace x_n,t_n \rbrace _1^{N}$，似然函数为：

$$p(\mathbf{t}|\mathbf{w})=\prod_{n=1}^{N}y_n^{t_n}(1-y_n)^{1-t_n}$$

可使用最大似然估计求解：

$$\min~~~E(\mathbf{w}) = -\ln p(\mathbf{t}|\mathbf{w})=-\sum_{n=1}^{N} \left\{ t_n\ln y_n + (1-t_n) \ln (1 - y_n)\right\}$$

有个很有意思的观察：

$$\frac{\partial E(\mathbf{w})}{\partial x_n} = t_n - y_n$$

即如果样本线性可分，最优的模型预测结果必须无限接近真实标签。考虑到sigmoid函数的形状，即要求$\mathbf{w^Tx}+w_0$趋近于$\pm \infty$，所以$\mathbf{w}$的模也会趋近于无穷。这个时候对于第$k$类样本，其预测概率$p(C_k|x) \rightarrow 1$，发生严重过拟合。

这个是证明最大似然估计存在过拟合问题的一个具体例子，这种情况可以通过最大后验估计缓解（等价于加入正则）。

以上是对于二分类问题的处理，对于多分类问题处理方法类似，其模型假设为：

$$p(C_k|\mathbf{x}) = y_k(\mathbf{x}) =\frac{\exp(a_k)}{\sum_i\exp(a_i)}$$

其中$a_k = \mathbf{w^Tx}$。似然函数如下：

$$p(\mathbf{T}|\mathbf{w}_1,\mathbf{w}_2,\cdots,\mathbf{w}_K) = \prod_{n=1}^N \prod_{k=1}^{K}p(C_k|\mathbf{x_n})^{t_{nk}}=\prod_{n=1}^N \prod_{k=1}^{K}y_{nk}^{t_{nk}}$$

剩余通过最大似然估计求解即可。

Probit regression

生成模型中假设类别条件概率$p(\mathbf{x}|C_k)$服从指数分布可以得到式（4）和式（7）的简单形式，但是并不是所有的假设都能得到这种形式，Probit regression是一种更一般的线性分类模型。

对于二分类问题，线性分类模型的一般形式为：

$$p(t=1|a)=f(a)=f(\mathbf{w^Tx}) \\ \begin{cases} t_n= 1~~~~if ~~a_n\geq \theta\\ t_n=0~~~~ otherwise. \end{cases} \tag{8}$$

在线性回归中$f​$是sigmoid函数，其可以看成一个概率密度累积函数，更一般的形式是：

$$f(a)=\int_{-\infty}^ap(\theta)d\theta \tag{9}$$

其曲线如图下图中红色曲线所示：

符合式（9）形式的激活函数称之为Probit function，使用Probit function作为激活函数的线性分类模型叫做Probit regression。

Probit function的几个代表是:

1. Inverse probit function：

   $$\Phi(a)=\int_{-\infty}^{a}N(\theta|0,1)d\theta$$

   即正太分布的概率密度累积函数，其形状和sigmoid函数很相似，其形状如下图虚线所示，红线表示sigmoid函数。

   

2. eft function / error function

   $$\Phi(a) = \frac{1}{2}\lbrace 1 + \frac{1}{\sqrt{2}}\text{erf}(a) \rbrace \\ \text{erf}(a) = \frac{2}{\sqrt{\pi}}\int_{0}^{a}\exp(-\theta^2)$$

不管是Inverse probit function还是eft function，都是$\exp(-x^2)$，相较于logistic regression的$\exp(-x)$，其对噪声更为敏感。

如果处理噪声？

在实际情况中，不可避免得会有些数据被打上了错误标签，从而产生噪声。使用概率模型建模可以很好处理这一点：

$$p(t|x) = (1 - \epsilon)\sigma(x)+\epsilon(1 - \sigma(x)) = \epsilon+(1-2\epsilon)\sigma(x)$$

$\epsilon$是个很小的参数，表示有$\epsilon$的概率打错标签。