工作中经常需要在服务器(Centos)上敲代码，但是实在不习惯vim的按键习惯，也不满意默认的终端，想换上称手的emacs和zsh。但是由于没有服务器管理员权限，在安装过程中就碰到了各种问题，所幸最后都解决了，现做个记录。

在之前讲到的方法中，我们假设模型后，会通过最大似然估计或者最大后验概率估计推断出模型的最优参数，然后在该参数条件下使用判别概率分布做决断，即通过$p(C_k|\mathbf{x}, \mathbf{w}^{ML} / \mathbf{w}^{MAP})$做决断。这种方法实际上是从参数$\mathbf{w}$的分布上取一个最有可能的出现的参数（概率密度最大）作为模型的最终参数，而忽略了其他参数出现的可能性，不可避免产生过拟合问题，贝叶斯方法就是为了解决这一问题。

分类方法可分为三种：判别公式，生成模型和判别模型。生成模型和判别模型都是概率框架下的方法，不管是做分类或是做回归都有两步：

1. 推断(inference stage)：推断假设的概率模型中的参数，得到概率分布
2. 决策(decision stage)：选择适合的优化目标，根据概率分布决定最终的分类结果

最近因为要给学弟们讲课，重读了PRML第四章，把之前没读懂的都弄懂了，收获很大，现做个总结。

分类问题的方法可归结三类：判别公式（Discriminant function），生成模型（Generative model）和判别模型（Discriminative model）。后两者都是在概率框架下对概率分布进行建模，区别在于建模对象的不同，之后再详细讲。使用判别公式就相对比较简单粗暴，就是学习一个映射函数，直接将样本映射到标签。

近期做的一个风险评估项目中要用到AUC和KS，总结一下。

对于二分类，分类结果可归为四类：

注：T/F表示是否分错，P/N表示分到了正类或负类

论文及背景

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

这篇论文提出了深度学习里加速训练的一个策略：Batch Normalization

Softmax求导

之前也推导过Softmax求导过程，但是结论没记住，每次都要重新推，很麻烦，现做个记录。

机器学习算法中经常使用拉格朗日乘子法求解最优化问题，如PCA，SVM等。有时候还会用到拉格朗日的对偶问题（SVM中通过求解对偶问题得到原始问题的解）。这几天看了周志华西瓜书的附录和凸优化这本书的相关章节，现对拉格朗日及其对偶问题总结如下。

有时候我们会要求一个类只能存在一个对象，比如：

1. 一个系统中可以存在多个打印任务，但是只能有一个正在工作的任务；
2. 一个系统只能有一个窗口管理器或文件系统；
3. 一个系统只能有一个计时工具或ID(序号)生成器。

摘自百度百科“单例模式”

在机器学习的公式推导中大量运用了矩阵求导的知识，以前只是凭着函数求导的感觉来做，碰到矩阵转置的时候总是弄不清楚到底要不要转置。这几天看了下矩阵求导方面的知识，总结如下。

在本文中向量默认用列向量表示。