主要内容:

一.模型介绍

二.算法过程

三.算法性能评估及ε(threshold)的选择

四.Anomaly detection vs Supervised learning

五.Multivariate Gaussian

一.模型介绍

如何检测一个成品是否异常?

吴恩达机器学习笔记(九) —— 异常检测(Anomaly detection)-LMLPHP

假设红交叉表示正常的样本点,如果抽取到的成品其位于正常样本点的范围之内,则可认为其正常;如果成品的位置远离正常样本点,则可认为其出现异常。

为了更加明确“正常样本点”的范围,我们添加圈圈以划定区域,如:

吴恩达机器学习笔记(九) —— 异常检测(Anomaly detection)-LMLPHP

此时,选择一个threshold,即ε,以划定正常与异常的边界。

当p(Xtest) >= ε,可认为是正常;

当p(Xtest) < ε,可认为是异常。

而这个p()就是高斯分布函数,即正态分布函数。

二.算法过程

吴恩达机器学习笔记(九) —— 异常检测(Anomaly detection)-LMLPHP

注意,此限制是:所有特征都必须相互独立,才满足公式:P(AB) = P(a)*P(B)。

三.算法性能评估及ε(threshold)的选择

吴恩达机器学习笔记(九) —— 异常检测(Anomaly detection)-LMLPHP

吴恩达机器学习笔记(九) —— 异常检测(Anomaly detection)-LMLPHP

四.Anomaly detection vs Supervised learning

貌似利用高斯分布函数来检测异常的方法跟Logistic回归进行二分类的方法十分相似。确实如此,但两者有不同的使用场合:

吴恩达机器学习笔记(九) —— 异常检测(Anomaly detection)-LMLPHP

吴恩达机器学习笔记(九) —— 异常检测(Anomaly detection)-LMLPHP

五.Multivariate Gaussian

之前使用的高斯分布函数都要求各个特征相互独立,而现实往往并非如此。因此需要使用Multivariate Gaussian(不知道中文应该怎么叫,就先叫做多维正态分布吧),它适用于特征不独立的条件。

而讲到多维正态分布,就离不开讲协方差矩阵。

1) 当各个特征相互独立时,其协方差矩阵为对角矩阵,其中对角线元素即为其每个特征的方差。而分布图其实“随坐标轴”的。

吴恩达机器学习笔记(九) —— 异常检测(Anomaly detection)-LMLPHP

2) 当各个特征不相互独立时,其协方差矩阵就不是对角矩阵了。而其分布图是“不随坐标轴”的。

吴恩达机器学习笔记(九) —— 异常检测(Anomaly detection)-LMLPHP

有关协方差的含义,可看此博客:终于明白协方差的意义了

了解多维正态分布后,就可以用它来改进检测方法了:

吴恩达机器学习笔记(九) —— 异常检测(Anomaly detection)-LMLPHP

虽然改进后的多维正态分布适用性更强了,但却不一定处处体现出优势。因此以下列出了原始模型与改进模型的使用条件:

吴恩达机器学习笔记(九) —— 异常检测(Anomaly detection)-LMLPHP

05-11 15:50