异常值检测！最佳统计方法实践（代码实现）！⛵

💡 异常值 Q&A

异常值是距离其他数据值太远的数据点，也被称为离群点。它可能是自然发生的，也可能是由于测量不准确、拼写错误或系统故障造成的。异常值也可能出现在倾斜数据中，这些类型的异常值被认为是自然异常值。

💦 异常值对分布有什么影响？

异常值会影响数据的均值、标准差和四分位数值。如果我们在去除异常值之前和之后计算这些统计数据，可能会有比较大的差异。

💦 异常值对机器学习模型有什么影响？

• 如果认为异常值是自然的，不是由于测量错误产生的 → 应该将其保留在数据集中，并用『标准化』等数据预处理方式处理。
• 如果有一个包含少量异常值的大型数据集 → 应该将其保留，不会显著影响结果。
• 如果确定异常值是由测量误差造成的 → 应该将它们从数据集中删除。

去除异常值会带来数据集规模的减小，而且模型的适用性也会限制在输入值的度量范围内，丢弃自然异常值也可能导致模型不准确。

💡 基于可视化的异常值检测

异常值不容易被『肉眼』检测到，但我们有一些可视化工具可以帮助完成这项任务。最常见的是箱线图和直方图。我们这里用 🏆保险数据来做一个讲解：

我们首先导入必要的库并加载数据集。

import numpy as np
import pandas as pd
import seaborn as sns
import statistics#Load dataset:
df = pd.read_csv('insurance.csv')
df

我们对变量『年龄』、『体重指数』和『费用』进行异常值检测分析。

第一种方法是使用箱线图 / Box-Plots 来绘制数据分布：

# age, bmi 和 expenses的箱线图绘图
sns.boxplot(y="age", data=df)
sns.boxplot(y="bmi", data=df)
sns.boxplot(y="expenses", data=df)

通过查看箱线图，我们可以看到变量 age 没有异常值，变量 bmi 在上限中有一些异常值，而变量 expense 在上限中有一系列异常值（表明存在偏态分布）。

为了检查偏态分布，我们再使用直方图绘图：

# age, bmi 和 expenses的直方图
sns.histplot(df, x="age", kde=True)
sns.histplot(df, x="bmi", kde=True)
sns.histplot(df, x="expenses", kde=True)

通过直方图，我们可以看到变量『age』是近似均匀分布，『bmi』接近正态分布，而『expense/费用』则呈偏态分布。

对于年龄，我们无需做异常值剔除；对于 bmi，我们将剔除高于 47 的值；对于费用，我们将剔除高于 50000 的值。

#bmi 和 expenses 的异常值处理
df.drop(df[df['bmi'] >= 47].index, inplace = True)
df.drop(df[df['expenses'] >= 50000].index, inplace = True)

现在，如果我们再次检查箱线图和直方图：

💡 基于统计方法的异常值检测

检测异常值有两种主要的统计方法：使用 z 分数和使用四分位距。

💦 使用 z 分数检测异常值

Z 分数是一种数学变换，它根据每个观测值与平均值的距离对其进行分类。z-score 的计算公示为：

我们定义异常检测标准：如果 z-score 小于 -3或 z-score 大于 3。

我们将重新加载数据集，因为我们在前面的示例中对其进行了更改，加载后的数据上我们会把变量转换为 z 分数：

# 重新加载数据
df = pd.read_csv('insurance.csv')

# 为age计算均值和标准差
mean_age = statistics.mean(df['age'])
stdev_age = statistics.stdev(df['age'])

# 计算z值
age_z_score = (df['age']-mean_age)/stdev_age

# 添加z结果到原dataframe
df['age_z_score'] = age_z_score.tolist()

现在我们将检查高于 3SD 或低于 -3SD 的值：

# 检测小于-3SD的值:
df.sort_values(by=['age_z_score'], ascending=True)

我们可以看到 -3SD 以下没有值。我们现在将检查 3SD 以上的值：

# 检测+3SD以上的值:
df.sort_values(by=['age_z_score'], ascending=False)

我们可以看到没有高于 3SD 的值。变量年龄没有异常值。

现在我们将对变量 bmi 执行相同的操作：

# 为bmi计算均值和标准差
mean_bmi = statistics.mean(df['bmi'])
stdev_bmi = statistics.stdev(df['bmi'])

# 为bmi计算z-score
bmi_z_score = (df['bmi']-mean_bmi)/stdev_bmi

# 添加到原始dataframe
df['bmi_z_score'] = bmi_z_score.tolist()

# 检查低于-3SD的值
df.sort_values(by=['bmi_z_score'], ascending=True)

# 检查大于3SD的值
df.sort_values(by=['bmi_z_score'], ascending=False)

这次我们会发现一些高于 3SD 的值：

我们对它进行剔除：

# 异常值处理
df.drop(df[df[‘bmi_z_score’] >= 3].index, inplace = True)

我们将对『expense/费用』应用相同的技术：

# 为expenses计算均值和标准差
mean_expenses = statistics.mean(df['expenses'])
stdev_expenses = statistics.stdev(df['expenses'])

# 计算z-score
expenses_z_score = (df['expenses']-mean_expenses)/stdev_expenses

# 添加到原始dataframe
df['expenses_z_score'] = expenses_z_score.tolist()

# 检查低于-3SD的值
df.sort_values(by=['expenses_z_score'], ascending=True)

# 检查高于3SD的值
df.sort_values(by=['expenses_z_score'], ascending=False)

# 异常值处理
df.drop(df[df[‘expenses_z_score’] >= 3].index, inplace = True)

如果我们再次检查箱线图和直方图，我们将获得：

💦 使用四分位距检测异常值

四分位间距将数据分为四个部分，从低到高排序，如下图所示，每个部分包含相同数量的样本。第一个四分位数（Q1）是边界中数据点的值。这同样适用于 Q2 和 Q3。 四分位距（IQR）是两个中间部分的数据点（代表 50% 的数据）。四分位距包含高于 Q1 和低于 Q3 的所有数据点。如果该点高于 Q3 + (1.5 x IQR)，则存在较高的异常值，如果 Q1 - (1.5 x IQR)，则存在较低的异常值。

代码实现如下：

# 重新加载数据
df = pd.read_csv('insurance.csv')

# 计算上下四分位数位置
q75_age, q25_age = np.percentile(df['age'], [75 ,25])
iqr_age = q75_age - q25_age
iqr_age

# 计算上下边界以用于异常检测
age_h_bound = q75_age+(1.5*iqr_age)
age_l_bound = q25_age-(1.5*iqr_age)
print(age_h_bound)
print(age_l_bound)

我们计算得到上边界 87 和下边界 -9：

# 排序
df.sort_values(by=['age'], ascending=True)

# 排序
df.sort_values(by=['age'], ascending=False)

我们看到没有异常值。

我们对变量 bmi 执行相同的操作：

# 计算上下四分位数位置
q75_bmi, q25_bmi = np.percentile(df['bmi'], [75 ,25])
iqr_bmi = q75_bmi - q25_bmi
iqr_bmi

# 计算上下边界以用于异常检测
bmi_h_bound = q75_bmi+(1.5*iqr_bmi)
bmi_l_bound = q25_bmi-(1.5*iqr_bmi)
print(bmi_h_bound)
print(bmi_l_bound)

# 排序
df.sort_values(by=['bmi'], ascending=True)
df.sort_values(by=['bmi'], ascending=False)

# 剔除异常值
df.drop(df[df['bmi'] >= 47.3].index, inplace = True)
df.drop(df[df['bmi'] <= 13.7].index, inplace = True)

我们只需要对可变费用做同样的事情，我们将获得以下箱线图和直方图：

参考资料

• 📘 图解数据分析 | 数据清洗与预处理：https://www.showmeai.tech/article-detail/138