数据离群值检测和清洗

在数据分析中，离群值是指与大部分数据显著不同的数值，它们可能是由于输入错误、测量错误或者真实异常情况所导致。对数据进行离群值检测和清洗的有效方法包括：

方法

1. Z-Score 方法
   • 工作原理：通过计算数据点与数据集均值的标准偏差之间的差异来识别离群值。
   • 步骤：
     1. 计算数据的均值和标准偏差。
     2. 使用Z分数公式计算每个数据点的Z分数。
     3. 根据设定的阈值，识别Z分数超过阈值的数据点作为离群值。
2. 箱线图方法
   • 工作原理：利用数据的四分位范围进行离群值检测。
   • 步骤：
     1. 绘制数据的箱线图。
     2. 根据箱线图上下限之外的数据点来识别离群值。
3. 密度估计方法
   • 工作原理：基于数据点的密度来识别离群值。
   • 步骤：
     1. 使用核密度估计方法对数据进行密度估计。
     2. 识别密度估计曲线中低密度区域的数据点作为离群值。

示例

假设有一个包含身高数据的数据集，我们可以使用Z-Score方法来检测和清洗离群值：

import pandas as pd
from scipy import stats

data = pd.Series([170, 165, 168, 180, 160, 200, 155, 190, 175, 185, 150, 210])
threshold = 2
z_scores = stats.zscore(data)
outliers = data[abs(z_scores) > threshold]
clean_data = data[abs(z_scores) <= threshold]
print('离群值:', outliers)
print('清洗后的数据:', clean_data)

在示例中，我们使用了Z-Score方法来检测身高数据中的离群值，并将其清洗掉。