数据预处理中的缺失值填充

在面对缺失值较多的数据集时，选择合适的填充方法是非常重要的。以下是一些常见的填充方法和选择策略：

1. 均值/中位数填充

   • 适用于连续型数值特征，缺失值较多的情况下可以保持数据分布的一定稳定性。
   • 示例：

   df['age'].fillna(df['age'].mean(), inplace=True)
   

2. 众数填充

   • 适用于离散型数值特征，填充缺失值不会引入新的数值。
   • 示例：

   df['education'].fillna(df['education'].mode()[0], inplace=True)
   

3. 插值填充

   • 适用于连续型数值特征，通过已知数据点的线性或非线性插值来估计缺失值。
   • 示例：

   df['temperature'].interpolate(method='linear', inplace=True)
   

4. 丢弃特征/样本

   • 如果特征或样本的缺失值过多，可以考虑丢弃该特征或样本。
   • 示例：

   df.dropna(subset=['feature1', 'feature2'], inplace=True)
   

5. 使用模型预测填充

   • 利用已有数据集的其他特征值和标签值构建模型，预测缺失值。
   • 示例：

   from sklearn.ensemble import RandomForestRegressor
   def fill_missing(model, df, col):
       known = df[df[col].notna()]
       unknown = df[df[col].isna()]
       model.fit(known.drop(col, axis=1), known[col])
       predicted = model.predict(unknown.drop(col, axis=1))
       df.loc[df[col].isna(), col] = predicted
   fill_missing(RandomForestRegressor(), df, 'income')
   

选择填充方法的策略包括了对数据的类型、分布和特征之间的关系进行综合考量，以便保持数据的准确性和代表性。