特征选择是数据预处理阶段中的重要步骤，它通过筛选和挑选对模型预测目标有重要影响的特征，从而降低模型复杂度并提高泛化能力。特征选择方法包括过滤法、包装法和嵌入法。在过滤法中，可以利用方差选择、相关系数、互信息等指标来选择特征；在包装法中，可以使用递归特征消除、正向选择等方法；在嵌入法中，可以基于模型的特征重要性进行选择。特征选择有助于减少特征空间的维度，降低过拟合风险，提高模型的泛化能力，并加快模型训练速度。下面是一个示例：

from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import f_classif
X_new = SelectKBest(f_classif, k=5).fit_transform(X, y)

在示例中，使用SelectKBest方法基于f统计量来选择与目标变量最相关的5个特征，从而降低了模型的复杂度，并提高了模型的泛化能力。