# 在 scikit-learn 中构建处理异构数据的复合模型：Pipeline 与 ColumnTransformer
## 摘要
本文基于 scikit-learn 1.4.2 文档（采集于 2026 年 11 月 3 日），介绍如何利用 Pipeline 和 ColumnTransformer 组合处理文本、数值等混合特征，并防止交叉验证中的数据泄露。内容包括构建流程、嵌套参数设置、缓存机制及针对不同类型列的转换策略。
## 核心概念：Pipeline 与数据安全性
在 scikit-learn 中，`Pipeline` 用于将多个估计器（transformers）或预测器（predictors）串联成一个复合估计器。其核心优势在于“封装”与“安全”。当调用 `fit` 方法时，Pipeline 会依次对每个步骤进行转换并传递给下一步，最后由最后一个步骤执行预测。
特别重要的是**安全性**。在交叉验证（如网格搜索）场景中，如果预处理步骤（如标准化、填充缺失值）直接作用于原始数据，可能会将测试集的统计量泄露到训练模型中。Pipeline 通过确保所有变换器仅在训练集上拟合，从而避免了这种数据泄露问题。
## ColumnTransformer：处理异构数据的关键工具
对于包含不同类型特征（如文本、数值、类别变量）的数据集，`ColumnTransformer` 允许对不同的列应用特定的预处理或特征提取步骤。
### 基本用法示例
假设有一个包含城市名称（类别）、文章标题（文本）和评分（数值）的数据集。我们可以定义如下转换逻辑：
- 对 `city` 列使用 `OneHotEncoder` 进行独热编码。
- 对 `title` 列使用 `CountVectorizer` 提取词袋特征。
- 对其他剩余列（如评分）可以选择忽略（`remainder='drop'`）或保留（`remainder='passthrough'`）。
代码构建示例如下：
```python
from sklearn.compose import ColumnTransformer
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.preprocessing import OneHotEncoder
# 定义转换器列表，每个元素为 (名称, 估计器, 列选择)
column_trans = ColumnTransformer(
[('categories', OneHotEncoder(dtype='int'), ['city']),
('title_bow', CountVectorizer(), 'title')],
remainder='drop', verbose_feature_names_out=False)
```
### 灵活的列选择方式
`ColumnTransformer` 支持多种列选择方式：
- **字符串**：引用 DataFrame 的列名（如 `'title'`）。
- **列表/整数数组/切片/布尔掩码**：适用于数组或 DataFrame。
- **make_column_selector**：可根据数据类型或模式自动选择列，例如选择所有数值型列或名称包含特定模式的列。
```python
from sklearn.preprocessing import StandardScaler
from sklearn.compose import make_column_selector
column_trans = ColumnTransformer([
('scale', StandardScaler(), make_column_selector(dtype_include=np.number)),
('onehot', OneHotEncoder(), make_column_selector(pattern='city', dtype_include=object))
])
```
### 处理剩余列的策略
- `remainder='drop'`：忽略未指定的列。
- `remainder='passthrough'`：保留原始列并追加到结果中。
- `remainder=<Estimator>`：对剩余列应用指定的变换器（如 `MinMaxScaler`）。
## 嵌套参数与网格搜索
在 Pipeline 中，估计器的参数是“嵌套”的。例如，若 Pipeline 名为 `pipe`，其内部步骤为 `clf`，则可通过 `pipe.set_params(clf__C=10)` 设置 SVM 的惩罚系数 C。
在进行网格搜索时，需使用双下划线语法指定嵌套参数：
```python
from sklearn.model_selection import GridSearchCV
param_grid = dict(
reduce_dim__n_components=[2, 5, 10],
clf__C=[0.1, 10, 100]
)
grid_search = GridSearchCV(pipe, param_grid=param_grid)
```
此外，在参数网格中可直接将某个步骤替换为 `'passthrough'` 或 `'drop'`，实现动态调整模型结构。
## 缓存机制：避免重复计算
当 Pipeline 包含多个变换器时，拟合过程可能耗时。通过设置 `memory` 参数，Pipeline 会在首次拟合后缓存已训练的变换器。在网格搜索中，若输入数据和参数不变，可复用缓存结果，提高效率。
```python
from sklearn.pipeline import Pipeline
cached_pipe = Pipeline(estimators, memory=cachedir)
```
注意：启用缓存后，原始估计器实例会被克隆，无法直接访问其属性（如 `components_`），需通过 `named_steps` 访问已拟合的变换器。
## 可视化与调试
在 Jupyter Notebook 中，复合估计器默认以 HTML 形式展示，便于诊断复杂 Pipeline 结构。也可通过 `set_config(display='text')` 切换为文本模式，或使用 `estimator_html_repr` 导出为 HTML 文件。
---
**结语**：结合 `Pipeline`、`ColumnTransformer` 及网格搜索工具，可构建高效、安全且灵活的异构数据处理流程。关键在于理解各组件的作用机制，并正确设置参数以避免数据泄露和计算冗余。