Scikit Learn是Python中应用最广泛的机器学习库,封装了大量成熟的算法和工具,支持分类、回归、聚类、降维等多种任务,同时提供了数据预处理、模型选择、效果评估等配套功能,大幅降低了机器学习的开发门槛。

Scikit Learn的核心模块
Scikit Learn的模块划分非常清晰,常用的核心模块包括以下几类:
- datasets:内置了大量经典数据集,方便用户快速测试算法,也可以用于加载自定义数据。
- preprocessing:提供数据预处理功能,包括特征缩放、编码、缺失值处理等。
- model_selection:包含数据集划分、交叉验证、网格搜索等模型选择相关工具。
- metrics:提供各类模型评估指标的计算函数,如准确率、召回率、均方误差等。
- ensemble、linear_model、svm、neighbors等:对应不同类别的机器学习算法实现。
基础使用流程
使用Scikit Learn完成一个机器学习任务通常遵循以下固定流程:
- 加载并准备数据集
- 划分训练集和测试集
- 对数据进行预处理
- 选择并初始化模型
- 训练模型
- 用测试集评估模型效果
- 根据需求进行参数调优或模型保存
实例演示:鸢尾花分类任务
下面以经典的鸢尾花数据集为例,演示完整的分类任务实现过程。
1. 加载数据集并划分训练测试集
首先加载内置的鸢尾花数据集,然后将数据划分为训练集和测试集,测试集占比设为20%。
# 导入所需模块
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
# 加载鸢尾花数据集
iris = load_iris()
X = iris.data # 特征数据
y = iris.target # 标签数据
# 划分训练集和测试集,random_state保证结果可复现
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
print("训练集特征形状:", X_train.shape)
print("测试集特征形状:", X_test.shape)
2. 数据预处理
很多机器学习算法对特征尺度敏感,因此需要对特征进行标准化处理,将不同特征的数值缩放到相近的范围。
from sklearn.preprocessing import StandardScaler # 初始化标准化器 scaler = StandardScaler() # 用训练集拟合标准化器并转换训练集数据 X_train_scaled = scaler.fit_transform(X_train) # 用训练集拟合的标准化器转换测试集数据,避免数据泄露 X_test_scaled = scaler.transform(X_test)
3. 模型训练与预测
这里选择K近邻分类器作为示例模型,初始化后用训练集数据拟合模型,再用测试集进行预测。
from sklearn.neighbors import KNeighborsClassifier # 初始化K近邻分类器,n_neighbors设为3 knn = KNeighborsClassifier(n_neighbors=3) # 用训练集数据训练模型 knn.fit(X_train_scaled, y_train) # 用测试集数据进行预测 y_pred = knn.predict(X_test_scaled)
4. 模型评估
使用准确率、分类报告等指标评估模型在测试集上的表现。
from sklearn.metrics import accuracy_score, classification_report
# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print("模型准确率:", accuracy)
# 输出分类报告,包含精确率、召回率、F1值等指标
print("分类报告:")
print(classification_report(y_test, y_pred, target_names=iris.target_names))
5. 参数调优
可以通过网格搜索自动寻找最优的超参数组合,提升模型效果。
from sklearn.model_selection import GridSearchCV
# 定义要搜索的参数范围
param_grid = {
'n_neighbors': [1, 3, 5, 7, 9],
'weights': ['uniform', 'distance']
}
# 初始化网格搜索器,使用5折交叉验证
grid_search = GridSearchCV(KNeighborsClassifier(), param_grid, cv=5)
# 用训练集拟合网格搜索器
grid_search.fit(X_train_scaled, y_train)
print("最优参数组合:", grid_search.best_params_)
print("最优交叉验证得分:", grid_search.best_score_)
# 用最优模型在测试集上评估
best_model = grid_search.best_estimator_
y_pred_best = best_model.predict(X_test_scaled)
print("调优后模型准确率:", accuracy_score(y_test, y_pred_best))
常见问题与注意事项
- 数据预处理时,必须先用训练集拟合预处理工具,再分别转换训练集和测试集,避免测试集的信息泄露到训练过程中。
- 不同的算法适用场景不同,比如线性模型适合线性关系的数据,树模型对特征尺度不敏感,不需要强制做标准化。
- 评估模型时要优先使用测试集或者交叉验证的结果,避免只看训练集得分导致过拟合判断失误。
- 如果任务中需要处理文本、图像等非结构化数据,需要先将其转换为数值特征,再传入Scikit Learn的模型。
PythonScikit_Learn机器学习分类模型数据预处理修改时间:2026-06-23 23:18:17