Driverless AI 实验超时通常不是单一原因，而是时间预算、早停阈值、特征工程复杂度和底层资源竞争共同作用的结果。时间预算决定实验整体可以用多长时间，早停则决定单个迭代模型在没有明显提升后是否及时终止。两者若没有协同，就会出现整体时间被耗尽却仍未产出理想模型，或者模型已经收敛却继续空转的情况。要解决超时，需要从这两个机制入手，分别设置合理参数，并在实验日志中验证实际消耗。
一、时间预算与早停分别控制什么
在 Driverless AI 的交互界面中，time 滑块一般控制实验可用的总时间规模，但它不是一个精确的秒数，而是与 accuracy、数据规模和特征复杂度共同作用。时间滑块越高，平台越倾向于尝试更多模型、执行更复杂的遗传算法特征生成，并构建更深的集成模型。除了总时间，专家设置中通常还可以对单模型训练时间进行限制，例如类似 max_runtime_per_model_seconds 这样的参数，用于防止某一个高成本模型占用过多资源。
早停机制主要作用于迭代式算法。以 GBM、XGBoost、LightGBM 为例，模型会逐轮增加树或迭代次数，每一轮在验证集上评估指标。如果在连续若干轮中没有刷新最优分数，训练就会被提前终止，并回退到历史最优模型。早停可以有效减少无效迭代，但它只作用于训练阶段，无法压缩数据加载、特征工程、模型搜索和集成的时间。因此，单独调紧早停不能让总时间大幅缩短，还需要配合总预算的拆分。
二、为什么设置了时间预算仍然超时
一个常见误判是以为设置时间预算后所有阶段都能被严格控制在预算内。实际上，Driverless AI 实验包含多个阶段，数据读取、特征变换、遗传算法搜索、模型训练和最终集成都会消耗时间。某些阶段在超大宽表或高基数类别特征上可能单步耗时很长，即使总预算已经到达，当前步骤仍可能继续执行直到该步骤结束，从而造成超时。
早停参数过松也是重要原因。比如在专家设置中把连续停止轮数设得很大，或者把容忍度设得非常低，模型就会在验证指标长期不提升的情况下继续训练。另一个隐形因素是硬件资源竞争，如果 GPU 被其他任务占用、内存不足触发交换，或者磁盘 IO 成为瓶颈，都会让相同参数下的耗时显著增加。此时日志中看到的现象往往是模型训练时间远高于预期，但 CPU 或 GPU 利用率却不高。
排查时建议优先查看实验日志中的时间线，定位每个模型的开始时间、结束时间和迭代次数。如果多个模型都在接近实验总时长上限时被强制终止，说明总预算不足；如果某些模型训练了很长时间但验证指标没有改善，说明早停条件需要收紧；如果单次迭代时间异常长，则需要检查数据读取和资源使用情况。
三、配置方法：拆分预算与收紧早停
合理的配置顺序是先做小规模采样实验，获得单模型的基准耗时和大致迭代曲线。比如从原始数据中抽取 20% 到 30% 的样本，先跑一个较短的时间预算，观察某个 GBM 模型在多少秒内完成多少轮迭代。根据这个基准，再放大到全量数据，并预留出至少 20% 的时间余量给特征工程和集成。不要把全部预算压在单个模型上，因为 Driverless AI 的最终效果往往来自多模型集成和特征组合，而不是某一个模型训练到极致。
早停参数需要根据任务类型分别设置。分类任务可以围绕 AUC 或对数损失设置停止指标，回归任务则参考 RMSE 或 MAE。连续停止轮数一般设为 3 到 5 轮比较稳妥，太小容易因为验证集波动提前终止，太大则浪费训练时间。容忍度的取值要结合指标量级，AUC 约 0.001 可以作为起点，RMSE 则需要根据目标变量的单位调整。不要盲目追求极小容忍度，否则模型可能因为正常波动永远无法触发早停。
下面是用 Python 客户端创建实验并传入专家设置的一个示例：
import h2oai_client
client = h2oai_client.Client(address="http://127.0.0.1:12345", username="user", password="pass")
experiment = client.create_experiment(
train_dataset=train_key,
target_column="target",
accuracy=7,
time=4,
interpretability=6,
scorer="AUC",
config_overrides="early_stopping=true,early_stopping_rounds=3,early_stopping_tolerance=0.001,max_runtime_per_model_seconds=600"
)
这里的 config_overrides 用于覆盖部分专家设置，参数名在不同版本中可能略有差异，应以当前环境的专家设置面板为准。示例中开启了早停，连续 3 轮没有提升就停止，并将单模型最大训练时间限制在 600 秒。这样即使某个模型特别慢，也不会完全耗尽实验总时间。
四、超时后的排查与恢复
实验已经超时但不必急着从头重跑。Driverless AI 在训练过程中通常会保存已经产生的最佳模型，即使实验被中断，日志和模型列表中往往仍有可用的结果。先到实验详情中查看已完成模型的评分和迭代曲线，选择验证指标最好的模型导出。很多情况下，这个模型已经能满足业务需求，或者可以作为后续继续调优的基础。
如果需要继续提升，可以考虑基于已有模型进行重新训练或继续演化，而不是完全从零开始。同时适当降低 accuracy，减少遗传算法特征搜索的代数或种群大小，或者限制参与训练的特征数量。针对超宽表，可以关闭部分高成本的特征变换，优先保留解释性较强的原始特征。这样能在不牺牲太多效果的前提下，明显缩短实验时间。
长期来看，建议为不同规模的数据集建立时间预算对照表。先在抽样数据上获得基准，再按数据行数和列数的增长关系放大预算。监控磁盘 IO、内存和 GPU 利用率，如果训练时 GPU 利用率长期低于 50%，而 CPU 也处于等待状态，往往说明时间主要花在数据读取或特征生成上，此时应调整数据格式、减少高成本特征工程，而不是继续增加时间预算。
Driverless AI时间预算早停修改时间：2026-10-03 18:18:38