容器化AI服务的伸缩逻辑远比普通API服务复杂。一个部署在Kubernetes上的推理Pod启动后,需要经历镜像拉取、CUDA初始化、权重文件读取和显存分配等阶段,整个Ready过程可能超过一分钟。若只按照CPU或内存阈值扩容,系统会在指标升高后才创建新Pod,当新实例真正接受请求时,突发流量往往已经造成超时或排队溢出。因此,弹性伸缩策略需要围绕推理服务特有的就绪时间、GPU资源与业务指标重新设计。

一、为什么不能照搬Web服务的伸缩规则
无状态Web应用通常启动快、请求短、资源消耗与请求量基本线性相关,用QPS、CPU使用率可以较好判断是否扩容。AI推理服务则不同:模型权重可能达到数GB甚至数十GB,加载需要读盘和反序列化;GPU显存分配后,还要完成算子编译或内核自动调优,这些开销不会因为容器已经Running而立即消失。若就绪探针配置过松,Pod会过早接入流量,出现刚启动就OOM或超时的情况。
另一个差异是请求类型。对话式大模型可能一次推理持续数秒到数十秒,流式输出和长连接使并发数不能直观反映资源压力。批量推理任务则更关注吞吐和队列积压,而不是简单的请求数。因此,衡量AI服务是否需要扩容,必须引入队列深度、推理延迟、GPU利用率、显存使用率等业务指标,并在Prometheus或类似系统中持续采集。
资源成本也决定了伸缩策略不能太激进。GPU节点价格高,某些集群中可用显卡数量有限。如果minReplicas设得过大,低峰期也会占用昂贵资源;如果扩容阈值过窄,又会频繁触发副本数变化,导致模型反复加载,既浪费功耗又拖慢响应。所以需要根据流量模型做好容量规划。
二、用自定义指标和事件驱动实现精准扩容
Kubernetes原生的HPA支持CPU和内存指标,但在AI场景通常不够。可以通过Prometheus Adapter把自定义指标暴露给HPA。常见做法是在推理服务进程内维护一个队列深度计数器,当请求到达时加一,处理完成时减一,并通过/metrics接口暴露为Prometheus Gauge。HPA依据该指标的平均值创建或删除Pod。例如当队列深度持续高于5时扩容,低于1时缩容。示例:
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
name: inference-hpa
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: llama-inference
minReplicas: 2
maxReplicas: 20
metrics:
- type: Pods
pods:
metric:
name: inference_queue_depth
target:
type: AverageValue
averageValue: "5"
behavior:
scaleDown:
stabilizationWindowSeconds: 300
policies:
- type: Percent
value: 20
periodSeconds: 60
scaleUp:
stabilizationWindowSeconds: 0
policies:
- type: Pods
value: 2
periodSeconds: 30
上面策略使用队列深度平均值作为扩容依据,并设置了缩容稳定窗口为300秒,避免短暂低峰导致副本数骤降后又重新加载模型。不过HPA仍然需要有Pod副本存在。如果希望低峰期缩到零,可以使用KEDA。KEDA基于事件源驱动Deployment副本数,在无请求时可将副本降为0,有消息或请求时再拉起。以下是一个基于Prometheus指标的ScaledObject示例,将队列深度作为触发条件:
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
name: inference-scaler
spec:
scaleTargetRef:
name: inference-deployment
minReplicaCount: 0
maxReplicaCount: 30
cooldownPeriod: 180
triggers:
- type: prometheus
metadata:
serverAddress: http://prometheus.monitoring.svc:9090
metricName: inference_queue_depth
threshold: "5"
query: sum(inference_queue_depth{namespace="ai"})
缩到零对离线评测、低频模型调用等场景非常有用,但也要注意从零启动的冷启动时间可能会叠加最大不可用延迟。可以配合启动探针和预热机制,或保留一个最小副本用于突发场景,后面会展开。
三、降低冷启动延迟与实际可用性调整
模型加载往往是决定扩容效果的关键。假设一个13B参数模型的权重约26GB,从对象存储下载可能耗时几十秒,再加载到GPU并完成KV Cache分配又需要几十秒。如果每次扩容都重新拉取权重,扩容周期可能超过两分钟。可以提前把权重打包进镜像,或通过持久卷缓存到节点。镜像本身也要分层设计,运行时不频繁变动的依赖放底层,模型文件单独一层,便于复用。
进一步优化可以从推理引擎入手,使用TensorRT、ONNX Runtime或vLLM等工具对模型做量化和算子融合。FP16或INT8量化能显著降低显存占用,使单卡可承载更多副本,也能缩短反序列化时间。对于支持连续批处理的服务,单副本能同时处理更多请求,变相降低必要扩容频率。代价是可能牺牲一定精度,需要提前评估。
就绪探针和启动探针的设置同样重要。建议为AI服务配置启动探针,给予足够首次加载时间,例如failureThreshold为30次、periodSeconds为10秒,即最长300秒。就绪探针不要只检查进程是否存活,而应调用一个轻量推理接口,确认模型已完成加载且能正确返回结果。否则负载均衡器会把未就绪Pod纳入后端,导致请求失败。
apiVersion: apps/v1
kind: Deployment
metadata:
name: inference-deployment
spec:
replicas: 2
template:
spec:
containers:
- name: inference
image: registry.ipipp.com/llama-inference:quantized
ports:
- containerPort: 8000
startupProbe:
httpGet:
path: /health/ready
port: 8000
periodSeconds: 10
failureThreshold: 30
readinessProbe:
httpGet:
path: /v1/health
port: 8000
periodSeconds: 5
failureThreshold: 3
resources:
limits:
nvidia.com/gpu: 1
requests:
nvidia.com/gpu: 1
其中startupProbe给足首次加载窗口,readinessProbe只在真正可处理推理时通过。这样既能避免Pod未就绪时接入流量,也能在模型加载失败时及时标记不可用。
四、压测与防抖策略决定最终效果
伸缩是否可靠需要压测验证。测试时关注三个指标:从触发扩容到新Pod Ready的时间、扩容期间的请求排队等待时间、缩容后是否有请求被中断。建议用分批加压的方式模拟真实流量,比如每30秒增加一定并发,记录HPA或KEDA的副本数变化曲线。如果扩容时间仍超过两分钟,可考虑预先启动部分备用Pod,或者把流量先缓存在消息队列中,避免直接失败。
防抖配置常被忽视,但直接影响资源成本和稳定性。HPA的缩容策略应设置稳定窗口与百分比限幅,防止指标瞬间下降导致大量副本被同时删除。KEDA的cooldownPeriod也一样,表示触发条件不再满足后继续等待多久才缩容。对于启动开销高的推理服务,通常建议缩容窗口不低于3到5分钟,且单次缩容不超过当前副本的20%。
最后要设置合理的maxReplicas,并与节点池可用GPU数量匹配。集群中如果只有8张A100,却允许HPA扩容到20个Pod,只会造成大量Pending和无法调度的告警。可结合Cluster Autoscaler或节点池标签,让扩容请求只落在带有GPU的节点组上。对于多模型服务,还可以按模型大小、流量优先级划分不同的伸缩组,避免一个高并发模型占满整个集群,影响其他业务。