调用大模型API时，首字延迟（Time to First Token）往往决定了用户体验的天花板。普通GPU推理服务为了兼顾吞吐量，请求排队时间加上计算时间很容易让首字延迟超过1秒。Groq的LPU架构绕开了GPU的调度内存瓶颈，通过软件预排程和确定性执行，把首字延迟稳定在几十毫秒。这篇文章从创建API Key开始，逐步演示如何在Python中调用Groq API，并分享几个降低延迟的实用技巧。
Groq LPU 与 API 简介
Groq并不是一家新公司，但它的LPU（Language Processing Unit）芯片在大模型推理领域引起了大量关注。LPU的定位十分明确：不做训练，只做推理，而且专攻低延迟场景。传统GPU靠海量线程切换来隐藏内存访问延迟，这在大模型解码时会产生不可预测的调度开销。LPU采用了确定性计算架构，编译器在运行前就规划好数据在芯片上的移动路径，推理过程中几乎不会出现缓存未命中和线程阻塞，因此首字延迟可以从GPU的几百毫秒降低到几十毫秒。
Groq Cloud提供的API接口与OpenAI Chat Completions接口高度兼容，这意味着你只需要修改base_url和api_key，就能把现有的OpenAI调用代码迁移到Groq上。目前Groq托管了多个开源模型，包括Llama 3.3 70B、Llama 3.1 8B、Mixtral 8x7B等，每个模型都有明确的速率限制和上下文窗口。由于LPU的算力专用于推理，这些模型在Groq上的输出token速度通常能达到每秒数百甚至上千个，非常适合实时对话、代码补全和语音助手等对延迟敏感的产品。
与GPU推理服务相比，Groq API的另一个特点是价格透明且不设高峰溢价。不过LPU的内存容量有限，模型权重必须完整放入片上SRAM，所以目前无法支持超过70B参数的超大模型。对于大多数应用场景，70B级别的模型能力已经足够，配合极低的延迟反而能带来更好的整体体验。
获取 API Key 与安装客户端
使用Groq API的第一步是注册Groq Cloud账号。访问console.groq.com，使用Google或GitHub账号登录，进入API Keys页面，点击Create API Key，填写一个名称并复制生成的密钥。注意密钥只在创建时显示一次，请妥善保存到环境变量或密钥管理工具中。Groq提供了一定量的免费请求额度，新用户可以直接开始测试，超出的部分按token计费。
本地开发环境推荐使用官方Python库groq，它内置了同步和异步客户端，支持流式响应和多种参数透传。安装命令如下：
pip install groq
安装完成后，把API Key写入环境变量。在Linux或macOS的终端中执行export GROQ_API_KEY=你的密钥，Windows的PowerShell则使用$env:GROQ_API_KEY=你的密钥。更推荐的做法是在项目根目录创建.env文件，配合python-dotenv加载，避免密钥硬编码进源码。
如果你不想引入额外依赖，也可以直接用requests库调用REST接口。Groq API的Endpoint为https://api.groq.com/openai/v1/chat/completions，请求头需要携带Authorization: Bearer 你的密钥。不过官方库封装了重试、错误处理和类型提示，更利于快速开发。
编写第一个 Groq API 调用
下面用Python官方客户端写一个最小可运行的对话补全示例。代码会向Groq发送一条用户消息，并打印模型回复。模型名称使用llama-3.3-70b-versatile，这是Groq上性价比较高的通用模型。
import os
from groq import Groq
client = Groq(api_key=os.environ.get("GROQ_API_KEY"))
response = client.chat.completions.create(
model="llama-3.3-70b-versatile",
messages=[
{"role": "system", "content": "你是一个简洁的编程助手"},
{"role": "user", "content": "用Python写一个快速排序函数"}
],
temperature=0.2,
max_tokens=512,
top_p=0.9
)
print(response.choices[0].message.content)
这段代码与OpenAI SDK的用法几乎完全一致，唯一的区别是导入包和初始化客户端。temperature控制随机性，较低的值适合代码生成和事实性回答；max_tokens限制输出长度，避免生成失控；top_p是另一种采样策略，与temperature二选一调整即可。响应对象中的choices[0].message.content就是模型生成的文本，可以直接用于后续逻辑。
如果需要流式输出，把create方法中的stream参数设为True，然后遍历响应块。流式输出可以在生成第一个token后立即推送，进一步降低用户感知延迟。
stream = client.chat.completions.create(
model="llama-3.3-70b-versatile",
messages=[{"role": "user", "content": "讲一个关于程序员的冷笑话"}],
stream=True
)
for chunk in stream:
delta = chunk.choices[0].delta
if delta and delta.content:
print(delta.content, end="", flush=True)
注意流式模式下每个chunk只包含增量文本，需要自己拼接完整回复。Groq API还支持异步客户端AsyncGroq，适合在FastAPI等异步框架中并发调用。
优化低延迟调用的实用技巧
虽然LPU本身已经非常快，但在应用层仍然有几个可以进一步压缩延迟的环节。首先是模型选择：Groq上的llama-3.1-8b-instant首字延迟通常比70B模型低30%到50%，如果任务不需要很强推理能力，可以先试8B模型。模型名称中以instant结尾的版本针对低延迟做了优化，适合简单的分类、抽取和短回复场景。
其次是流式响应的使用。非流式请求必须等待所有token生成完毕才返回，而流式请求在首个token可用时就开始传输，两者在总生成时间上差别不大，但用户感知的首字延迟差距明显。对于聊天界面或代码补全插件，流式输出几乎是必选项。另外，把max_tokens设置得尽量接近实际所需长度，减少模型生成无用token的时间。
网络层面，尽量把部署服务放在离Groq数据中心较近的云区域。Groq当前主要在美国和欧洲有节点，如果你的用户集中在国内，可以考虑在边缘节点做一层缓存或转发，减少跨洋往返。客户端连接池复用也能节省每轮请求的握手开销。
最后是并发控制。Groq对每个模型的每分钟请求数和token数都有限制，超过后会返回429错误。合理的做法是在客户端实现令牌桶或滑动窗口限流，同时结合指数退避重试。对于批量任务，把多个短请求合并成一个batch或使用异步并发，比顺序串行调用效率高得多。
常见问题与注意事项
使用Groq API时最容易踩的坑是模型下线或改名。Groq会不定期更新托管模型列表，旧模型名可能返回404错误。建议在代码里维护一个模型白名单，并在启动时调用models接口校验可用模型。获取模型列表的请求如下：
curl https://api.groq.com/openai/v1/models -H "Authorization: Bearer $GROQ_API_KEY"
这个接口会返回所有当前可用的模型ID，你可以根据业务需求选择合适的模型。注意LPU内存限制导致支持的模型数量有限，不要假设所有开源模型都能在Groq上运行。
错误处理方面，除了常规的401认证失败和429限流，Groq还可能返回503服务过载。建议对可重试的错误使用指数退避，同时对输入内容做长度检查，超过模型上下文窗口的请求会被直接拒绝。Groq API的上下文窗口与模型原始配置一致，例如Llama 3.3 70B是128K token，但实际可用长度受请求体和输出限制影响。
成本控制上，Groq按每百万token计费，输入和输出价格不同。输出token通常更贵，因此减少冗余输出、使用更小的模型可以显著节约成本。免费额度用完后，可以在控制台设置预算告警，防止意外超支。总体来看，Groq的性价比在低延迟推理服务中非常有竞争力，值得作为生产环境中的备选或主力推理后端。