如何使用python协程中gevent模块?

来源:APP编程网作者:河北彩花头衔:网络博主
导读:本期聚焦于小伙伴创作的《如何使用python协程中gevent模块?》,敬请观看详情,探索知识的价值。以下视频、文章将为您系统阐述其核心内容与价值。如果您觉得《如何使用python协程中gevent模块?》有用,将其分享出去将是对创作者最好的鼓励。

gevent是基于greenlet实现的python协程库,它通过轻量级的协程切换来处理IO密集型任务,避免传统多线程的资源开销问题,在很多高并发场景下都有广泛应用。

如何使用python协程中gevent模块?

gevent的核心基础

gevent的协程本质是由greenlet封装而来,每个协程都是一个可以独立调度的执行单元,当协程遇到IO阻塞时,会自动切换到其他可执行的协程,直到阻塞结束再恢复执行。

要使用gevent,首先需要安装对应的依赖包,执行以下命令即可完成安装:

pip install gevent

基础使用步骤

1. 创建并启动协程

使用gevent.spawn可以创建协程对象,调用join方法可以等待协程执行完成,也可以通过gevent.joinall批量等待多个协程。

下面是一个简单的协程使用示例:

import gevent

def task(name, delay):
    print(f"协程{name}开始执行")
    gevent.sleep(delay)  # 模拟IO阻塞,会触发协程切换
    print(f"协程{name}执行完成,耗时{delay}秒")

# 创建两个协程
g1 = gevent.spawn(task, "A", 2)
g2 = gevent.spawn(task, "B", 1)

# 等待所有协程执行完成
gevent.joinall([g1, g2])
print("所有协程执行结束")

运行上述代码会先输出协程A开始执行,然后协程B开始执行,1秒后协程B完成,2秒后协程A完成,最后输出所有协程执行结束,说明协程在阻塞时发生了自动切换。

2. monkey_patch的作用

gevent默认只能识别自身的gevent.sleep等IO操作,对于python标准库中的socket、time等模块的IO操作无法自动切换协程,这时候就需要使用monkey_patch进行补丁替换。

monkey_patch会在程序运行时把标准库中的阻塞IO函数替换成gevent的协程友好版本,让这些IO操作也能触发协程切换。使用方式如下:

from gevent import monkey
monkey.patch_all()  # 打补丁,放在所有导入语句之前最好

import gevent
import time  # 打补丁后,time.sleep也会触发协程切换

def task(name, delay):
    print(f"协程{name}开始执行")
    time.sleep(delay)  # 此时time.sleep已经是补丁后的版本
    print(f"协程{name}执行完成")

gevent.joinall([
    gevent.spawn(task, "A", 2),
    gevent.spawn(task, "B", 1)
])

常见使用场景示例

并发网络请求

gevent非常适合处理并发网络请求场景,比如同时请求多个接口,比串行请求效率提升明显。下面是一个使用requests库配合gevent发起并发请求的示例:

from gevent import monkey
monkey.patch_all()

import gevent
import requests

def fetch_url(url):
    print(f"开始请求{url}")
    resp = requests.get(url)
    print(f"请求{url}完成,状态码:{resp.status_code}")
    return resp.status_code

urls = [
    "http://ipipp.com",
    "http://127.0.0.1:8080",
    "http://192.168.0.1"
]

# 创建协程并发请求
tasks = [gevent.spawn(fetch_url, url) for url in urls]
gevent.joinall(tasks)

# 获取所有协程的返回值
results = [task.value for task in tasks]
print(f"所有请求结果:{results}")

使用注意事项

  • monkey_patch最好放在所有其他导入语句之前执行,避免部分模块已经被加载导致补丁不生效
  • gevent不适合CPU密集型任务,因为协程切换只在IO阻塞时发生,CPU密集型任务会一直占用协程无法切换
  • 不要在协程中执行阻塞式的C扩展代码,这类代码无法被gevent识别,会导致整个程序阻塞
  • 协程的异常需要在协程内部捕获,或者通过get方法获取协程执行结果时捕获,避免异常被静默忽略

异常处理示例

协程内部抛出的异常不会直接抛出到主线程,需要通过对应的方法捕获:

import gevent

def error_task():
    print("协程开始执行")
    raise ValueError("协程内部发生错误")

g = gevent.spawn(error_task)
try:
    g.get()  # 调用get方法获取结果时会抛出协程内部的异常
except ValueError as e:
    print(f"捕获到协程异常:{e}")

geventpython协程greenletmonkey_patch修改时间:2026-07-12 03:48:23

免责声明:​ 已尽一切努力确保本网站所含信息的准确性。网站内容多为原创整理与精心编撰,观点力求客观中立。本站旨在免费分享,内容仅供个人学习、研究或参考使用。若引用了第三方作品,版权归原作者所有。如内容涉及您的权益,请联系我们处理。
内容垂直聚焦
专注技术核心技术栏目,确保每篇文章深度聚焦于实用技能。从代码技巧到架构设计,为用户提供无干扰的纯技术知识沉淀,精准满足专业提升需求。
知识结构清晰
覆盖从开发到部署的全链路。AI、前端、编程、数据库、服务器、建站、系统层层递进,构建清晰学习路径,帮助用户系统化掌握开发与运维所需的核心技术。
深度技术解析
拒绝泛泛而谈,深入技术细节与实践难点。无论是数据库优化还是服务器配置,均结合真实场景与代码示例进行剖析,致力于提供可直接应用于工作的解决方案。
专业领域覆盖
精准对应开发生命周期。从前端界面到后端编程,从数据库操作到服务器运维,形成完整闭环,一站式满足全栈工程师和运维人员的技术需求。
即学即用高效
内容强调实操性,步骤清晰、代码完整。用户可根据教程直接复现和应用于自身项目,显著缩短从学习到实践的距离,快速解决开发中的具体问题。
持续更新保障
专注既定技术方向进行长期、稳定的内容输出。确保各栏目技术文章持续更新迭代,紧跟主流技术发展趋势,为用户提供经久不衰的学习价值。