Python的多线程和asyncio是两种不同的并发实现方式，各有适用的场景。多线程基于操作系统线程调度，适合处理阻塞型IO或者少量CPU密集型任务；asyncio基于事件循环，适合处理大量轻量级的异步IO任务。在实际开发中，将两者结合可以充分发挥各自的优势，解决更复杂的并发需求。
为什么需要多线程与asyncio协作
Python的全局解释器锁GIL限制了多线程在CPU密集型任务上的性能，但多线程在处理阻塞型IO时依然有效。而asyncio的事件循环是单线程的，一旦遇到阻塞操作会卡住整个事件循环。当程序中同时存在大量异步IO任务和少量阻塞型任务时，单独使用其中一种技术都无法达到最优效果，此时就需要两者协作。
核心协作原理
asyncio提供了run_in_executor方法，可以将阻塞任务提交到线程池或者进程池中执行，执行完成后返回结果到事件循环中。这个方法是两者协作的核心桥梁，它让asyncio的事件循环不会被阻塞任务卡住，同时利用多线程处理阻塞操作。
run_in_executor的基本用法
run_in_executor的第一个参数是执行器，默认是None，会使用默认的线程池执行器。第二个参数是要执行的函数，后面可以跟函数的参数。
import asyncio
import time
# 模拟阻塞任务
def block_task(seconds):
print(f"阻塞任务开始，睡眠{seconds}秒")
time.sleep(seconds)
print("阻塞任务结束")
return f"阻塞任务完成，耗时{seconds}秒"
async def main():
# 将阻塞任务提交到线程池执行
result = await asyncio.get_event_loop().run_in_executor(None, block_task, 2)
print(f"获取到结果：{result}")
if __name__ == "__main__":
asyncio.run(main())
实践场景示例
场景一：异步IO搭配阻塞IO任务
假设我们需要同时处理多个网络请求（异步IO）和多个本地文件读取（阻塞IO），可以用asyncio处理网络请求，用多线程处理文件读取。
import asyncio
import time
import requests
# 模拟阻塞的文件读取任务
def read_file(file_path):
print(f"开始读取文件：{file_path}")
time.sleep(1) # 模拟文件读取耗时
print(f"文件{file_path}读取完成")
return f"文件{file_path}的内容"
# 模拟异步网络请求任务
async def fetch_url(url):
print(f"开始请求URL：{url}")
# 这里用requests模拟，实际应该用aiohttp，此处仅为演示阻塞转异步
response = await asyncio.get_event_loop().run_in_executor(None, requests.get, url)
print(f"URL{url}请求完成")
return f"URL{url}的响应内容长度：{len(response.text)}"
async def main():
# 创建多个任务
tasks = [
fetch_url("http://ipipp.com"),
fetch_url("http://ipipp.com/test"),
asyncio.get_event_loop().run_in_executor(None, read_file, "test1.txt"),
asyncio.get_event_loop().run_in_executor(None, read_file, "test2.txt")
]
# 等待所有任务完成
results = await asyncio.gather(*tasks)
for res in results:
print(res)
if __name__ == "__main__":
asyncio.run(main())
场景二：自定义线程池控制并发数
默认的线程池并发数可能不符合需求，我们可以自定义线程池，控制阻塞任务的并发数量。
import asyncio
import time
from concurrent.futures import ThreadPoolExecutor
# 模拟阻塞任务
def block_work(task_id):
print(f"任务{task_id}开始执行")
time.sleep(2)
print(f"任务{task_id}执行完成")
return f"任务{task_id}的结果"
async def main():
# 创建最大线程数为3的线程池
executor = ThreadPoolExecutor(max_workers=3)
tasks = []
for i in range(5):
# 将任务提交到自定义线程池
task = asyncio.get_event_loop().run_in_executor(executor, block_work, i)
tasks.append(task)
results = await asyncio.gather(*tasks)
for res in results:
print(res)
# 关闭线程池
executor.shutdown()
if __name__ == "__main__":
asyncio.run(main())
注意事项
- 不要在asyncio的事件循环中直接执行阻塞操作，否则会卡住整个事件循环，所有异步任务都会暂停。
- 线程池的大小需要根据实际任务调整，过大会增加线程切换开销，过小会导致阻塞任务排队等待。
- 如果阻塞任务是CPU密集型的，建议使用进程池而不是线程池，避免GIL的影响，此时只需要把
ThreadPoolExecutor换成ProcessPoolExecutor即可。 - 多线程和asyncio协作时，要注意线程安全问题，如果多个线程操作共享资源，需要加锁保护。
总结
Python多线程和asyncio的协作核心是run_in_executor方法，它让asyncio可以调度多线程执行阻塞任务，既保留了asyncio处理大量异步IO的高效性，又利用了多线程处理阻塞任务的能力。在实际开发中，我们可以根据任务的类型选择合适的协作方式，提升程序的整体并发性能。