在Python中编写并发程序,核心就是搞清楚什么时候用多线程,什么时候用多进程。很多新手一上来就盲目开线程,结果程序并没有变快,反而因为资源争抢变得更慢。理解底层机制并掌握标准库的基本用法,才能写出真正高效的代码。

一、多线程与多进程的基础概念
线程是进程内的执行单元,同一个进程下的多个线程共享内存空间,创建和切换的成本较低。进程则是操作系统分配资源的基本单位,彼此内存隔离,稳定性更好但通信更复杂。Python通过threading模块提供线程支持,通过multiprocessing模块提供进程支持。
需要特别注意的是,由于存在全局解释器锁(GIL),CPython解释器中同一进程内的多个线程无法真正并行执行CPU密集型代码。它们只是在I/O阻塞时交替运行。因此,如果你的任务是下载文件、读写数据库这类I/O密集型工作,多线程非常合适;如果是大量数值计算,就应该使用多进程来绕过GIL限制。
二、使用threading实现多线程
最简单的多线程写法是从threading.Thread派生子类,或者直接传入目标函数。下面示例展示如何用函数方式启动三个线程并发执行任务。
import threading
import time
def worker(name):
for i in range(3):
print(f"线程 {name} 正在执行第 {i} 次")
time.sleep(1)
threads = []
for t_name in ["A", "B", "C"]:
t = threading.Thread(target=worker, args=(t_name,))
threads.append(t)
t.start()
for t in threads:
t.join()
print("所有线程结束")
上面代码创建了三个线程并同时启动,join方法保证主线程等待子线程完成。由于示例中有sleep这种I/O等待,线程会主动让出GIL,看起来是并发的。
当多个线程需要修改同一个全局变量时,必须使用锁来避免竞态条件。threading.Lock是最基础的互斥锁,进入临界区前调用acquire,退出时调用release,也可以用with语句简化。
import threading
counter = 0
lock = threading.Lock()
def increase():
global counter
for _ in range(100000):
with lock:
counter += 1
t1 = threading.Thread(target=increase)
t2 = threading.Thread(target=increase)
t1.start()
t2.start()
t1.join()
t2.join()
print("最终结果", counter)
三、使用multiprocessing实现多进程
多进程可以充分利用多核CPU,每个进程有独立的内存和Python解释器。下面的例子用进程池计算平方值,适合CPU密集型场景。
import multiprocessing
def square(x):
return x * x
if __name__ == "__main__":
with multiprocessing.Pool(processes=4) as pool:
result = pool.map(square, [1, 2, 3, 4, 5])
print("计算结果", result)
在Windows平台,多进程代码必须放在if __name__ == "__main__":保护下,否则会产生无限递归启动子进程的问题。进程池的map方法使用和内置map类似的接口,但会把任务分发到不同CPU核心。
进程之间不共享全局变量,如果需要交换数据,可以使用multiprocessing.Queue或者Pipe。队列是线程和进程安全的,适合生产者消费者模型。
import multiprocessing
def producer(q):
for i in range(5):
q.put(i)
q.put(None)
def consumer(q):
while True:
item = q.get()
if item is None:
break
print("消费", item)
if __name__ == "__main__":
q = multiprocessing.Queue()
p1 = multiprocessing.Process(target=producer, args=(q,))
p2 = multiprocessing.Process(target=consumer, args=(q,))
p1.start()
p2.start()
p1.join()
p2.join()
四、如何选择并发模型
选择模型时可以参考下面这个简单对照表:
| 任务类型 | 推荐模型 | 原因 |
|---|---|---|
| I/O密集型 | 多线程或异步 | 线程在等待I/O时让出GIL,开销小 |
| CPU密集型 | 多进程 | 绕过GIL,利用多核并行计算 |
| 高并发网络 | 异步io | 协程切换成本低于线程 |
对于刚入门的开发者,建议先从threading模块理解并发概念,再过渡到multiprocessing处理计算任务。当业务规模扩大后,可以进一步学习asyncio来用协程解决高并发问题。
无论使用哪种方式,都要避免共享状态带来的复杂性。能传参数就不要共享变量,必须共享时就用队列或锁保护好,这样程序才既快又稳。
python多线程python多进程threading模块修改时间:2026-08-06 00:03:31