Python怎么实现多线程或多进程?新手编程入门实战讲解

来源:前端技术作者:长沙GEO公司头衔:草根站长
导读:本期聚焦于小伙伴创作的《Python怎么实现多线程或多进程?新手编程入门实战讲解》,敬请观看详情。CPU密集型任务用多线程反而更慢,这是初学者常踩的坑。Python的全局解释器锁让同一时刻仅一个线程执行字节码,所以多线程适合I/O等待场景,多进程才真正利用多核。本文用threading与multiprocessing两个标准库演示创建方式,对比queue通信与锁的使用,并给出根据任务类型选模型的判断方法,帮你少走弯路。

在Python中编写并发程序,核心就是搞清楚什么时候用多线程,什么时候用多进程。很多新手一上来就盲目开线程,结果程序并没有变快,反而因为资源争抢变得更慢。理解底层机制并掌握标准库的基本用法,才能写出真正高效的代码。

Python怎么实现多线程或多进程?新手编程入门实战讲解

一、多线程与多进程的基础概念

线程是进程内的执行单元,同一个进程下的多个线程共享内存空间,创建和切换的成本较低。进程则是操作系统分配资源的基本单位,彼此内存隔离,稳定性更好但通信更复杂。Python通过threading模块提供线程支持,通过multiprocessing模块提供进程支持。

需要特别注意的是,由于存在全局解释器锁(GIL),CPython解释器中同一进程内的多个线程无法真正并行执行CPU密集型代码。它们只是在I/O阻塞时交替运行。因此,如果你的任务是下载文件、读写数据库这类I/O密集型工作,多线程非常合适;如果是大量数值计算,就应该使用多进程来绕过GIL限制。

二、使用threading实现多线程

最简单的多线程写法是从threading.Thread派生子类,或者直接传入目标函数。下面示例展示如何用函数方式启动三个线程并发执行任务。

import threading
import time

def worker(name):
    for i in range(3):
        print(f"线程 {name} 正在执行第 {i} 次")
        time.sleep(1)

threads = []
for t_name in ["A", "B", "C"]:
    t = threading.Thread(target=worker, args=(t_name,))
    threads.append(t)
    t.start()

for t in threads:
    t.join()
print("所有线程结束")

上面代码创建了三个线程并同时启动,join方法保证主线程等待子线程完成。由于示例中有sleep这种I/O等待,线程会主动让出GIL,看起来是并发的。

当多个线程需要修改同一个全局变量时,必须使用锁来避免竞态条件。threading.Lock是最基础的互斥锁,进入临界区前调用acquire,退出时调用release,也可以用with语句简化。

import threading

counter = 0
lock = threading.Lock()

def increase():
    global counter
    for _ in range(100000):
        with lock:
            counter += 1

t1 = threading.Thread(target=increase)
t2 = threading.Thread(target=increase)
t1.start()
t2.start()
t1.join()
t2.join()
print("最终结果", counter)

三、使用multiprocessing实现多进程

多进程可以充分利用多核CPU,每个进程有独立的内存和Python解释器。下面的例子用进程池计算平方值,适合CPU密集型场景。

import multiprocessing

def square(x):
    return x * x

if __name__ == "__main__":
    with multiprocessing.Pool(processes=4) as pool:
        result = pool.map(square, [1, 2, 3, 4, 5])
    print("计算结果", result)

在Windows平台,多进程代码必须放在if __name__ == "__main__":保护下,否则会产生无限递归启动子进程的问题。进程池的map方法使用和内置map类似的接口,但会把任务分发到不同CPU核心。

进程之间不共享全局变量,如果需要交换数据,可以使用multiprocessing.Queue或者Pipe。队列是线程和进程安全的,适合生产者消费者模型。

import multiprocessing

def producer(q):
    for i in range(5):
        q.put(i)
    q.put(None)

def consumer(q):
    while True:
        item = q.get()
        if item is None:
            break
        print("消费", item)

if __name__ == "__main__":
    q = multiprocessing.Queue()
    p1 = multiprocessing.Process(target=producer, args=(q,))
    p2 = multiprocessing.Process(target=consumer, args=(q,))
    p1.start()
    p2.start()
    p1.join()
    p2.join()

四、如何选择并发模型

选择模型时可以参考下面这个简单对照表:

任务类型推荐模型原因
I/O密集型多线程或异步线程在等待I/O时让出GIL,开销小
CPU密集型多进程绕过GIL,利用多核并行计算
高并发网络异步io协程切换成本低于线程

对于刚入门的开发者,建议先从threading模块理解并发概念,再过渡到multiprocessing处理计算任务。当业务规模扩大后,可以进一步学习asyncio来用协程解决高并发问题。

无论使用哪种方式,都要避免共享状态带来的复杂性。能传参数就不要共享变量,必须共享时就用队列或锁保护好,这样程序才既快又稳。

python多线程python多进程threading模块修改时间:2026-08-06 00:03:31

免责声明:​ 已尽一切努力确保本网站所含信息的准确性。网站内容多为原创整理与精心编撰,观点力求客观中立。本站旨在免费分享,内容仅供个人学习、研究或参考使用。若引用了第三方作品,版权归原作者所有。如内容涉及您的权益,请联系我们处理。
内容垂直聚焦
专注技术核心技术栏目,确保每篇文章深度聚焦于实用技能。从代码技巧到架构设计,为用户提供无干扰的纯技术知识沉淀,精准满足专业提升需求。
知识结构清晰
覆盖从开发到部署的全链路。AI、前端、编程、数据库、服务器、建站、系统层层递进,构建清晰学习路径,帮助用户系统化掌握开发与运维所需的核心技术。
深度技术解析
拒绝泛泛而谈,深入技术细节与实践难点。无论是数据库优化还是服务器配置,均结合真实场景与代码示例进行剖析,致力于提供可直接应用于工作的解决方案。
专业领域覆盖
精准对应开发生命周期。从前端界面到后端编程,从数据库操作到服务器运维,形成完整闭环,一站式满足全栈工程师和运维人员的技术需求。
即学即用高效
内容强调实操性,步骤清晰、代码完整。用户可根据教程直接复现和应用于自身项目,显著缩短从学习到实践的距离,快速解决开发中的具体问题。
持续更新保障
专注既定技术方向进行长期、稳定的内容输出。确保各栏目技术文章持续更新迭代,紧跟主流技术发展趋势,为用户提供经久不衰的学习价值。