迹忆客 专注技术分享

本篇文章将介绍限制 Python 中的活动线程数。

Python 中的线程

Python 中的线程允许多个执行线程在单个进程中同时运行。 每个线程独立于其他线程运行，允许并发执行并提高性能。

线程对于执行受 I/O 限制或执行时间较长的任务特别有用，因为它允许其他线程在一个线程被阻塞时继续执行。

Python 提供了一个内置的线程模块来创建和管理线程。 模块中的 Thread 类可用于创建新的执行线程，start() 方法可用于开始线程的执行。

join() 方法可用于等待线程完成其执行。

除了 threading 模块，Python 还提供了 concurrent.futures 模块，它为异步执行可调用对象提供了更高级别的接口。 该模块提供 ThreadPoolExecutor 类，可用于创建可用于并行执行可调用对象的工作线程池。

线程可以成为提高 Python 程序性能的强大工具，但应谨慎使用，因为它还会带来复杂性以及竞争条件和其他同步问题的可能性。

在 Python 中使用队列限制线程

Python 中的 Queue 类提供了线程安全和 FIFO（先进先出）数据结构，用于存储需要多线程处理的项。 它可用于协调线程之间的数据流，并限制可同时执行的线程数。

如果我们想限制可以使用队列同时执行的线程数，我们可以使用 Queue 类内部的 maxsize 参数。 这是一个如何使用队列来限制线程总数的示例。

import threading
import queue
from queue import Queue
from threading import Thread

def function_to_be_executed():
    print(f"Thread {threading.get_ident()} is working")
    return

q = Queue(maxsize=3)

for i in range(10):
    try:
        thread = Thread(target=function_to_be_executed)
        q.put(thread, block=False)
    except queue.Full:
        q.get().join(timeout=0)
        thread = Thread(target=function_to_be_executed)
        q.put(thread, block=False)
    thread = q.get()
    thread.start()
while not q.empty():
    thread = q.get()
    thread.join(timeout=1)

输出:

Thread 140368505984768 is working
Thread 140368497592064 is working
Thread 140368505984768 is working
Thread 140368497592064 is working
Thread 140368505984768 is working
Thread 140368497592064 is working
Thread 140368514377472 is working
Thread 140368497592064 is working
Thread 140368497592064 is working
Thread 140368497592064 is working

上面的代码创建了一个最大大小为 3 的 Queue 对象，这意味着在任何给定时间队列中只能有 3 个线程。 然后，使用 put() 方法创建 10 个线程并将其添加到队列中。

while循环一个一个启动队列中的线程，join() 方法用于等待所有线程完成。

在这个例子中，只有 3 个线程同时运行； 其余的将在队列中等待，直到他们有机会运行。 我们可以根据自己的需要调整队列的最大大小和线程数。