提问者:小点点

在python中使用多线程真的会产生开销(GIL)吗?


来自python wiki:

然而,GIL可能会降低性能,即使它不是瓶颈。 总结这些幻灯片:系统调用开销很大,特别是在多核硬件上。 两个线程调用一个函数所花费的时间可能是单线程两次调用该函数所花费的时间的两倍。 GIL可以导致I/O绑定线程先于CPU绑定线程进行调度。 并阻止信号的传递。

我尝试先在单线程中运行一个简单的函数,然后与使用5个线程进行比较:

from threading import Thread
import time


def count(n):
    while n > 0:
        n -= 1


a=time.time()
count(100000000)
count(100000000)
count(100000000)
count(100000000)
count(100000000)

print(time.time()-a)

a = time.time()
t1 = Thread(target=count, args=(100000000,))
t1.start()
t2 = Thread(target=count, args=(100000000,))
t2.start()
t3 = Thread(target=count, args=(100000000,))
t3.start()
t4 = Thread(target=count, args=(100000000,))
t4.start()
t5 = Thread(target=count, args=(100000000,))
t5.start()
t1.join()
t2.join()
t3.join()
t4.join()
t5.join()
print(time.time()-a)

我用不同数量的线程进行了实验,每次多线程版本都运行得更快(略快)。 我在一台运行在intel i5 4核处理器(8个逻辑核)上的windows 10机器(64bit)上使用python 3.7.3(64bit)。

我真的才刚刚开始学习线程,一开始就被困住是非常令人沮丧的。 我也发现了同样的不一致在其他一些文章发现谷歌使用基本相同的示例代码。 我想我的问题是,如果有人能提供一个更恰当的例子或者链接到一个更清晰的研究。


共1个答案

匿名用户

在python中使用多线程真的会产生开销(GIL)吗?

是的,这和你的实验结果是一致的。 我不清楚为什么您认为Python wiki--一个精心策划的源代码--可能在欺骗您。

我也发现了同样的不一致在其他一些文章发现谷歌使用基本相同的示例代码。

我看不出你所说的前后矛盾。 您说您的多线程代码只比单线程代码运行得快一点,但是在理想情况下,五线程计算的运行时间将是相同计算的单线程版本的五分之一。 这不是边际差别。

我真的才刚刚开始学习线程,一开始就被困住是非常令人沮丧的。

我不明白你为什么认为自己被卡住了。 您正在成功地运行一个多线程计算,而且显然甚至看到了一点加速。 但是如果您想要观察到更多的加速,那么Python并不是您理想的平台。 您可以从Python中的多线程中看到很好的加速比,但是它在很大程度上依赖于工作负载的细节。

实际上,您引用的问题描述甚至不是问题的核心。 要从多线程Python代码中获得良好的加速比,最大的挑战不在于此,而在于它所涉及的瓶颈问题。 GIL在很大程度上是一把双刃剑。 它保护您避免了多线程编程中的许多复杂问题(因此您不会从通过Python研究多线程中了解到这些问题),但是为了具有足够的通用性,它对Python线程所能实现的实际并发性施加了很大的限制。