当前位置:主页 > python教程 > 对python多线程与global变量详解

解析python多线程与global变量

发布:2020-02-10 19:32:09 67


给大家整理一篇Python相关的编程文章,网友黄采绿根据主题投稿了本篇教程内容,涉及到python、多线程、global、对python多线程与global变量详解相关内容,已被684网友关注,涉猎到的知识点内容可以在下方电子书获得。

对python多线程与global变量详解

今天早上起来写爬虫,基本框架已经搭好,添加多线程爬取功能时,发现出错:

比如在下载文件的url列表中加入200个url,开启50个线程。我的爬虫…竟然将50个url爬取并全部命名为0.html,也就是说,最后的下载结果,是有1个0.html(重复的覆盖了),还有1-150。下面是我的代码:

x = str(theguardian_globle.g)
 #x为给下载的文件命的名
 filePath = "E://wgetWeiBao//"+x+".html"
 try:
  wget.download(url,filePath)
  theguardian_globle.g+=1
  print x+" is downloading..."
 
 except:
  print "error!"
#这个是全局变量g的定义
global g
 
g = 0

后来终于发现问题:多线程+全局变量是个危险的组合,因为程序有多个线程在同时执行,多个线程同时操作全局变量,会引起混乱。在多线程中操作全局变量,应当给该操作加锁。

以下为修改后的代码:

函数:
 
def downLoad(url,num):
 x = str(num)
 filePath = "E://wgetWeiBao//"+x+".html"
 try:
  wget.download(url,filePath)
  print x+" is downloading..."
 
 except:
  print "error!"
多线程消费者_给操作全局变量的语句加锁
class Cosumer(threading.Thread):
 def run(self):
  print('%s:started' % threading.current_thread())
 
  while True:
   global gCondition
   gCondition.acquire()
   while q.empty()==True:
    gCondition.wait()
   url = q.get()
   num = theguardian_globle.g
   theguardian_globle.g+=1
   gCondition.release()
   downLoad(url,num)

大功告成!

以上这篇对python多线程与global变量详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持码农之家。


参考资料

相关文章

  • 在Shell脚本中检查Python版本的方法

    发布:2019-10-19

    Python是由Guido van Rossum创建的高级通用编程语言。它于1991年首次发行。通常,基于Linux的发行版已经预装了Python版本。 本教程将帮助您在脚本中找到Python版本的详细信息。此外,还可以确保Pyt


  • Python Pandas分组聚合的实例讲解

    发布:2020-01-07

    这篇文章主要介绍了Python Pandas分组聚合的实现方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧


  • Python闭包与闭包陷阱举例详解

    发布:2023-03-12

    闭包并不只是一个Python中的概念,在函数式编程语言中应用较为广泛,下面这篇文章主要给大家介绍了关于Python闭包与闭包陷阱的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下


  • PythonWeb项目Django部署在Ubuntu18.04腾讯云主机上示例代码

    发布:2020-01-27

    这篇文章主要介绍了PythonWeb项目Django部署在Ubuntu18.04腾讯云主机上的相关知识,本文通过代码加文字说明的形式给大家介绍的非常详细,具有一定的参考借鉴价值 ,需要的朋友可以参考下


  • Python datetime包函数知识点总结

    发布:2021-05-30

    这篇文章主要介绍了Python datetime包函数简单介绍,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下


  • Python外观模式知识点实例总结

    发布:2019-06-10

    这篇文章主要介绍了Python设计模式之外观模式,结合实例形式详细分析了外观模式的概念、原理、用法及相关操作注意事项,需要的朋友可以参考下


  • Python/MySQL实现Excel文件自动处理数据功能

    发布:2023-03-31

    在没有服务器存储数据,只有excel文件的情况下,如何利用SQL和python实现数据分析和数据自动处理的功能?本文就来和大家聊聊解决办法


  • python 遍历可迭代对象的实现方法

    发布:2023-03-22

    本文主要介绍了python 遍历可迭代对象的实现方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧


网友讨论