本文实例讲述了Python多进程机制。分享给大家供大家参考。具体如下:
在以前只是接触过PYTHON的多线程机制,今天搜了一下多进程,相关文章好像不是特别多。看了几篇,小试了一把。程序如下,主要内容就是通过PRODUCER读一个本地文件,一行一行的放到队列中去。然后会有相应的WORKER从队列中取出这些行。
import multiprocessing import os import sys import Queue import time def writeQ(q,obj): q.put(obj,True,None) print "put size: ",q.qsize() def readQ(q): ret = q.get(True,1) print "get size: ",q.qsize() return ret def producer(q): time.sleep(5) #让进行休息几秒 方便ps命令看到相关内容 pid = os.getpid() handle_file = '/home/dwapp/joe.wangh/test/multiprocess/datafile' with open(handle_file,'r') as f: #with...as... 这个用法今天也是第一次看到的 for line in f: print "producer <" ,pid , "> is doing: ",line writeQ(q,line.strip()) q.close() def worker(q): time.sleep(5) #让进行休息几秒 方便ps命令看到相关内容 pid = os.getpid() empty_count = 0 while True: try: task = readQ(q) print "worker <" , pid , "> is doing: " ,task ''' 如果这里不休眠的话 一般情况下所有行都会被同一个子进程读取到 为了使实验效果更加清楚 在这里让每个进程读取完 一行内容时候休眠5s 这样就可以让其他的进程到队列中进行读取 ''' time.sleep(5) except Queue.Empty: empty_count += 1 if empty_count == 3: print "queue is empty, quit" q.close() sys.exit(0) def main(): concurrence = 3 q = multiprocessing.Queue(10) funcs = [producer , worker] for i in range(concurrence-1): funcs.append(worker) for item in funcs: print str(item) nfuncs = range( len(funcs) ) processes = [] for i in nfuncs: p = multiprocessing.Process(target=funcs[i] , args=(q,)) processes.append(p) print "concurrence worker is : ",concurrence," working start" for i in nfuncs: processes[i].start() for i in nfuncs: processes[i].join() print "all DONE" if __name__ == '__main__': main()
实验结果如下:
dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>python 1.py <function producer at 0xb7b9141c> <function worker at 0xb7b91454> <function worker at 0xb7b91454> <function worker at 0xb7b91454> concurrence worker is : 3 working start producer < 28320 > is doing: line 1 put size: 1 producer < 28320 > is doing: line 2 put size: 2 producer < 28320 > is doing: line 3 put size: 3 producer < 28320 > is doing: line 4 put size: 3 producer < 28320 > is doing: line 5 get size: 3 put size: 4 worker < 28321 > is doing: line 1 get size: 3 worker < 28322 > is doing: line 2 get size: 2 worker < 28323 > is doing: line 3 get size: 1 worker < 28321 > is doing: line 4 get size: 0 worker < 28322 > is doing: line 5 queue is empty, quit queue is empty, quit queue is empty, quit all DONE
程序运行期间在另外一个窗口进行ps命令 可以观测到一些进程的信息
dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>ps -ef | grep python dwapp 13735 11830 0 Nov20 pts/12 00:00:05 python dwapp 28319 27481 8 14:04 pts/0 00:00:00 python 1.py dwapp 28320 28319 0 14:04 pts/0 00:00:00 python 1.py dwapp 28321 28319 0 14:04 pts/0 00:00:00 python 1.py dwapp 28322 28319 0 14:04 pts/0 00:00:00 python 1.py dwapp 28323 28319 0 14:04 pts/0 00:00:00 python 1.py dwapp 28325 27849 0 14:04 pts/13 00:00:00 grep python dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>ps -ef | grep python dwapp 13735 11830 0 Nov20 pts/12 00:00:05 python #此时28320进程 也就是PRODUCER进程已经结束 dwapp 28319 27481 1 14:04 pts/0 00:00:00 python 1.py dwapp 28321 28319 0 14:04 pts/0 00:00:00 python 1.py dwapp 28322 28319 0 14:04 pts/0 00:00:00 python 1.py dwapp 28323 28319 0 14:04 pts/0 00:00:00 python 1.py dwapp 28328 27849 0 14:04 pts/13 00:00:00 grep python dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>ps -ef | grep python dwapp 13735 11830 0 Nov20 pts/12 00:00:05 python dwapp 28319 27481 0 14:04 pts/0 00:00:00 python 1.py dwapp 28321 28319 0 14:04 pts/0 00:00:00 python 1.py dwapp 28322 28319 0 14:04 pts/0 00:00:00 python 1.py dwapp 28323 28319 0 14:04 pts/0 00:00:00 [python] <defunct> #这里应该是代表28323进程(WORKER)已经运行结束了 dwapp 28331 27849 0 14:04 pts/13 00:00:00 grep python dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>ps -ef | grep python dwapp 13735 11830 0 Nov20 pts/12 00:00:05 python dwapp 28337 27849 0 14:05 pts/13 00:00:00 grep python
希望本文所述对大家的Python程序设计有所帮助。
华山资源网 Design By www.eoogi.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
华山资源网 Design By www.eoogi.com
暂无评论...
RTX 5090要首发 性能要翻倍!三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。
据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。
更新日志
2024年09月21日
2024年09月21日
- [ABC]安娜-胆麦发烧女声[6N纯银镀膜][2016[低速原抓WAV+CUE]
- 任天堂今晚举行直面会!第三方及独立游戏展示
- 《哆啦A梦的铜锣烧店物语》发售!开罗公式+哆啦A梦
- 任天堂公布《塞尔达传说》系列时间线:野炊与王泪独立在外
- 五条人.2012-一些风景2CD【刀马旦】【WAV+CUE】
- 陈奕迅.2013-Easons.Life演唱会2CD(2024环球红馆40复刻系列)【环球】【WAV+CUE】
- 许美静.1995-遗憾(新马版)【上华】【WAV+CUE】
- 《叶倩文 歌声情缘》[WAV+CUE][410MB]
- 《张国荣 首首动听经典不容错过 追忆的风 2CD》[WAV+CUE][870MB]
- 《腾格尔 容中尔甲 亚东 高原三星 男人篇 3CD》[WAV/分轨][1GB]
- 命运圣契公测实测可用兑换码大全 命运圣契最新兑换码分享
- 黑神话悟空上品疾蝠精魄获取方法一览|上品疾蝠精魄收集攻略
- 《七龙珠电光炸裂!ZERO》GT角色预告片曝光,15位新角色登场
- [ABC]安娜-胆麦发烧女声[6N纯银镀膜][2016[低速原抓WAV+CUE]
- NewViennaOctetViennaWindSoloists-TheDeccaRecordings(2024)18CD[24-48][FLAC]-7