"htmlcode">
import grequests urls = [ "https://www.baidu.com", "https://www.google.com" ] requests = [ grequests.get(url) for url in urls ] * 1000 rate = 20 # 表示 20 请求/秒
time.sleep(1)
"normal">请
from time import sleep req_groups = [ requests[i: i+rate] for i in range(0, len(requests), rate) ] ret = [] for req_group in req_groups: ret += grequests.map(req_group) sleep(1) print(ret)
令牌桶(token bucket)方法
"normal">请
from time import time class Throttle: def __init__(self, rate): self.rate = rate self.tokens = 0 self.last = 0 def consume(self, amount=1): now = time() if self.last == 0: self.last = now elapsed = now - self.last if int(elapsed * self.rate): self.tokens += int(elapsed * self.rate) self.last = now self.tokens = ( self.rate if self.tokens > self.rate else self.tokens ) if self.tokens >= amount: self.tokens -= amount else: amount = 0 return amount throttle = Throttle(rate) req_groups = [ requests[i: i+rate] for i in range(0, len(requests), rate) ] ret = [] for req_group in req_groups: ret += grequests.map(req_group) while throttle.consume(): pass # 阻塞 print(ret)
GRequests-Throttle
"htmlcode">
pip install grequests-throttle
import grequests_throttle as gt ret = gt.map(requests, rate=rate) print(ret)
总结
如果并发请求数量较小,可以考虑使用time.sleep(1)简单快捷;当并发请求数量较大时,使用令牌桶(token bucket)方法能最大化利用每一秒;如果不想写太多代码,可以使用GRequests-Throttle包进行请求流量控制。
华山资源网 Design By www.eoogi.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
华山资源网 Design By www.eoogi.com
暂无评论...
更新日志
2024年09月23日
2024年09月23日
- 华少翌.2005-华少翌【中唱艺能】【WAV+CUE】
- 群星《十二女声Ⅱ》[WAV/CUE/分轨][527MB]
- 大自然音乐系列《漫步在山裡》[WAV/CUE/分轨][502.8MB]
- 大自然音乐系列《星光夜语》[WAV/CUE/分轨][453.3MB]
- 史依弘《史依弘交响乐京剧演唱专辑HQ》头版限量编号[WAV+CUE]
- 曼丽2020《女人三十风继续吹》HQCD[WAV+CUE]
- 曼丽2021《女人三十2雾之恋》HQCD[WAV+CUE]
- 隔壁老樊.2019-我曾【好听音乐】【FLAC分轨】
- 高林生.1993-牵挂你的人是我【白天鹅】【WAV+CUE】
- 洪卓立.2012-找个懂我的女孩(国专)【英皇娱乐】【WAV+CUE】
- 曼丽2022《女人三十3晚秋》HQCD[WAV+CUE]
- 曼丽2018《女人三十4冬天》HQCD[WAV+CUE]
- 柏菲-《好歌30年壹》限量开盘母带ORMCD[低速原抓WAV+CUE]
- 大自然音乐系列《水舞》[WAV/CUE/分轨][424.3MB]
- 大自然音乐系列《星光夜语》[WAV/CUE/分轨][453.3MB]