使用库pybloom_live
from pybloom_live import ScalableBloomFilter,BloomFilter # 可自动伸缩的布隆过滤器 bloom = ScalableBloomFilter(initial_capacity=100,error_rate=0.001) # 添加内容 bloom.add('daqi') print('daqi'in bloom) # 定长的布隆过滤器 bloom1 = BloomFilter(capacity=10000) bloom1.add('daqi') print('daqi'in bloom1)
手动实现一个简单的布隆过滤器
使用bitarray实现,将初始数组置为0,根据hash计算出节点置为1,同时写了一个生成随机码的函数用于测试。
import random import mmh3 from bitarray import bitarray import os.path import re # bitarray长度 BIT_SIZE = 50000 class BloomFilter(): def __init__(self): bit_array = bitarray(BIT_SIZE) bit_array.setall(0) self.bit_array = bit_array self.bit_size = self.length() def get_points(self, url): """ 生成需要插入的位置 :param url: :return:节点的列表 """ point_list = [] for i in range(7): point = mmh3.hash(url,30+i) % self.bit_size point_list.append(point) return point_list def add(self, url): """ 添加url到bitarray中 :param url: :return: """ res = self.bitarray_expand() points = self.get_points(url) try: for point in points: self.bit_array[point] = 1 return '注册完成!' except Exception as e: return e def contains(self,url): """ 验证url是否存在 :param url: :return:True or False """ points = self.get_points(url) # 在bitarray中查找对应的点,如果有一个点值为0就说明该url不存在 for p in points: if self.bit_array[p] == 0: return False return True def count(self): """ 获取bitarrray中使用的节点数 :return: bitarray长度 """ return self.bit_array.count() def length(self): """ 获取bitarray的长度 :return:bitarray的长度 """ return len(self.bit_array) def bitarray_expand(self): """ 扩充bitarray长度 :return:bitarray的长度或使用率,布隆过滤器的bitarray的使用最好不要超过50%,这样误判率低一些 """ isusespace = round(int(self.count()) / int(self.length()),4) if 0.50 < isusespace: # 新建bitarray expand_bitarray = bitarray(BIT_SIZE) expand_bitarray.setall(0) # 增加新建的bitarray self.bit_array = self.bit_array + expand_bitarray self.bit_size = self.length() return self.bit_size else: return f'长度尚可,{round(isusespace * 100,2)}%' def get_captcha(): """ 生成用于测试的随机码 :return: """ seed = '0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ' captcha = "" for i in range(10): captcha += random.choice(seed) print(captcha) return captcha if __name__ == '__main__': bloom = BloomFilter() for i in range(100000): bloom.add(f'www.{get_captcha()}.com') print(bloom.length()) print(bloom.count()) print(bloom.count())
华山资源网 Design By www.eoogi.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
华山资源网 Design By www.eoogi.com
暂无评论...
P70系列延期,华为新旗舰将在下月发布
3月20日消息,近期博主@数码闲聊站 透露,原定三月份发布的华为新旗舰P70系列延期发布,预计4月份上市。
而博主@定焦数码 爆料,华为的P70系列在定位上已经超过了Mate60,成为了重要的旗舰系列之一。它肩负着重返影像领域顶尖的使命。那么这次P70会带来哪些令人惊艳的创新呢?
根据目前爆料的消息来看,华为P70系列将推出三个版本,其中P70和P70 Pro采用了三角形的摄像头模组设计,而P70 Art则采用了与上一代P60 Art相似的不规则形状设计。这样的外观是否好看见仁见智,但辨识度绝对拉满。
更新日志
2024年09月26日
2024年09月26日
- 纯音入心系列纯音乐《中央民族乐团-古筝传奇》1CD[MP3][253.1MB]
- 江玲.1989-这样你才爱我,是吗?【新作有声】【WAV+CUE】
- 郭美美.2010-我是郭美美【华纳】【WAV+CUE】
- 黄心懋1991-轻忧郁【滚石】【WAV+CUE】
- 群星.2000-大地金曲世纪回顾2CD【大地】【WAV+CUE】
- 王菲.1996-浮躁(2024环球MQA-UHQCD限量版)【环球】【WAV+CUE】
- 群星.2022-传家电视剧原声带【东阳欢娱】【FLAC分轨】
- 《摇滚教父 伍佰黄金精选 2CD》 [WAV+CUE][1GB]
- 《凤凰传奇 我从草原来》[WAV/分轨][400MB]
- 《叶倩文 真心真意过一生》[WAV+CUE][400MB]
- 潘越云.1985-世间女子(滚石25周年经典复刻版)【滚石】【WAV+CUE】
- 陈柏宇.2009-CANT.BE.HALF【SONY】【WAV+CUE】
- 李明依.1989-小女生【滚石】【WAV+CUE】
- 《李荣浩 新时代创作新人王》[WAV分轨][310MB]
- 《黑鸭子与马头琴 史上最动听草原音乐》[WAV+CUE][320MB]