本文实例为大家分享了python脚本筛选出两个文件中重复的行数,供大家参考,具体内容如下
''' 查找A文件中,与B文件中内容不重复的内容 ''' #!usr/bin/python import sys import os ''' 字符串查找函数,使用二分查找法在列表中进行查询 ''' def binarySearch(value, lines): right = len(lines) - 1 left = 0 a = value.strip() while left <= right: middle = int((right + left + 1)/2) b = lines[middle].strip() if a == b: return 1 if a < b: right = middle - 1 else: left = middle + 1 return 0 DPT = 100000 # DPT 是Data Per File的意思 fileAName = sys.argv[1]; fileBName = sys.argv[2]; #STEP1:先拆掉B文件,作为比较基准,临时文件命名为temp1,temp2,...,tempN print("拆分比对文件...\n") fB = open(fileBName) tempFileNo = 1 tempFileName = "temp{0}".format(tempFileNo) fTemp = open(tempFileName, "w+") line = fB.readline() lineCount = 0 while line: if lineCount >= DPT: fTemp.flush() fTemp.close() tempFileNo = tempFileNo + 1 tempFileName = "temp{0}".format(tempFileNo) fTemp = open(tempFileName, "w+") lineCount = 0 fTemp.write(line) lineCount = lineCount + 1 line = fB.readline() fTemp.flush() fTemp.close() fB.close() print("拆分完成,一共{0}个临时文件,{1}条数据。\n".format(tempFileNo, (tempFileNo-1)*DPT + lineCount)) #STEP2:把A文件与B文件拆出来的临时文件逐个进行比较,将结果轮流写入文件result0, result1 # 最后写入的result文件就是最终结果 fA = open(fileAName) resultTempFile = {"result0", "result1"}; tempIndex = 0 fOut = open("repeat", "w+") repeatCount = 0 for i in range(1, tempFileNo + 1): print("比较第{0}个临时文件...\n".format(i)) if 0 == tempIndex: resultTempFile = "result0" tempIndex = 1 else: resultTempFile = "result1" tempIndex = 0 fResult = open(resultTempFile, "w+") fTemp = open("temp{0}".format(i)) lineSet = fTemp.readlines() fTemp.close() lineList = list(lineSet) lineList.sort() line = fA.readline() while line: if 0 == binarySearch(line, lineList): fResult.write(line) else: fOut.write(line) repeatCount = repeatCount + 1 line = fA.readline() fA.close() fResult.flush() fResult.close() fA = open(resultTempFile) fA.close() fOut.flush() fOut.close() print("比较完成,重复数据{0}条".format(repeatCount)) os.rename(resultTempFile, "result") #STEP3:结束后把临时文件都删掉 print("删除临时文件...\n") while tempFileNo > 0: tempFileName = "temp{0}".format(tempFileNo) os.remove(tempFileName) tempFileNo = tempFileNo - 1 print("脚本结束。\n")
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
华山资源网 Design By www.eoogi.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
华山资源网 Design By www.eoogi.com
暂无评论...
RTX 5090要首发 性能要翻倍!三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。
据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。
更新日志
2024年09月21日
2024年09月21日
- [ABC]安娜-胆麦发烧女声[6N纯银镀膜][2016[低速原抓WAV+CUE]
- 任天堂今晚举行直面会!第三方及独立游戏展示
- 《哆啦A梦的铜锣烧店物语》发售!开罗公式+哆啦A梦
- 任天堂公布《塞尔达传说》系列时间线:野炊与王泪独立在外
- 五条人.2012-一些风景2CD【刀马旦】【WAV+CUE】
- 陈奕迅.2013-Easons.Life演唱会2CD(2024环球红馆40复刻系列)【环球】【WAV+CUE】
- 许美静.1995-遗憾(新马版)【上华】【WAV+CUE】
- 《叶倩文 歌声情缘》[WAV+CUE][410MB]
- 《张国荣 首首动听经典不容错过 追忆的风 2CD》[WAV+CUE][870MB]
- 《腾格尔 容中尔甲 亚东 高原三星 男人篇 3CD》[WAV/分轨][1GB]
- 命运圣契公测实测可用兑换码大全 命运圣契最新兑换码分享
- 黑神话悟空上品疾蝠精魄获取方法一览|上品疾蝠精魄收集攻略
- 《七龙珠电光炸裂!ZERO》GT角色预告片曝光,15位新角色登场
- [ABC]安娜-胆麦发烧女声[6N纯银镀膜][2016[低速原抓WAV+CUE]
- NewViennaOctetViennaWindSoloists-TheDeccaRecordings(2024)18CD[24-48][FLAC]-7