本文实例讲述了python实现的分析并统计nginx日志数据功能。分享给大家供大家参考,具体如下:
利用python脚本分析nginx日志内容,默认统计ip、访问url、状态,可以通过修改脚本统计分析其他字段。
一、脚本运行方式
python count_log.py -f med.xxxx.com.access.log
二、脚本内容
#!/usr/bin/python # -*- coding: utf-8 -*- """ 1.分析日志,每行日志按空格切分,取出需要统计的相应字段,作为字典的key,遍历相加 2.使用到字典的get方法,通过定义默认值,避免miss key的错误 3.使用列表解析表达式 4.使用sorted函数排序列表 5.使用argparse传入参数 6.nginx日志格式: log_format access_log '$remote_addr - $remote_user [$time_local] $request ' '"$status" $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$request_time"' '"$upstream_addr"' '"$upstream_response_time"'; 7.日志内容: 222.xx.xxx.15 - - [07/Dec/2016:00:03:27 +0800] GET /app/xxx/xxx.apk HTTP/1.0 "304" 0 "-" "Mozilla/5.0 Gecko/20100115 Firefox/3.6" "0.055""-""-" 8.脚本运行结果: ('106.xx.xx.46', '/gateway/xxx/user/mxxxxx/submitSelfTestOfSingleQuestion', '"200"', 299) ('182.1xx.xx.83', '/', '"200"', 185) ('222.xx.1xx.15', '/', '"200"', 152) ('125.xx.2xx.58', '/', '"200"', 145) """ import argparse def count_log(filename, num): try: with open(filename) as f: dic = {} for l in f: if not l == '\n': # 判断空白行 arr = l.split(' ') ip = arr[0] url = arr[6] status = arr[8] # 字典的key是有多个元素构成的元组 # 字典的get方法,对取的key的值加1,第一次循环时由于字典为空指定的key不存在返回默认值0,因此读第一行日志时,统计结果为1 dic[(ip, url, status)] = dic.get((ip, url, status), 0) + 1 # 从字典中取出key和value,存在列表中,由于字典的key比较特殊是有多个元素构成的元组,通过索引k[#]的方式取出key的每个元素 dic_list = [(k[0], k[1], k[2], v) for k, v in dic.items()] for k in sorted(dic_list, key=lambda x: x[3], reverse=True)[:num]: print(k) except Exception as e: print("open file error:", e) if __name__ == '__main__': parser = argparse.ArgumentParser(description="传入日志文件") # 定义必须传入日志文件,使用格式-f filename parser.add_argument('-f', action='store', dest='filename', required=True) # 通过-n传入数值,取出最多的几行,默认取出前10 parser.add_argument('-n', action='store', dest='num', type=int, required=False, default=10) given_args = parser.parse_args() filename = given_args.filename num = given_args.num count_log(filename, num)
更多关于Python相关内容感兴趣的读者可查看本站专题:《Python日志操作技巧总结》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。
华山资源网 Design By www.eoogi.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
华山资源网 Design By www.eoogi.com
暂无评论...
稳了!魔兽国服回归的3条重磅消息!官宣时间再确认!
昨天有一位朋友在大神群里分享,自己亚服账号被封号之后居然弹出了国服的封号信息对话框。
这里面让他访问的是一个国服的战网网址,com.cn和后面的zh都非常明白地表明这就是国服战网。
而他在复制这个网址并且进行登录之后,确实是网易的网址,也就是我们熟悉的停服之后国服发布的暴雪游戏产品运营到期开放退款的说明。这是一件比较奇怪的事情,因为以前都没有出现这样的情况,现在突然提示跳转到国服战网的网址,是不是说明了简体中文客户端已经开始进行更新了呢?
更新日志
2024年09月24日
2024年09月24日
- 罗文.2022-大地留着的记号·纪念罗文辞别廿载3CD【环球】【WAV+CUE】
- 670《脆弱敏感小女生》[FLAC/分轨][78.47MB]
- 时代少年团《「叁重楼」演唱会 -「楼间楼」重庆站LIVE》[320K/MP3][278.08MB]
- 时代少年团《「叁重楼」演唱会 -「楼间楼」重庆站LIVE》[FLAC/分轨][820.86MB]
- 许廷铿2017《THEULTIMATECOLLECTION》2CD[星梦娱乐][WAV+CUE]
- 许佳慧-独家情话[WAV+CUE]
- 张惠妹《ThePowerOfA-Mei》2018[SACD/ISO]
- 陈珊妮.2013-低调人生2CD【和气音乐】【WAV+CUE】
- 群星.2000-超级BAND.BAND.BAND【滚石】【WAV+CUE】
- 许志安.2002-On.Show演唱会2CD(2024环球红馆40复刻系列)【环球】【WAV+CUE】
- 蔡琴-哈利路亚2016[SACD/ISO]
- 陈随意2011-今生只为你[豪记][WAV+CUE]
- 陈随意2008-爱的总铺师[美华][WAV+CUE]
- 裘德《一棵树所创造的》[320K/MP3][56.21MB]
- 裘德《一棵树所创造的》[24bit 48kHz][FLAC/分轨][355.1MB]