为了解决日志文件监控的问题, 使用python脚本完成了基于关键字的告警功能
环境 python 2.7
依赖包 time \ traceback \ filelock \ logging
代码如下:
#!/bin/python #coding:utf-8 import sys reload(sys) sys.setdefaultencoding('utf8') import re import os from urllib import urlencode import logging import filelock import time import traceback #config.conf #文件1:关键字A|关键字B:出现次数:告警方式:联系方式:联系组:某某异常 #文件2:关键字C|关键字D:出现次数:告警方式:联系方式:联系组:某某异常 #rc.local增加 #sudo -u monitor /bin/bash -x /home/apps/logmon-job/deploy_py.sh logging.basicConfig(level=logging.DEBUG, format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s', datefmt='%a, %d %b %Y %H:%M:%S', filename='/home/logs/monitor/logmon.log', #filename='/Users/mac/Desktop/logmon/logmon.log', filemode='a') basDir='/home/apps/logmon-job/' posFiles=basDir+'/pos.log' configFile=basDir+'config.conf' def readOnly(filename): return open(filename,'r') # pass def readWrite(filename): return open(filename,'rw') # pass def writeOnly(filename): return open(filename,'w') # pass # def closesfile(): # pass def getStartPosLog(posFiles): txt=readOnly(posFiles) result={} for i in txt : filename,pos=i.split(':') if filename != '' : result[filename]=pos return result txt.close() def rematch(txt,regular): resultList=[] for t in txt.split(r'\n') : # print t # pattern = re.compile(r':') pattern = re.compile(regular) resultList=(pattern.findall(t)) try : # print '匹配结果为',resultList return len(resultList),regular , resultList[0] except Exception as e : print e return 0 , regular , '' # pass def getEndPost(f): filename=readOnly(f) try : nowpos=filename.tell() filename.seek(0,2) endpos=filename.tell() filename.seek(nowpos,0) except : endpos = 0 filename.close() return endpos # pass def getDistinct(startpos,endpos): return endpos-startpos def getText(f,startpos,endpos): filename=readOnly(f) filename.seek(startpos,0) textLength=getDistinct(startpos,endpos) text=filename.read(textLength) filename.close() return text def updatePosLog(posResult,posFiles): f=writeOnly(posFiles) # print 'posResult ',posResult for k in posResult.keys() : v=posResult[k] f.writelines('%s:%s\n' %(k,v)) f.close() pass def getAlterConfi(filename): #文件:关键字:出现次数:告警方式:联系方式:联系组 f=readOnly(filename) result={} for lines in f.readlines(): # print lines try : filename , key , count , alterType , alterAddress , alterGroup ,alterMessage= lines.strip('\n').split(":") result[filename]={} result[filename]["key"] =key result[filename]["count"] =count result[filename]["alterType"] =alterType result[filename]["alterAddress"]=alterAddress result[filename]["alterGroup"] =alterGroup result[filename]["alterMessage"]=alterMessage except Exception as e: print e print '错误的配置 %s' % (lines.strip('\n')) pass return result def sendSms(account,message): data={ 'accounts':account , 'templateName':'opalert' , 'alertcontent':message , } encodeMessage=urlencode(data) #正式时需要开启 os.system('curl -I "http://10.1.1.146:8080/sms/send" ' % ( encodeMessage ) ) def main(): global posFiles global configFile AlterConfi=getAlterConfi(configFile) print AlterConfi posResult=getStartPosLog(posFiles) posResult_bak=getStartPosLog(posFiles) # print posResult for filename in AlterConfi.keys() : keyDict=AlterConfi[filename] print '开始检查文件 ',filename #print rematch(filename,r'#')[0] if not os.path.exists(filename): print 'file "%s" not exist ,pass' % (filename) # continue if os.path.exists(filename): endpos = getEndPost(filename) if endpos == 0 : print 'file "%s" is empty ,pass' % (filename) else : try : startpos= int(posResult[filename]) except : startpos = 0 print 'startpos is %.f , endpos is %.f' %(startpos ,endpos) #处理切割后,偏移量归位 if startpos > endpos : startpos = 0 text = getText(filename,startpos,endpos) # print '%s text is : '%(filename) , text #分析关键字 #print AposlterConfi[filename] matchCount , regular , resultList = rematch(text,keyDict['key']) print '匹配关键字',regular , '匹配长度为', matchCount , '关键字告警阈值' ,keyDict['count'] , '关键字' , resultList if int(matchCount) >= int(keyDict['count']) : print 'alterGroup len is ',len(keyDict['alterGroup']) print 'alterType len is ' ,len(keyDict['alterType']) if len(keyDict['alterGroup']) > 0: pass if len(keyDict['alterType']) >0: if keyDict['alterType'].upper() == 'SMS' : for account in keyDict['alterAddress'].split(',') : if len(account) >0 : sendSms(account,'发现%s 告警,关键字:%s ,出现次数:%s ' %(keyDict['alterMessage'] , resultList , matchCount )) pass #记录末尾偏移量 posResult_bak[filename]=endpos print '打印文件偏移量信息',posResult_bak #正式时需要开启 updatePosLog(posResult_bak,posFiles) if __name__ == '__main__': lock = filelock.FileLock("/home/apps/logmon-job/logmon.py.lock") if lock: logging.info("CaiWeiCheng Get Lock.start!!!") try: with lock.acquire(timeout=5): while 1 : main() time.sleep(60) # pass #except filelock.timeout : except Exception as e : print traceback.format_exc() print "timeout" logging.warning("get file lock timeout")
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
华山资源网 Design By www.eoogi.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
华山资源网 Design By www.eoogi.com
暂无评论...
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。
更新日志
2024年11月17日
2024年11月17日
- 中国武警男声合唱团《辉煌之声1天路》[DTS-WAV分轨]
- 紫薇《旧曲新韵》[320K/MP3][175.29MB]
- 紫薇《旧曲新韵》[FLAC/分轨][550.18MB]
- 周深《反深代词》[先听版][320K/MP3][72.71MB]
- 李佳薇.2024-会发光的【黑籁音乐】【FLAC分轨】
- 后弦.2012-很有爱【天浩盛世】【WAV+CUE】
- 林俊吉.2012-将你惜命命【美华】【WAV+CUE】
- 晓雅《分享》DTS-WAV
- 黑鸭子2008-飞歌[首版][WAV+CUE]
- 黄乙玲1989-水泼落地难收回[日本天龙版][WAV+CUE]
- 周深《反深代词》[先听版][FLAC/分轨][310.97MB]
- 姜育恒1984《什么时候·串起又散落》台湾复刻版[WAV+CUE][1G]
- 那英《如今》引进版[WAV+CUE][1G]
- 蔡幸娟.1991-真的让我爱你吗【飞碟】【WAV+CUE】
- 群星.2024-好团圆电视剧原声带【TME】【FLAC分轨】