问题描述
利用搜狗的微信搜索抓取指定公众号的最新一条推送,并保存相应的网页至本地。
注意点
搜狗微信获取的地址为临时链接,具有时效性。
公众号为动态网页(JavaScript渲染),使用requests.get()获取的内容是不含推送消息的,这里使用selenium+PhantomJS处理
代码
#! /usr/bin/env python3 from selenium import webdriver from datetime import datetime import bs4, requests import os, time, sys # 获取公众号链接 def getAccountURL(searchURL): res = requests.get(searchURL) res.raise_for_status() soup = bs4.BeautifulSoup(res.text, "lxml") # 选择第一个链接 account = soup.select('a[uigs="account_name_0"]') return account[0]['href'] # 获取首篇文章的链接,如果有验证码返回None def getArticleURL(accountURL): browser = webdriver.PhantomJS("/Users/chasechoi/Downloads/phantomjs-2.1.1-macosx/bin/phantomjs") # 进入公众号 browser.get(accountURL) # 获取网页信息 html = browser.page_source accountSoup = bs4.BeautifulSoup(html, "lxml") time.sleep(1) contents = accountSoup.find_all(hrefs=True) try: partitialLink = contents[0]['hrefs'] firstLink = base + partitialLink except IndexError: firstLink = None print('CAPTCHA!') return firstLink # 创建文件夹存储html网页,以时间命名 def folderCreation(): path = os.path.join(os.getcwd(), datetime.now().strftime('%Y-%m-%d_%H-%M-%S')) try: os.makedirs(path) except OSError as e: if e.errno != errno.EEXIST: raise print("folder not exist!") return path # 将html页面写入本地 def writeToFile(path, account, title): myfile = open("{}/{}_{}.html".format(path, account, title), 'wb') myfile.write(res.content) myfile.close() base ='https://mp.weixin.qq.com' accountList = ['央视新闻', '新浪新闻','凤凰新闻','羊城晚报'] query = 'http://weixin.sogou.com/weixin"#{}({}/{}): {}".format(account, index+1, len(accountList), accountURL)) # 读取第一篇文章内容 res = requests.get(articleURL) res.raise_for_status() detailPage = bs4.BeautifulSoup(res.text, "lxml") title = detailPage.title.text print("标题: {}\n链接: {}\n".format(title, articleURL)) writeToFile(path, account, title) else: print('{} files successfully written to {}'.format(index, path)) sys.exit() print('{} files successfully written to {}'.format(len(accountList), path))
参考输出
Terminal输出
Finder
分析
链接获取
首先进入搜狗的微信搜索页面,在地址栏中提取需要的部分链接,字符串连接公众号名称,即可生成请求链接
针对静态网页,利用requests获取html文件,再用BeautifulSoup选择需要的内容
针对动态网页,利用selenium+PhantomJS获取html文件,再用BeautifulSoup选择需要的内容
遇到验证码(CAPTCHA),输出提示。此版本代码没有对验证码做实际处理,需要人为访问后,再跑程序,才能避开验证码。
文件写入
使用os.path.join()构造存储路径可以提高通用性。比如Windows路径分隔符使用back slash(\), 而OS X 和 Linux使用forward slash(/),通过该函数能根据平台进行自动转换。
open()使用b(binary mode)参数同样为了提高通用性(适应Windows)
使用datetime.now()获取当前时间进行命名,并通过strftime()格式化时间(函数名中的f代表format),
具体使用参考下表(摘自 Automate the Boring Stuff with Python)
以上这篇python爬虫_微信公众号推送信息爬取的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。
更新日志
- 仙境传说新启航一区是哪个区 仙境传说一区服务器介绍
- 叶倩文2014《影视金曲》LPCD45【WAV+CUE】
- 张国荣1996-哥哥的前半生[华星]2CD[WAV]
- 银霞.1981-《泥泞中的小花·期待》台湾复刻版[WAV+CUE]
- PS掌机游玩《宇宙机器人》体验测试 玩家:这游戏就得用便携模式玩!
- 《黑神话:悟空》角色游戏内形象与86版西游记对比:这版本太经典了
- 《尘白禁区》凯茜娅泳装视频:碧海之中摇曳的少女们
- 林珊如.1997-神秘的感觉【鸿谷唱片】【WAV+CUE】
- 群星.1991-8大巨星展魅力【新丽声】【WAV+CUE】
- 群星.2021-流金岁月电视剧原声带【仁溪音乐】【FLAC分轨】
- 魔兽世界地心之战踏风武僧用什么饰品 地心之战踏风武僧饰品推荐
- 仙境传说新启航新手职业怎么选 仙境传说新手职业推荐
- 魔兽世界地心之战酒仙武僧用什么饰品 地心之战酒仙武僧饰品推荐
- 王菲.2001-《菲经典DSD》引进版[WAV+CUE]
- 【雨果唱版】民歌对唱《红英与唐彪LPCD45》2007[WAV+CUE]