华山资源网

Python爬虫辅助利器PyQuery模块的安装使用攻略
脚本专栏 2024/9/22 佚名
3 1

Windows下的安装：
下载地址：https://pypi.python.org/pypi/pyquery/#downloads
下载后安装：

C:\Python27>easy_install E:\python\pyquery-1.2.4.zip

也可以直接在线安装：

C:\Python27>easy_install pyquery

pyquery是一个类似jquery的python库，可以使用像jquery那样的语法来提取网页中的任何数据，这个用于html网页的数据提取和挖掘还是一个很不错的第三方库的。下面我们来看下pyquery的用法有哪些。

从html字符串中提取信息

#!/usr/bin/python
# -*- coding: utf-8 -*-

from pyquery import PyQuery as pq
html = '''
<html>
<head>
 <title>this is title</title>
</head>
<body>
 <p id="hi">Hello, World</p>
 <p id="hi2">Nihao</p>
 <div class="class1">
  <img src="/UploadFiles/2021-04-08/1.jpg">


上面的代码段给出了pyquery常用的操作方法。我们先定义了一段html代码，然后利用pyquery的一系列方法对该html代码进行了操作，主要是获取特定的元素以及文本等。当然，pyquery不仅仅能够获取元素，还能进行设置元素属性、增加元素等功能，鉴于我们最常用的就是上面代码中用到的方法，这里就不再对其他方法进行介绍了。


从url或本地html文件中提取信息


当然，pyquery也不仅仅可以解析像上面的html字符串，还可以这样：





d = pq(url='http://www.baidu.com/')






我们可以直接加载一个URL，和上面的操作方法没有任何区别。这种方法默认使用urllib模块进行http请求，但如果你的系统中安装了requests的话，那么就会使用requests来进行http请求，这也就意味着你可以使用requests的任何参数，比如：





pq('http://www.baidu.com/', headers={'user-agent': 'pyquery'})






或者，如果你在你的本地已经有了对应的html文件，那么还可以这样：





d = pq(filename=path_to_html_file)






上面的写法直接指定了本地的html文件，且操作方法仍然与上面的相同。

可以看到，pyquery给我们提供充分的便利性来进行任何元素的选取，就像jquery一样。


利用pyquery抓取豆瓣电影top250


看完了pyquery的语法，我们来看一个实例，抓取豆瓣电影top250。

因为豆瓣反爬虫反的厉害，运行几次就没法再抓了，我只好先用requests把页面下载下来，直接使用pyquery分析页面的方法来提取信息：





from pyquery import PyQuery as pq
import requests

head_req = {
 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36',
 'Referer':'https://movie.douban.com/top250"https://movie.douban.com/top250",headers=head_req)
with open("1.html","wb") as html:
 html.write(r.content)

d=pq(filename="1.html")

# print d('ol').find('li').html()
for data in d('ol').items('li'):
 print data.find('.hd').find('.title').eq(0).text()
 print data.find('.star').find('.rating_num').text()
 print data.find('.quote').find('.inq').text()
 print







运行下看看结果：





肖申克的救赎
9.6
希望让人自由。

这个杀手不太冷
9.4
怪蜀黍和小萝莉不得不说的故事。

阿甘正传
9.4
一部美国近现代史。

霸王别姬
9.4
风华绝代。

美丽人生
9.5
最美的谎言。

千与千寻
9.2
最好的宫崎骏，最好的久石让。

辛德勒的名单
9.4
拯救一个人，就是拯救整个世界。

海上钢琴师
9.2
每个人都要走一条自己坚定了的路，就算是粉身碎骨。

机器人总动员
9.3
小瓦力，大人生。

盗梦空间
9.2
诺兰给了我们一场无法盗取的梦。

泰坦尼克号
9.1
失去的才是永恒的。

三傻大闹宝莱坞
9.1
英俊版憨豆，高情商版谢耳朵。

放牛班的春天
9.2
天籁一般的童声，是最接近上帝的存在。

忠犬八公的故事
9.2
永远都不能忘记你所爱的人。

龙猫
9.1
人人心中都有个龙猫，童年就永远不会消失。

大话西游之大圣娶亲
9.1
一生所爱。

教父
9.2
千万不要记恨你的对手，这样会让你失去理智。

乱世佳人
9.2
Tomorrow is another day.

天堂电影院
9.1
那些吻戏，那些青春，都在影院的黑暗里被泪水冲刷得无比清晰。

当幸福来敲门
8.9
平民励志片。

搏击俱乐部
9.0
邪恶与平庸蛰伏于同一个母体，在特定的时间互相对峙。

楚门的世界
9.0
如果再也不能见到你，祝你早安，午安，晚安。

触不可及
9.1
满满温情的高雅喜剧。

指环王3：王者无敌
9.1
史诗的终章。

罗马假日
8.9
爱情哪怕只有一天。







当然这只是第一页的25条，我们已经知道了豆瓣电影top250的url是


https://movie.douban.com/top250?start=0

start参数从0，每次加25，直到


https://movie.douban.com/top250?start=225

所以可以写个循环把它们都抓下来。
华山资源网 Design By www.eoogi.com
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
华山资源网 Design By www.eoogi.com
www.eoogi.com 华山资源网
120,135影音资源
344,641技术资源
22,817软件资源
435,032站长资源

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。

《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒 经典版》的玩家都可以获得奖励。

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接
华山资源网 Design By www.eoogi.com