Python网络爬虫神器PyQuery的基本使用教程

脚本专栏 2024/11/17 佚名

3 1 2

前言

pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析 HTML 文档，易用性和解析速度都很好，和它差不多的还有BeautifulSoup，都是用来解析的。相比BeautifulSoup完美翔实的文档，虽然PyQuery库的文档弱爆了，但是使用起来还是可以的，有些地方用起来很方便简洁。

安装

关于PyQuery的安装可以参考这篇文章：https://www.jb51.net/article/82955.htm

PyQuery库官方文档

初始化为PyQuery对象
常用的CCS选择器
伪类选择器
查找标签
获取标签信息

初始化为PyQuery对象

html = """
<html lang="en">
 <head>
 简单好用的
 <title>PyQuery</title>
 </head>
 <body>
 <ul id="container">
  <li class="object-1">Python</li>
  <li class="object-2">大法</li>
  <li class="object-3">好</li>
 </ul>
 </body>
</html>
"""

相当于BeautifulSoup库的初识化方法，将html转化为BeautifulSoup对象。

bsObj = BeautifulSoup(html, 'html.parser')

PyQuery库也要有自己的初始化。

1.1 将字符串初始化

from pyquery import PyQuery as pq
#初始化为PyQuery对象
doc = pq(html)
print(type(doc))
print(doc)

<class 'pyquery.pyquery.PyQuery'>

<html lang="en">
 <head>
 <title>PyQuery学习</title>
 </head>
 <body>
 <ul id="container">
  <li class="object-1"/>
  <li class="object-2"/>
  <li class="object-3"/>
 </ul>
 </body>
</html>

1.2 将html文件初始化

#filename参数为html文件路径
test_html = pq(filename = 'test.html')
print(type(test_html))
print(test_html)

<class 'pyquery.pyquery.PyQuery'><html lang="en">
 <head>
 <title>PyQuery学习</title>
 </head>
 <body>
 <ul id="container">
  <li class="object-1"/>
  <li class="object-2"/>
  <li class="object-3"/>
 </ul>
 </body>
</html>

1.3 对网址响应进行初始化

response = pq(url = 'https://www.baidu.com')
print(type(response))
print(response)

<class 'pyquery.pyquery.PyQuery'>

<html> <head><meta http-equiv="content-type" content="text/html;charset=utf-8"/><meta http-equiv="X-UA-Compatible" content="IE=Edge"/><meta content="always" name="referrer"/><link rel="stylesheet" type="text/css" href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css" rel="external nofollow" /><title>ç"#0000cc"> <div id="wrapper"> <div id="head"> <div class="head_wrapper"> <div class="s_form"> <div class="s_form_wrapper"> <div id="lg"> <img hidefocus="true" src="/UploadFiles/2021-04-08/bd_logo1.png">

二、常用的CCS选择器
打印id为container的标签


print(doc('#container'))
print(type(doc('#container')))


返回


<ul id="container">
 <li class="object-1"/>
 <li class="object-2"/>
 <li class="object-3"/>
</ul>

<class 'pyquery.pyquery.PyQuery'>


打印class为object-1的标签


print(doc('.object-1'))


返回


<li class="object-1"/>


打印标签名为body的标签


print(doc('body'))


返回


<body>
 <ul id="container">
 <li class="object-1"/>
 <li class="object-2"/>
 <li class="object-3"/>
 </ul>
</body>


多种css选择器使用


print(doc('html #container'))


返回


<ul id="container">
 <li class="object-1"/>
 <li class="object-2"/>
 <li class="object-3"/>
</ul>


三、伪类选择器
伪类nth


print(pseudo_doc('li:nth-child(2)'))
#打印第一个li标签
print(pseudo_doc('li:first-child'))
#打印最后一个标签
print(pseudo_doc('li:last-child'))


返回


<li class="object-2">大法</li>
<li class="object-1">Python</li>
<li class="object-6">好玩</li>


contains


#找到含有Python的li标签
print(pseudo_doc("li:contains('Python')"))
#找到含有好的li标签
print(pseudo_doc("li:contains('好')"))


返回


<li class="object-1">Python</li>
<li class="object-3">好</li>
<li class="object-4">好</li>
<li class="object-6">好玩</li> 


四、查找标签
按照条件在Pyquery对象中查找符合条件的标签，类似于BeautifulSoup中的find方法。
打印id=container的标签


print(doc.find('#container'))


返回


<ul id="container">
 <li class="object-1"/>
 <li class="object-2"/>
 <li class="object-3"/>
</ul>
print(doc.find('li'))


返回


<li class="object-1"/>
<li class="object-2"/>
<li class="object-3"/>


4.2 子辈标签-children方法


#id=container的标签的子辈标签
container = doc.find('#container')
print(container.children())


返回


<li class="object-1"/>
<li class="object-2"/>
<li class="object-3"/>


4.3 父辈标签-parent方法


object_2 = doc.find('.object-2')
print(object_2.parent())


返回


<ul id="container">
 <li class="object-1"/>
 <li class="object-2"/>
 <li class="object-3"/>
</ul>


4.4 兄弟标签-siblings方法


object_2 = doc.find('.object-2')
print(object_2.siblings())


返回


<li class="object-1"/>
<li class="object-3"/>


五、获取标签的信息
定位到目标标签后，我们需要标签内部的文本或者属性值，这时候需要进行提取文本或属性值操作
5.1 标签属性值的提取
.attr() 传入 标签的属性名，返回属性值


object_2 = doc.find('.object-2')
print(object_2.attr('class'))


返回


object-2


5.2 标签内的文本
.text()


html_text = """
<html lang="en">
 <head>
  简单好用的
  <title>PyQuery</title>
 </head>
 <body>
  <ul id="container">
   Hello World！
   <li class="object-1">Python</li>
   <li class="object-2">大法</li>
   <li class="object-3">好</li>
  </ul>
 </body>
</html>
"""
docs = pq(html_text)
print(docs.text())


返回


简单好用的 PyQuery Hello World！ Python 大法 好




object_1 = docs.find('.object-1')
print(object_1.text())
container = docs.find('#container')
print(container.text())


返回


Python

Hello World！ Python 大法 好


tips:如果我只想获得Hello World这个，不想得到其他的文本，可以使用remove方法将li标签去掉，然后再使用text方法


container = docs.find('#container')
container.remove('li')
print(container.text())


返回


Hello World！


pyquery一些自定义的用法
访问网址
PyQuery与BeautifulSoup对比，我们会发现PyQuery可以对网址发起请求。 比如


from pyquery import PyQuery
PyQuery(url = 'https://www.baidu.com')


opener参数
这是PyQuery对百度网址进行请求，并将请求返回的响应数据处理为PyQuery对象。一般pyquery库会默认调用urllib库，如果想使用selenium或者requests库，可以自定义PyQuery的opener参数。
opener参数作用是告诉pyquery用什么请求库对网址发起请求。常见的请求库如urllib、requests、selenium。这里我们自定义一个selenium的opener。


from pyquery import PyQuery
from selenium.webdriver import PhantomJS
#用selenium访问url
def selenium_opener(url):
 #我没有将Phantomjs放到环境变量，所以每次用都要放上路径
 driver = PhantomJS(executable_path = 'phantomjs的路径')
 driver.get(url)
 html = driver.page_source
 driver.quit()
 return html
#注意，使用时opener参数是函数名，没有括号的！
PyQuery(url='https://www.baidu.com/', opener=selenium_opener)


这时候我们就能对PyQuery对象进行操作，提取有用的信息。具体请看上次的分享，如果想了解更多的功能，pyquery文档写的不怎么详细，好在基本跟jQuery功能吻合，我们如果想用好pyquery，需要查看jQuery文档。
cookies、headers
在requests用法中，一般为了访问网址更加真实，模仿成浏览器。一般我们需要传入headers，必要的时候还需要传入cookies参数。而pyquery库就有这功能，也能伪装浏览器。


from pyquery import PyQuery
cookies = {'Cookie':'你的cookie'}
headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'}
PyQuery(url='https://www.baidu.com/',headers=headers,cookies=cookies)


让你的selenium带上pyquery功能
让driver访问的网址得到的网页直接变为PyQuery对象，更方便提取数据


from pyquery import PyQuery
from selenium.webdriver import PhantomJS
class Browser(PhantomJS):
 @property 
 def dom(self):
  return PyQuery(self.page_source)"""
这部分property是装饰器，需要知道@property下面紧跟的函数，实现了类的属性功能。
这里browser.dom，就是browser的dom属性。
"""
browser = Browser(executable_path='phantomjs的路径')
browser.get(url='https://www.baidu.com/')
print(type(browser.dom))


返回


<class 'pyquery.pyquery.PyQuery'>


总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对的支持。

python使用pyquery,python,pyquery,python,pyquery教程

华山资源网 Design By www.eoogi.com

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！

华山资源网 Design By www.eoogi.com

评论“Python网络爬虫神器PyQuery的基本使用教程”

暂无评论...

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒经典版》的玩家都可以获得奖励。

更新日志

2024年11月17日

Python网络爬虫神器PyQuery的基本使用教程

python验证码识别实例代码

Django中cookie的基本使用方法示例

评论“Python网络爬虫神器PyQuery的基本使用教程”

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

更新日志

友情链接