环境:
ubuntu16.04
python3.5
python库: selenium, pyquery,pymongo, re
要求:
设置×××面浏览器访问,并将商品列表存入mongoDB数据库.
分析过程暂时略过
代码:
#!/usr/bin/env python # -*- coding:utf-8 -*- """ 1.爬取淘宝美食的流程 - 搜索关键字: 用selenium打开浏览器,模拟输入关键字,并搜索对应的商品列表. - 分析页码并翻页,模拟翻页,查看到所有页面的商品列表. - 分析并提取商品,利用Pyquery分析源码,解析得到商品列表. - 存储到MONGODB数据库,将商品列表信息存储到mongoDB数据库. """ from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.common.exceptions import TimeoutException from pyquery import PyQuery as pq import re from anli.mongoconfig import * import pymongo client = pymongo.MongoClient(MONGO_URL) db = client[MONGO_DB] #设置×××面访问 opt = webdriver.FirefoxOptions() opt.set_headless() browser = webdriver.Firefox(options=opt) #等待浏览器加载页面成功. wait = WebDriverWait(browser,10) def search(): try: # 后台打开浏览器 browser.get('https://www.taobao.com') # 用CSS选择器复制搜索框 input = wait.until( EC.presence_of_element_located((By.CSS_SELECTOR, '#q')) ) # 找到搜索按钮. submit = wait.until( # EC.element_to_be_clickable((By.CSS_SELECTOR,'#J_TSearchForm .search-button'))) EC.element_to_be_clickable((By.CSS_SELECTOR,'#J_TSearchForm > div.search-button > button'))) # 输入关键字 input.send_keys('美食') # 点击搜索按钮. submit.click() # 输出总共的页数. total=wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'.total'))) # 调取商品列表的函数. get_products() return total.text except TimeoutException: #超时错误. return search() # 翻页 def next_page(page_number): try: #注意在firefox和chrome浏览器复制出来的元素不太一样. #要传入的页码: 到第几页 input = wait.until( EC.presence_of_element_located((By.CSS_SELECTOR,'input.input:nth-child(2)')) ) #复制确定按钮的元素: submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'span.btn:nth-child(4)'))) #清除页码 input.clear() #输入当前页码 input.send_keys(page_number) #点击确定按钮. submit.click() #判断当前页码是否是当前数字: 复制高亮页码数. wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR,'span.num'),str(page_number))) get_products() except TimeoutException: next_page(page_number) #解析jquery源码 def get_products(): #商品列表: wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-itemlist .items .item'))) # 获取网页源码 html = browser.page_source doc = pq(html) items = doc('#mainsrp-itemlist .items .item').items() for item in items: #定义商品列表详细信息的字典 product = { 'title': item.find('.title').text(), 'price': item.find('.price').text(), 'image': item.find('.pic .img').attr('src'), 'shop': item.find('.shop').text(), 'deal': item.find('.deal-cnt').text()[:-3], 'location': item.find('.location').text() } print(product) #将商品列表信息保存到mongoDB数据库. save_to_mongo(product) def save_to_mongo(result): try: if db[MONGO_TABLE].insert(result): print('存储到mongodb成功',result) except Exception: print('存储到mongodb失败',result) def main(): total = search() # 用正则表达式只匹配出数字,并打印数字. total = int(re.compile('(\d+)').search(total).group(1)) print(total) for i in range(2,total + 1): next_page(i) if __name__=='__main__': main() #关闭×××面浏览器. browser.quit() #mongoconfig.py #!/usr/bin/env python # -*- coding:utf-8 -*- MONGO_URL = 'localhost' MONGO_DB = 'taobao' MONGO_TABLE = 'meishi'
安装和使用mongodb参考:
//www.jb51.net/article/54758.htm
实现效果:
注意:
chrome浏览器和firefox浏览器的网页元素不太一样.
华山资源网 Design By www.eoogi.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
华山资源网 Design By www.eoogi.com
暂无评论...
RTX 5090要首发 性能要翻倍!三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。
据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。
更新日志
2024年09月21日
2024年09月21日
- [ABC]安娜-胆麦发烧女声[6N纯银镀膜][2016[低速原抓WAV+CUE]
- 任天堂今晚举行直面会!第三方及独立游戏展示
- 《哆啦A梦的铜锣烧店物语》发售!开罗公式+哆啦A梦
- 任天堂公布《塞尔达传说》系列时间线:野炊与王泪独立在外
- 五条人.2012-一些风景2CD【刀马旦】【WAV+CUE】
- 陈奕迅.2013-Easons.Life演唱会2CD(2024环球红馆40复刻系列)【环球】【WAV+CUE】
- 许美静.1995-遗憾(新马版)【上华】【WAV+CUE】
- 《叶倩文 歌声情缘》[WAV+CUE][410MB]
- 《张国荣 首首动听经典不容错过 追忆的风 2CD》[WAV+CUE][870MB]
- 《腾格尔 容中尔甲 亚东 高原三星 男人篇 3CD》[WAV/分轨][1GB]
- 命运圣契公测实测可用兑换码大全 命运圣契最新兑换码分享
- 黑神话悟空上品疾蝠精魄获取方法一览|上品疾蝠精魄收集攻略
- 《七龙珠电光炸裂!ZERO》GT角色预告片曝光,15位新角色登场
- [ABC]安娜-胆麦发烧女声[6N纯银镀膜][2016[低速原抓WAV+CUE]
- NewViennaOctetViennaWindSoloists-TheDeccaRecordings(2024)18CD[24-48][FLAC]-7