python requests库爬取豆瓣电视剧数据并保存到本地详解

脚本专栏 2024/11/20 佚名

3 1 2

首先要做的就是去豆瓣网找对应的接口，这里就不赘述了，谷歌浏览器抓包即可，然后要做的就是分析返回的json数据的结构：

https://movie.douban.com/j/search_subjects"text-align: center">

有了这些，就直接上程序了，因为感觉程序还是比较好懂，主要还是遵从面向对象的程序设计：

import json
import requests


class DoubanSpider(object):
  """爬取豆瓣热门国产电视剧的数据并保存到本地"""

  def __init__(self):
    # url_temp中的start的值是动态的，所以这里用{}替换，方便后面使用format方法
    self.url_temp = 'https://movie.douban.com/j/search_subjects"htmlcode">

import json
import requests


class DoubanSpider(object):
  """爬取豆瓣热门国产电视剧的数据并保存到本地"""
  def __init__(self):
    # url_temp中的start的值是动态的，所以这里用{}替换，方便后面使用format方法
    self.url_temp = 'https://movie.douban.com/j/search_subjects"text-align: center">
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。