华山资源网

SEO Baiduspider常见问题解答
网站运营 2024/11/15 佚名
3 1
  1. 什么是Baiduspider？
    Baiduspider是百度搜索引擎的一个自动程序，它的作用是访问互联网上的网页，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站上的网页。
    1. Baiduspider的user-agent是什么？
      百度各个产品使用不同的user-agent：
    1. 产品名称
    对应user-agent 无线搜索 Baiduspider-mobile 图片搜索 Baiduspider-image 视频搜索 Baiduspider-video 新闻搜索 Baiduspider-news 百度搜藏 Baiduspider-favo 百度联盟 Baiduspider-cpro 百度推广 Baiduspider-sfkr 网页以及其他搜索 Baiduspider
    1. Baiduspider对一个网站服务器造成的访问压力如何？
      Baiduspider会自动根据服务器的负载能力调节访问密度。在连续访问一段时间后，Baiduspider会暂停一会，以防止增大服务器的访问压力。所以在一般情况下，Baiduspider对您网站的服务器不会造成过大压力。

    2. 为什么Baiduspider不停的抓取我的网站？
      对于您网站上新产生的或者持续更新的页面，Baiduspider会持续抓取。此外，您也可以检查网站访问日志中Baiduspider的访问是否正常，以防止有人恶意冒充Baiduspider来频繁抓取您的网站。 如果您发现Baiduspider非正常抓取您的网站，请通过投诉平台反馈给我们，并请尽量给出Baiduspider对贵站的访问日志，以便于我们跟踪处理。

    3. 如何判断是否冒充Baiduspider的抓取？
      您可以使用host ip命令反解ip来判断Baiduspider的抓取是否冒充。Baiduspider的hostname以*.baidu.com的格式命名，非*.baidu.com即为冒充。

      $ host 123.125.66.120
      120.66.125.123.in-addr.arpa domain name pointer baiduspider-123-125-66-120.crawl.baidu.com.

    4. 我不想我的网站被Baiduspider访问，我该怎么做？
      Baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止Baiduspider访问您的网站，或者禁止Baiduspider访问您网站上的部分文件。 注意：禁止Baiduspider访问您的网站，将使您的网站上的网页，在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。关于robots.txt的写作方法，请参看我们的介绍：robots.txt写作方法

      您可以根据各产品不同的user-agent设置不同的抓取规则，如果您想完全禁止百度所有的产品收录，可以直接对Baiduspider设置禁止抓取。

      以下robots实现禁止所有来自百度的抓取：
      User-agent: Baiduspider
      Disallow: /

      以下robots实现仅禁止来自百度视频搜索的抓取：
      User-agent: Baiduspider-video
      Disallow: /

      以下robots实现禁止所有来自百度的抓取但允许图片搜索抓取/image/目录：
      User-agent: Baiduspider
      Disallow: /

      User-agent: Baiduspider-image
      Allow: /image/

      请注意：Baiduspider-cpro和Baiduspider-sfkr抓取的网页并不会建入索引，只是执行与客户约定的操作，所以不遵守robots协议，如果Baiduspider-cpro和Baiduspider-sfkr给您造成了困扰，Baiduspider-cpro请联系union1@baidu.com，Baiduspider-sfkr请联系help@baidu.com。

    5. 为什么我的网站已经加了robots.txt，还能在百度搜索出来？
      因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。
      如果您的拒绝被收录需求非常急迫，也可以通过投诉平台反馈请求处理。

    6. 我希望我的网站内容被百度索引但不被保存快照，我该怎么做？
      Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。
      和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中如果已经建立了网页索引信息，可能需要二至四周才会在线上生效。

    7. Baiduspider多长时间之后会重新抓取我的网页？
      百度搜索引擎每周更新，网页视重要性有不同的更新率，频率在几天至一月之间，Baiduspider会重新访问和更新一个网页。

    8. Baiduspider抓取造成的带宽堵塞？
      Baiduspider的正常抓取并不会造成您网站的带宽堵塞，造成此现象可能是由于有人冒充Baiduspider恶意抓取。如果您发现有名为Baiduspider的agent抓取并且造成带宽堵塞，请尽快和我们联系。您可以将信息反馈至投诉平台，如果能够提供您网站该时段的访问日志将更加有利于我们的分析。
    • 华山资源网 Design By www.eoogi.com
    广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
    免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
    华山资源网 Design By www.eoogi.com
    www.eoogi.com 华山资源网
    120,135影音资源
    344,641技术资源
    22,817软件资源
    435,032站长资源

    更新日志

    友情链接

    杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接
    华山资源网 Design By www.eoogi.com