您好,欢迎来到哪里有!
[全国]
如何知道一个网站是否屏蔽百度蜘蛛
来源: www.114naliyou.com  发布时间:2019-05-24 13:40:36
浏览:147

  对发帖的小伙伴来说,最大的悲伤莫过于发的帖子不被百度收录,不被收录不是因为自己发的帖子不符合百度收录标准,而是发帖的网站拒绝百度蜘蛛爬取,也就是屏蔽百度蜘蛛。那怎么知道一个网站是否屏蔽百度知道呢?方法有两种;

  第一种、查看网站robots.txt,此文件一般在网站根目录下:

  User-agent:*

  Disallow:

  这样的表示是屏蔽所有搜索引擎了。

  User-agent:Baiduspider

  Disallow:/

  这样表示屏蔽百度蜘蛛。

  以淘宝为例子,只要在浏览器中输入“https://www.taobao.com/robots.txt”,部分显示如下,感兴趣的小伙伴自己去看一下!

1.jpg


  第二种、查看网站代码中是否设置屏蔽:

  在网站页面代码<head>与</head>之间,有没有<meta name="robots" content="noarchive">

  为方便小伙伴记忆,我特意查了一下archive这个词的意思,希望对你的记忆有帮助!

2.jpg

  通过以上两种方法都可以查看一个网站是否屏蔽百度蜘蛛!

请于周一至周五9:00-18:00工作时间致电我们,节假日下班请勿联系,可先加右侧工作QQ联系

招聘求职:
培训考证:
网站客服:
更多联系方式