对发帖的小伙伴来说，最大的悲伤莫过于发的帖子不被百度收录，不被收录不是因为自己发的帖子不符合百度收录标准，而是发帖的网站拒绝百度蜘蛛爬取，也就是屏蔽百度蜘蛛。那怎么知道一个网站是否屏蔽百度知道呢？方法有两种；
第一种、查看网站robots.txt，此文件一般在网站根目录下：
User-agent:*
Disallow:
这样的表示是屏蔽所有搜索引擎了。
User-agent:Baiduspider
Disallow:/
这样表示屏蔽百度蜘蛛。
以淘宝为例子，只要在浏览器中输入“https://www.taobao.com/robots.txt”，部分显示如下，感兴趣的小伙伴自己去看一下！
第二种、查看网站代码中是否设置屏蔽：
在网站页面代码<head>与</head>之间，有没有<meta name="robots" content="noarchive">
为方便小伙伴记忆，我特意查了一下archive这个词的意思，希望对你的记忆有帮助！
通过以上两种方法都可以查看一个网站是否屏蔽百度蜘蛛！
