如何知道一个网站是否屏蔽百度蜘蛛
对发帖的小伙伴来说，最大的悲伤莫过于发的帖子不被百度收录，不被收录不是因为自己发的帖子不符合百度收录标准，而是发帖的网站拒绝百度蜘蛛爬取，也就是屏蔽百度蜘蛛。那怎么知道一个网站是否屏蔽百度知道呢？方法有两种；
第一种、查看网站robots.txt，此文件一般在网站根目录下：
User-agent:*
Disallow:
这样的表示是屏蔽所有搜索引擎了。
User-agent:Baiduspider
Disallow:/
这样表示屏蔽百度蜘蛛。
以淘宝为例子，只要在浏览器中输入“https://www.taobao.com/robots.txt”，部分显示如下，感兴趣的小伙伴自己去看一下！
第二种、查看网站代码中是否设置屏蔽：
在网站页面代码<head>与</head>之间，有没有<meta name="robots" content="noarchive">
为方便小伙伴记忆，我特意查了一下archive这个词的意思，希望对你的记忆有帮助！
通过以上两种方法都可以查看一个网站是否屏蔽百度蜘蛛！
- 北京酒店转让
- 上海酒店转让
- 天津酒店转让
- 重庆酒店转让
- 深圳酒店转让
- 广州酒店转让
- 合肥酒店转让
- 南京酒店转让
- 苏州酒店转让
- 杭州酒店转让
- 福州酒店转让
- 厦门酒店转让
- 南昌酒店转让
- 济南酒店转让
- 太原酒店转让
- 郑州酒店转让
- 武汉酒店转让
- 长沙酒店转让
- 三亚酒店转让
- 南宁酒店转让
- 桂林酒店转让
- 昆明酒店转让
- 丽江酒店转让
- 大理酒店转让
- 贵阳酒店转让
- 成都酒店转让
- 西安酒店转让
- 兰州酒店转让
- 银川酒店转让
- 西宁酒店转让
- 拉萨酒店转让
- 沈阳酒店转让
- 长春酒店转让
- 大连酒店转让
- 东莞酒店转让
- 惠州酒店转让
- 珠海酒店转让
- 青岛酒店转让
- 海口酒店转让
- 石家庄酒店转让
- 哈尔滨酒店转让
- 呼和浩特酒店转让
- 乌鲁木齐酒店转让