谷歌SEO,屏蔽谷歌机器人抓取后是怎么样的?

该文件robots存在于FTP中,如果需要屏蔽各个搜索引擎抓取只需要这个robots.txt文件里面添加代码。
屏蔽所有蜘蛛机器人抓取的代码是:
User-agent: *
Disallow: /
记住 : 和 / 之间是有个空格间隔开的,如果不输入空格键是无效的哦。
*则代表是所有的,如果屏蔽具体哪一个搜索引擎则需要输入具体名称。

以本站为例,屏蔽谷歌机器人后的抓取呈现如上图,会显示 No information is available for this page.
如果连接中含有井号 # 也是屏蔽搜索引擎抓取和收录的哦,大家切记。
原创文章,作者:SONIC SEO,如若转载,请注明出处:https://www.seo388.com/robotx/