2023年,看看别人专业的SEO网站的robots.txt是怎么写的?

2023年,看看别人专业的SEO网站的robots.txt是怎么写的?

如下:

User-agent: *
Disallow: /user/*/*
Disallow: /wp-admin/
Disallow: /checkout/
Disallow: /category/uncategorized*
Disallow: /author/admin/page/*
Disallow: /author/wuyou
Disallow: /*?*
Disallow: /?=*
Disallow: /tugao
Disallow: /author/*
Disallow: /page/*
Disallow: /50.html
Disallow: /62.html
Disallow: /63.html
Disallow: /tougao
Disallow: /wen
Disallow: /account
Disallow: /members
Disallow: /user
Disallow: /liuyan
Disallow: /special/suanfa
Disallow: /article/
Disallow: /newuser
Disallow: /*/*/feed
Disallow: /news/
Disallow: /okx
Disallow: /bian



User-agent:Bingbot
Disallow: /*/*/feed
Disallow: /*?*
Disallow: /?=*
Disallow: /category/uncategorized*
Disallow: /author/admin/page/*
Disallow: /author/wuyou
Disallow: /*?*
Disallow: /newuser
Disallow: /tag/*/feed
Disallow: /*/*/*.html/feed



User-agent:Baiduspeder
Disallow: /*/amp

User-agent:Googlebot
Allow: /*.js
Allow: /*.css
Allow: /*.jpg&
Allow: /*.png&
Disallow: /*/*/feed
Disallow: /tougao
Disallow: /wen
Disallow: /account
Disallow: /members
Disallow: /user
Disallow: /user/*/*
Disallow: /wp-admin/
Disallow: /checkout/
Disallow: /category/uncategorized*
Disallow: /author/admin/page/*
Disallow: /author/wuyou
Disallow: /*?*
Disallow: /*/*/feed
Disallow: /newuser

小伙伴们懂了吗?专业的SEO,百度 谷歌 必应 都要加代码!

 

2023年,看看别人专业的SEO网站的robots.txt是怎么写的?
2023年,看看别人专业的SEO网站的robots.txt是怎么写的?

 

原创文章,作者:SONIC SEO,如若转载,请注明出处:https://www.seo388.com/2023-robots-txt/

(2)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023年4月22日 22:38
下一篇 2023年4月23日 18:28

相关推荐

  • SEO,SEM,广告推广信息流, 对于这三者如何就业选择?

    这次,小编来说说,”SEO,SEM,广告推广信息流, 对于这三者如何就业选择?“ 的这个话题。 小编相信,接触过SEO的人应该都知道SEM,信息流是后兴起的  我会在下面详细的解说。我先概括一下 这三种各是什么意思,可能有小白还不清楚他们的是什么行业 。 SEO(搜索引擎优化)它是一种通过分析搜索引擎的排名规律,了解各种搜索引擎怎样进行搜索、怎样抓取互联网页…

    2019年8月3日
    0941
  • 质量高权重高的两个点评平台,外链必备!没错,就是它们!

      质量高权重高的两个点评平台,外链必备!没错,就是它们!     就是美团点评和大众点评,虽然它们已经合并了,但是它们依然是用了两个不同的平台以及不同的域名,而且两个平台与域名的权重还不一样,一个权重7,一个权重8,流量惊人,必然是高质量的外链发布地。外链的质量高低,很大程度上取决于平台网站的权重,权重高的网站必然流量高,一般…

    2019年4月5日 百度SEO
    14.6K
  • SEOer挑选老域名一般怎么样去做筛选呢?

    SEOer挑选老域名一般怎么样去做筛选呢?这次小编来给小伙伴们介绍一下下吧。 1)老域名的安全检查 在选择一个老域名的过程中,了解其在搜索引擎中是否被报中毒了,如果是,说明网站之前做过灰色行业或者被挂马啦,可以选择百度网站检测中心和腾讯电脑管家测试(此外,还可以到域名注册商那里查询,比如说聚名网上是可以查询域名是否被墙,是否被污染,360、qq、微信是否拦截…

    2019年10月19日
    01.9K
  • 突破谷歌排名的终极指南:从零到一掌握SEO技巧!

    小嵘SEO技术博客,作为一位优秀的谷歌SEO优化师,我将带您领略突破谷歌排名的终极指南,从零开始掌握SEO技巧。无论您是初学者还是有一定经验的网站管理员,通过本文,您将学到一些实用的技巧和策略,帮助您的网站在谷歌搜索引擎中崭露头角。现在就跟随我一起进入这个终极指南,掌握谷歌SEO的精髓! 关键词优化:找到适合您网站的关键词,并合理地在标题、描述、内容和标签中…

    2023年7月19日
    0102
  • 各大搜索引擎的蜘蛛池(Spider Pool)有什么用?

    各大搜索引擎的蜘蛛池(Spider Pool)有什么用? 搜索引擎的蜘蛛池是搜索引擎用于爬取和索引网页的机器人的集群或池子。它在搜索引擎中的作用非常重要,具体有以下几个方面的用途: 爬取和索引网页:搜索引擎的蜘蛛池是搜索引擎爬取和索引网页的基础,通过蜘蛛池,搜索引擎可以抓取和索引更多的网页,从而展示更多的搜索结果。 更新索引库:当蜘蛛池访问网站时,它们会爬取…

    2023年4月22日
    0463
  • 什么是外链?外链怎么发布?SEOer发外链的话,一般是这几种形式

    外链:就是把网站链接放在互联网的任何一个地方,让用户和搜索引擎蜘蛛或者机器人看到后点击进入,从而获得增加流量、权重、提升排名等等的作用。外链多发了无害,但是有没有用,是不是无用功,那这个就是问题了。外链的话,百度和谷歌其实道理都是一样的,只是外国人有外国人的习惯,还有些其他的外链事项需要注意。 对于外链,一般说来有这些形式: 纯文本链接:纯字母的一个链接表现…

    2019年3月31日 百度SEO
    11.9K
  • 百度SEO快排技术是什么鬼? 了解一下就好了

    SEO快排相信在SEO圈中站长们都已经知晓见怪不怪了,我想通过几篇文章来分享下什么是百度SEO快排。 SEO快排,也就是利用一些特殊的手段绕过百度的算法来达到快速排名的结果,把正常的数月才可以排名上去的关键词,短短几周就可以排名上去。   简而言知,就是一种SEO作弊手段 比如方,SEO这个词,从2018年中的时候开始出现一大批的SEO网站排名在百…

    2019年3月18日
    11.6K
  • 我们做SEO优化网站应该怎么布局网站关键词?

    这次,小编来给大家聊聊,关于 ”我们做SEO优化网站应该怎么布局网站关键词?“ 希望对新手SEO优化站长做关键词布局的时候有所帮助。 布局关键词按照首页、栏目页、内页优先等级依次布局。栏目页关键词是首页关键词的扩展,内页长尾词是栏目关键词的扩展。 1)关于首页的关键词 首页关键词是整个网站内容的概括,网站的首页权重高于栏目页和内页,所以首页的关键词是竞争度比…

    2019年12月29日
    01.2K
  • Google 谷歌SEO插件推荐:Checkbot 做好SEO检查

    这次,小编来给大家说说,关于“Google 谷歌SEO插件推荐:Checkbot 做好SEO检查”的这个话题。推荐给大家哦。 一般来说,无论是SEO新手,还是在职SEO优化师,都会或想去给自己的网站做一次剖析:看看网站的SEO情况,和优化空间,从而进行优化规划。 但是呢,在SEO audit审查方面,严格来说需要很多工具,比如screaming frog、A…

    2021年4月9日 SEO优化工具
    01.5K
  • 2020年应该怎样创作英文博客文章内容?

    今天,小编来给大家说说,关于 “2020年应该怎样创作英文博客文章内容?” 希望对于做谷歌SEO的小伙伴们和做英文博客的站长小伙伴们有所帮助。 内容为王,搭建的网站没有内容肯定是不行的,做SEO,首先需要有内容才能展开工作,那么英文博客的文章内容如何创作,特别是对于新建的站点来说,这个尤为重要了,根据Wealthy Affiliate的站内数据,通过WA学习…

    2020年1月12日 谷歌SEO
    02.9K
  • 关键词放在什么位置最好?关键字也有权重吗?

    今天,小编继续来给大家进行SEO知识点的分享,希望对大家有所帮助。   一、关键词放在什么位置最好?1、首先关键词应该在网页文章标题里面2、网页头部标签(如:Description Tag-描述标签、关键词标签等)应该放着关键词3、文章第一段可以适当出现关键词,因为搜索引擎通常会抓取第一段作为描述添加关键词时,应该考虑的对象是网站的用户,而不是搜索…

    2019年8月29日
    01.4K
  • 美国白宫的官网是WordPress做的

    美国白宫的这个骚操作,你们知道吗?原来美国白宫的官网是Wordpress做的! 打开美国白宫的网站 https://www.whitehouse.gov/  然后 按键盘 F12 查看网站代码。 然后可以看到这个画面: 能看到 wp-content,这就毫无疑问是wordpress 开源框架做的。  

    2021年2月3日
    01.2K