2023年,看看别人专业的SEO网站的robots.txt是怎么写的?

2023年,看看别人专业的SEO网站的robots.txt是怎么写的?

如下:

User-agent: *
Disallow: /user/*/*
Disallow: /wp-admin/
Disallow: /checkout/
Disallow: /category/uncategorized*
Disallow: /author/admin/page/*
Disallow: /author/wuyou
Disallow: /*?*
Disallow: /?=*
Disallow: /tugao
Disallow: /author/*
Disallow: /page/*
Disallow: /50.html
Disallow: /62.html
Disallow: /63.html
Disallow: /tougao
Disallow: /wen
Disallow: /account
Disallow: /members
Disallow: /user
Disallow: /liuyan
Disallow: /special/suanfa
Disallow: /article/
Disallow: /newuser
Disallow: /*/*/feed
Disallow: /news/
Disallow: /okx
Disallow: /bian



User-agent:Bingbot
Disallow: /*/*/feed
Disallow: /*?*
Disallow: /?=*
Disallow: /category/uncategorized*
Disallow: /author/admin/page/*
Disallow: /author/wuyou
Disallow: /*?*
Disallow: /newuser
Disallow: /tag/*/feed
Disallow: /*/*/*.html/feed



User-agent:Baiduspeder
Disallow: /*/amp

User-agent:Googlebot
Allow: /*.js
Allow: /*.css
Allow: /*.jpg&
Allow: /*.png&
Disallow: /*/*/feed
Disallow: /tougao
Disallow: /wen
Disallow: /account
Disallow: /members
Disallow: /user
Disallow: /user/*/*
Disallow: /wp-admin/
Disallow: /checkout/
Disallow: /category/uncategorized*
Disallow: /author/admin/page/*
Disallow: /author/wuyou
Disallow: /*?*
Disallow: /*/*/feed
Disallow: /newuser

小伙伴们懂了吗?专业的SEO,百度 谷歌 必应 都要加代码!

 

2023年,看看别人专业的SEO网站的robots.txt是怎么写的?
2023年,看看别人专业的SEO网站的robots.txt是怎么写的?

 

原创文章,作者:SONIC SEO,如若转载,请注明出处:https://www.seo388.com/2023-robots-txt/

(2)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023年4月22日 22:38
下一篇 2023年4月23日 18:28

相关推荐

  • 搜索引擎排名优化SEO技术,三十个常用的白帽技术?您知道吗?

    SEO技术之经典30个白帽技术,对于网络推广的人来说,如何让搜索引擎搜索到你的网站及让你的网站能在主流的搜索引擎上有良好的排名一直是对于SEO技术员来说一个非常头痛的事情,网络推广的技术手段也有非常多手法,如黑帽SEO技术,白帽SEO技术等。   但是各种技术的用法和手段已经对搜索引擎的友好度都不一样的,今天呢我为大家介绍下如何能让搜索引起对你的网…

    2019年5月16日 百度SEO
    11.9K
  • 关于网站SEO友情链接交换需要注意的几点

    这次小编来给大家说说关于网站SEO友情链接的问题,交换好的友情链接可以帮助新站迅速提高权重是没错,但是切勿胡乱购买友情链接,后果很严重,切勿乱加友情链接,不然可能后悔莫及….. 网站添加友情链接的注意事项如下: 1)咱们不交换不正规网站,”灰色网站不要交换链接“,交换不正规网站或者网站被挂马有可能会被牵连被K站,有可能牵连的所有友情链接的网站全部…

    2019年9月22日
    02.2K
  • 谷歌SEO,屏蔽谷歌机器人抓取后是怎么样的?

    谷歌SEO,屏蔽谷歌机器人抓取后是怎么样的? 该文件robots存在于FTP中,如果需要屏蔽各个搜索引擎抓取只需要这个robots.txt文件里面添加代码。 屏蔽所有蜘蛛机器人抓取的代码是: User-agent: *Disallow: / 记住  : 和 / 之间是有个空格间隔开的,如果不输入空格键是无效的哦。 *则代表是所有的,如果屏蔽具体哪一个搜索引擎…

    2019年3月17日
    22.0K
  • 关于SEO优化之黑帽与白帽的差别所在

    这次,小编给大家带来的是“关于SEO优化之黑帽与白帽的差别所在” 的这个话题哦。希望小伙伴们感兴趣吧。 一般情况下,对于刚接触SEO的新人来说,他们可能就听过SEO,却不知道SEO还分种类。其它SEO分白帽和黑帽, 他们有什么不同,下面我就带大家介绍一下… 黑帽SEO和白帽SEO区别 技术层次来区分黑帽SEO、白帽SEO两大类。黑帽SEO技术是指通过作弊的手…

    2020年9月3日
    01.6K
  • SEO网站时光机,SEO老域名快排神器推荐!

    小编这次想告诉你,作为网站排名SEO的一个重要的知识点老域名。对于老域名来说网站的历史数据,也就是域名的历史记录查询非常重要,比如域名中的锚文本链接、年龄,更为重要的是域名是否有一些许多未被清除灰色历史。老域名可以说是大家公认的秒排神器,但是灰色历史可能让你不停的优化你的网站排名而不起任何作用,让你放弃。这是一种无用功。 接下来,咱们SEOer只有通过一些工…

    2019年9月20日 SEO优化工具
    05.9K
  • 新手想做好SEO的其中几个小点

    这次来介绍一下,新手想做好seo的其中几个小点:点一:基础优化一定要到位,作为一个新站来讲,在我们没有资源,没流量的情况下,那拼的就是我们的优化了;第二点:不可忽视的流量来源。其实,流量来源的最佳渠道就是:分享。 每当你写一篇文章,都要记得去分享,那分享的渠道是什么呢,这里给大家分享一个大招:QQ群第三点:就是文章质量问题,说实话,如果你文笔不好的话,写出来…

    2019年8月29日
    01.9K
  • 来自谷歌SEO的技术贴:我们考虑SEO的3种方式

    本文转自谷歌营销的文章,谷歌SEO团队分享的关于我们考虑SEO的3种方式。 我们公司花了很多时间考虑搜索引擎优化或SEO。毫无疑问,搜索是我们业务的核心。   当然,还有很多其他方法可以为您的网站带来流量。付费媒体、社交帖子和展示广告等等。但是,如果做得好,SEO可以为原生增长提供重要且节约成本的策略。事实上,网络分析公司Parse.ly 的最新研…

    2019年3月13日 谷歌SEO
    11.7K
  • 做Google 谷歌SEO 与 Amazon 亚马逊SEO 需要注意哪些点?

    这次,小嵘来给大家说说,关于“做Google 谷歌SEO 与 Amazon 亚马逊SEO 需要注意哪些点?”的这个话题。 2021年了,众所周知,现在谷歌拥有世界上首屈一指的搜索门户,而亚马逊是全球最大的电商平台。每天都有成百上千的用户使用他们的搜索引擎,如果平台是电视机,那么搜索引擎就是遥控器,主物和从物脱离彼此都会失去很大一部分使用价值。卖家们最关心的无…

    2021年4月9日
    01.9K
  • SEO和SEM的区别是什么?用通俗易懂的语言解释

    SEO和SEM的区别是什么?用通俗易懂的语言解释 在我们谈论SEO和SEM之前,首先要了解它们分别代表着什么。SEO是搜索引擎优化(Search Engine Optimization)的缩写,而SEM则是搜索引擎营销(Search Engine Marketing)的缩写。 那么,SEO和SEM有什么区别呢?简单来说,SEO是通过优化网站,使其在搜索引擎的…

    2023年8月21日
    0429
  • 网页內容被搜索引擎收录了后,又消失了,是什么原因呢?

    网页內容被搜索引擎收录了后,又消失了,是什么原因?针对网页页面而言,搜索引擎的收录显然是最关键的一环,搜索引擎的收录是排名的前提。网页如果想提升搜索引擎排名,最先也是应该考虑页面內容的收录。假如网站页面持续的更新和制造新的內容,不断地更新原创文章,可是不被搜索引擎收录?那这会是怎么回事造成的呢?又该如何处理呢?很多人可能这时候就会很迷茫了呢,一头雾水,不知道…

    2019年4月30日
    01.8K
  • 2019年百度排名规则的规律是怎样的?

    关于现在的百度排名是怎么样子的?你知道吗?大概看看下图的小笔记。   百度跟淘宝和拼多多一样,有千人千面算法,会根据每个人不同的喜好来给每个人推荐不同的东西来展现。 关键词的排名也是一样,也会根据千人千面的算法来展现,所以现在很多人搜索的排名都各有误差。     而且全国不同地区,排名都不一样,比如说在广州的人搜索“小嵘seo”…

    2019年8月3日
    11.5K
  • SEO网站域名备案查询工具

    这次,小编来推荐几款域名备案信息的查询工具给大家,希望给大家帮助哈,方便大家。 网站域名备案查询工具推荐: 1)怀米网备案查询: https://cha.huaimi.com/icp/?domain=bj-bxht.com&from=1 2)站长之家备案查询: http://icp.chinaz.com/ 3)爱站站长平台备案查询: https://…

    2019年10月24日
    01.4K