2023年,看看别人专业的SEO网站的robots.txt是怎么写的?

2023年,看看别人专业的SEO网站的robots.txt是怎么写的?

如下:

User-agent: *
Disallow: /user/*/*
Disallow: /wp-admin/
Disallow: /checkout/
Disallow: /category/uncategorized*
Disallow: /author/admin/page/*
Disallow: /author/wuyou
Disallow: /*?*
Disallow: /?=*
Disallow: /tugao
Disallow: /author/*
Disallow: /page/*
Disallow: /50.html
Disallow: /62.html
Disallow: /63.html
Disallow: /tougao
Disallow: /wen
Disallow: /account
Disallow: /members
Disallow: /user
Disallow: /liuyan
Disallow: /special/suanfa
Disallow: /article/
Disallow: /newuser
Disallow: /*/*/feed
Disallow: /news/
Disallow: /okx
Disallow: /bian



User-agent:Bingbot
Disallow: /*/*/feed
Disallow: /*?*
Disallow: /?=*
Disallow: /category/uncategorized*
Disallow: /author/admin/page/*
Disallow: /author/wuyou
Disallow: /*?*
Disallow: /newuser
Disallow: /tag/*/feed
Disallow: /*/*/*.html/feed



User-agent:Baiduspeder
Disallow: /*/amp

User-agent:Googlebot
Allow: /*.js
Allow: /*.css
Allow: /*.jpg&
Allow: /*.png&
Disallow: /*/*/feed
Disallow: /tougao
Disallow: /wen
Disallow: /account
Disallow: /members
Disallow: /user
Disallow: /user/*/*
Disallow: /wp-admin/
Disallow: /checkout/
Disallow: /category/uncategorized*
Disallow: /author/admin/page/*
Disallow: /author/wuyou
Disallow: /*?*
Disallow: /*/*/feed
Disallow: /newuser

小伙伴们懂了吗?专业的SEO,百度 谷歌 必应 都要加代码!

 

2023年,看看别人专业的SEO网站的robots.txt是怎么写的?
2023年,看看别人专业的SEO网站的robots.txt是怎么写的?

 

原创文章,作者:SONIC SEO,如若转载,请注明出处:https://www.seo388.com/2023-robots-txt/

(2)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023年4月22日 22:38
下一篇 2023年4月23日 18:28

相关推荐

  • 再推一款谷歌SEO平台工具,每次可以查询5个关键词Serprobot

    服装辅料外贸老板推荐的一款免费的谷歌SEO工具,可以1次查询5个关键词。然而这个工具只能统计排名前100的关键词。每次只能输入5个关键词,有点烦躁,有点儿麻烦呗。免费嘛…..将就下呗。 https://www.serprobot.com/serp-check.php    

    2019年3月28日
    12.3K
  • 新手做谷歌Google SEO需要知道的问题答疑

    这次,小编给大家带来一些谷歌seo的问题答疑干货,“关于新手做谷歌Google SEO需要知道的问题答疑”。希望对做谷歌SEO的新手小伙伴们有所帮助哦。 关于”流量”嘛,它作为店铺订单的重要来源之一,承载着卖家们的心血。一般来说,做外贸推广的小伙伴们都知道,亚马逊CPC广告投放以及Google 成为许多卖家获取流量的主要途径。而在Go…

    2020年4月18日
    11.3K
  • 域名被墙是啥?如何查看域名是否被墙了?

    SEOer或者站长们建站,那必须要买域名。购买域名的话,还是有注意事项需要注意的,否则可能会一不小心买到的“新域名”,很可能已经是被墙了的,或者是被哪个大空间大公司(腾讯,金山,360)屏蔽了的。所以咱们站长应该在购买域名前,先做好相应的准备,可以先查询域名是否被墙,域名的建站记录是否有违规的历史记录等等。 那么,什么是域名被墙?怎么查看域名是否被墙?在使用…

    2019年9月27日
    01.8K
  • 推荐几款谷歌SEO付费工具

    SEO工具对于SEO从业人员来说非常重要,重要性显然是不言而喻的。没有工具的话SEO是没法做的,SEO没有工具的话就和蒙着做题一样,毫无方向和头绪,怎么做?没SEO工具是做不了的。 如果你的SEO工具中没有一些深入的、数据挖掘、关键词跟踪、研究处理的利器(神器),你可能会发现很难在竞争中脱颖而出。所以,这次小编为大家介绍几款比较受欢迎的付费SEO优化工具。推…

    2019年9月3日 谷歌SEO
    04.2K
  • 外贸建站必备工具VPN,你们在用吗?我推荐三款

    VPN这个是做外贸必须的,你要上谷歌,做谷歌SEO或者SEM,用谷歌站长工具,必须VPN。 我在这里介绍几个VPN: 第一: Node,在windows 10 系统里,微软商店可以找到并下载,此vpn要收费,但是在微软商店里的vpn是有质量保证的,可行。有试用,大家可以试试。(在其他版本的windows里面一般没有的哦,windows 10里面才有) &nb…

    2019年3月16日 外贸建站
    14.2K
  • SEO网站优化怎样提高收录数量?

    这次小编来介绍一下关于 “SEO网站优化怎样提高收录数量?” SEO网站优化的其中一个重要因素:1)是网站页面收录之间的时间间隔。SEO网站内容较好的做法是固定在每天某一个时间段进行更新。这样能确保收录间隔相同,如果网站页面更新的时间间隔很大,比如说,非常久都不更新网站,但某天突然心血来潮一口气地更新几十篇内容,这样做搜索引擎的确会一次收录大量的页面,但是对…

    2019年10月6日
    01.5K
  • 这就是全网SEO,没网站也能排上来百度搜索第一页!

    全网SEO是什么鬼?我推荐些持久稳定的高质量外链给大家   老师曾经在课堂上说过,没有网站一样可以做SEO。怎么做?就是全网SEO优化,寻找搞权重的平台发布外链,发布广告信息。当然这会把流量停留在别人的平台,也把流量引向了别人的大平台。(最好还是自己有网站,自己的流量自己说的算) 今天推荐的外链,经过本人两年时间的亲自测试,可行度100%。这些高质…

    2019年4月3日 百度SEO
    14.2K
  • Shopfiy十三款免费插件小工具分享

    小伙伴们大家好!今天为大家准备了13款实用又免费的Shopify插件小工具分享,都在插件工具商店点赞过千,好评如潮。快点来收藏吧! 1.优化SEO Plug in SEO   独立站的页面观感远不如自然流量来得重要,而谷歌,Facebook广告,kol自媒体等推广宣传的流量非常关键。SEO即搜索引擎优化(Search Engine Optimiza…

    2021年3月16日 谷歌SEO
    02.6K
  • Google谷歌搜索排名上不去怎么办?

    这次,小编来给大家说说,关于 “Google谷歌搜索排名上不去怎么办?”的一些方法。 1. 确保网站页面可以被正常索引 检查索引状态:在谷歌搜索控制台找到索引状态报告,查看谷歌爬取的网站页面数量。 检查站点和链接是否有错误:使用谷歌的站点和链接错误报告精准定位网站存在的问题。 检查robots.txt文件:通过将/robots.txt添加到域的末尾来测试ro…

    2021年3月23日
    01.1K
  • SEO运营与SEO人员职业规划

    这次小编来说说 “SEO运营与SEO人员职业规划”。 实际上,关于网站运营,这会涉及的面更广一点,SEO运营就是SEO这一点上下功夫,而网站运营则需要从:企业用户所在行业,产品,服务,同行等多个方面,展开整个网站运营前期的规划、设计、以及具体方案的落地,然后再到运用SEO打造大量关键词排名,以及网站盈利模式的设计,网站转化率的提升,以及网站运营策略的更新等等…

    2019年10月6日
    01.2K
  • SEO优化在接手一个网站时应从哪儿开始优化?

    这次,小编来给大家说说,关于 “SEO优化在接手一个网站时应从哪儿开始优化?”。 实际上,SEO优化师又被称为搜索引擎优化师、SEO专员。其主要职责是通过对网站程序、服务器、内容、版块、布局等多方面的优化调整,使网站符合搜索引擎检索和排序的指标,从而提高网站在有关搜索引擎的检索排序位置,增强用户浏览体验与网站的转化。 作为一名资深的SEO优化师,在刚接手一个…

    2021年2月4日
    01.2K
  • 谷歌SEO技术:网络推广网站的14个方法

    谷歌SEO技术:网络推广网站的14个方法   1)将你的网站提交到谷歌搜索引擎,这样你的网站搜索引擎优化就有了大暴光率的可能性; 2)如果你期望得到更多的暴光机会,你可以付费进行搜索引擎营销优化(Search Engine Marketing) 。当浏览者用固定的关键词搜索时,就会有在搜索引擎网站上出现你网站的文字广告,用SEM来推动SEO; 3)…

    2019年8月14日
    01.4K