谷歌SEO:Facebook脸书内容是屏蔽所有蜘蛛抓取的

谷歌SEO:Facebook脸书内容是屏蔽所有蜘蛛抓取的。因此,做谷歌SEO习惯性地以为可以拿Facebook来做外链其实是不切实际的,虽然是可以引流,但是呢,Facebook脸书里面的这些外链是不会导权重的哦。

谷歌seo免费教程
谷歌seo免费教程

 

下面是Facebook脸书的robots.txt文件,它是禁止爬取的。

Facebook脸书的robots.txt文件地址:https://www.facebook.com/robots.txt

明细如下:(小编还发现,原来苹果也有抓取的机器人Applebot和推特机器人Twitterbot,国外的都喜欢用bot机器人,国内喜欢用spider蜘蛛,大同小异,都是同类)

# Notice: Crawling Facebook is prohibited unless you have express written
# permission. See: http://www.facebook.com/apps/site_scraping_tos_terms.php

User-agent: Applebot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: baiduspider
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Bingbot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Googlebot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Googlebot-Image
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /map_tile.php
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/
Disallow: /static_map.php

User-agent: ia_archiver
Disallow: /
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: msnbot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Naverbot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: seznambot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Slurp
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: teoma
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Twitterbot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Yandex
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Yeti
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Applebot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: baiduspider
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Bingbot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Googlebot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: ia_archiver
Allow: /about/privacy
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /full_data_use_policy
Allow: /legal/terms
Allow: /policy.php
Allow: /safetycheck/

User-agent: msnbot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Naverbot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: seznambot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Slurp
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: teoma
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Twitterbot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Yandex
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Yeti
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: *
Disallow: /

原创文章,作者:SONIC SEO,如若转载,请注明出处:https://www.seo388.com/facebookwailian/

(1)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2019年11月30日 17:08
下一篇 2019年12月2日 23:18

相关推荐

  • Google 谷歌SEO插件推荐:Checkbot 做好SEO检查

    这次,小编来给大家说说,关于“Google 谷歌SEO插件推荐:Checkbot 做好SEO检查”的这个话题。推荐给大家哦。 一般来说,无论是SEO新手,还是在职SEO优化师,都会或想去给自己的网站做一次剖析:看看网站的SEO情况,和优化空间,从而进行优化规划。 但是呢,在SEO audit审查方面,严格来说需要很多工具,比如screaming frog、A…

    2021年4月9日 SEO优化工具
    02.3K
  • 谷歌SEO内容更新神器:1天更新82篇质量英语文章

    谷歌SEO内容更新神器,全方位解决谷歌SEO英语原创文章更新难的问题。 亲测,6小时内可以更新82篇有质量的英语文章,而且原创度高。 即便是英语老司机,英语硕士研究生,又或者是英语博士研究生,对于一天更新7-15篇英语文章还是很头疼的,能坚持个两周都很难得了,何况是需要长期每天地更新文章。 做外贸的小伙伴们,做谷歌SEO推广的老板们,还在为你的谷歌SEO文章…

    2019年11月22日
    03.2K
  • 2019年谷歌SEO网站排名优化 – 小嵘独创新思路

    小编,我本来本科就是读的商务英语持有英语专业8级TEM8的证书,然后在美国加州读的硕士研究生,对于英语和接待外国人完全是不成问题的。对于谷歌seo呢,小嵘研究了自己的一些方法。 关于“2019年谷歌SEO网站排名优化新思路”,这是小嵘的一些个人的方法,仅供参考,但是自己研究出来的东西,也不走别人的老路。 最近小嵘研究测试了老域名的效果,刚开始发现效果有好有坏…

    2019年10月4日
    04.5K
  • 网站被谷歌惩罚降权?谷歌SEO惩罚检查工具介绍

    一直以来,对于各位站长和谷歌SEO人员来说,网站被谷歌惩罚降权是一件很头疼的事情,随之而来的是关键词排名下降,流量下滑,谷歌不收录,搜索结果不显示,究其背后的原因众说纷纭,可能是一脸懵。 那有没有什么靠谱的方法能知道被惩罚降权的具体原因?   小编这次分享几个谷歌GOOGLE惩罚检查工具供大家参考,希望对大家有所帮助。正式开始前先给大家解释什么是谷…

    2019年8月24日 谷歌SEO
    03.7K
  • 小嵘的谷歌网站SEO运营计划书2019版

    一份谷歌SEO优化计划书   一:网站分析:(第一周内完成) 网站类型? 公司官方网站: 内部链接长度和层级的优化; 内部TDK的优化,着重优化Title,Title最重要; 用站长工具分析网站权重,关键词排名; 网站业务? 公司主要产品:服装辅料,包装 公司面向客户:国外客户,欧美地区 软文可以往服装和包装方向走 网站的操作使用流程是否简洁? 公…

    2019年3月19日
    01.5K
  • 外贸建站,云虚拟主机推荐WPengine

    WPengine也叫WP发动机,是国外少数几家只做WordPress主机的主机公司。 由于WPengine只专注WordPress,与其它主机对比,它在速度,安全,服务上都是一流的,以下是使用WPengine的好处。 60天退款保证。 7×24小时的售后服务。 免费网站搬家,高级备份。 自行开发的EverCache和CDN ready技术。 高强度…

    2019年3月14日 外贸建站
    11.7K
  • 关于 “谷歌Google搜索从入门到精通” 分享

    这次,小嵘SEO优化,给大家带来分享的是“关于谷歌Google搜索从入门到精通”。  Google搜索从入门到精通 v4.0 (一) 1、前言 我是在2000年上半年知道Google的。在这之前,我搜索英文信息通常用AltaVista,而搜索中文信息则常用Sina。但自使用了Google之后,它便成为我的Favorite Search engine了。这也得…

    2022年7月5日
    0887
  • 谷歌SEO优化秘籍:如何让您的网站在谷歌上脱颖而出!

    小嵘SEO技术博客,作为一位优秀的谷歌SEO优化师,我将揭示一些独门秘籍,帮助您的网站在谷歌搜索引擎中脱颖而出。通过这些宝贵的技巧和策略,您将能够提高网站的可见性,吸引更多的访问量,并在竞争激烈的谷歌排名中取得优势。让我们一起来揭开这个谷歌SEO优化的秘密! 关键词研究和优化: 通过深入的关键词研究,找到与您网站内容相关且有较高搜索量的关键词。 在网站的标题…

    2023年7月19日
    0340
  • SEO基础下拉框与相关搜索,寻找有用的长尾关键词

    SEO基础,下拉框与相关推荐 下拉框,每个搜索的工具基本都会有。记录着多数人的使用习惯,也是关键词筛选的方法之一。 比如说百度下拉框:   (重点提醒:百度下拉框使用的前提是,先关闭预测,不然发挥不了正常作用)   又比如说谷歌的下拉框:   又比如说淘宝下拉框:(手机端一样有,甚至连微信朋友圈的搜索都有下拉框了现在) &nbs…

    2019年3月19日 淘宝SEO
    12.1K
  • 一款每月97美金,超级给力的谷歌SEO工具,带你采集带你飞

    今天我来推荐一款谷歌SEO软件,有点高端,懂英文的可以使用流畅,英文不好的可以翻字典看教程慢慢摸索,其中当然是有中文教程和英文教程。 SEnukeTnG 这款软件原版也是贼贵的。97美金,几乎700人民币一个月的费用,和Ahrefs的正版会员每个月月费有得比。然后SEnukeTnG 在某宝的价格也才130元一个月。需要的朋友可以到某宝中搜索,如果找不到的可以…

    2019年3月28日
    13.5K
  • 拓展国际市场:国外优秀的网站推广平台推荐

    拓展国际市场:国外优秀的网站推广平台推荐 在全球互联网的时代,利用国外的网站推广平台可以帮助您拓展国际市场,增加品牌曝光和吸引更多的目标受众。本文将为您介绍一些在国外备受认可的优秀网站推广平台,帮助您在国际市场实施成功的推广策略。 Google Ads(谷歌广告) 作为全球最大的搜索引擎,Google Ads是一个强大的网站推广平台。通过在Google搜索结…

    2023年9月9日
    0945
  • 外贸独立站先做SEO还是先做社交媒体?

    这次,小编来说说,关于 “外贸独立站先做SEO还是先做社交媒体?” 的这个话题。 外贸自建站的推广和品牌建立,SEO和社交媒体都是好帮手,但多数公司限于时间、资金与成本问题,没办法同时在两种营销上大力投资。 在这样的情形下,就必须了解两者执行面和效益面的不同,因应品牌需求,择一投资。 一、SEO和社交媒体都能为品牌达到吸引新客户的效果,要针对两者选择确切的营…

    2019年9月3日
    0957