谷歌SEO:Facebook脸书内容是屏蔽所有蜘蛛抓取的

谷歌SEO:Facebook脸书内容是屏蔽所有蜘蛛抓取的。因此,做谷歌SEO习惯性地以为可以拿Facebook来做外链其实是不切实际的,虽然是可以引流,但是呢,Facebook脸书里面的这些外链是不会导权重的哦。

谷歌seo免费教程
谷歌seo免费教程

 

下面是Facebook脸书的robots.txt文件,它是禁止爬取的。

Facebook脸书的robots.txt文件地址:https://www.facebook.com/robots.txt

明细如下:(小编还发现,原来苹果也有抓取的机器人Applebot和推特机器人Twitterbot,国外的都喜欢用bot机器人,国内喜欢用spider蜘蛛,大同小异,都是同类)

# Notice: Crawling Facebook is prohibited unless you have express written
# permission. See: http://www.facebook.com/apps/site_scraping_tos_terms.php

User-agent: Applebot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: baiduspider
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Bingbot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Googlebot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Googlebot-Image
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /map_tile.php
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/
Disallow: /static_map.php

User-agent: ia_archiver
Disallow: /
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: msnbot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Naverbot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: seznambot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Slurp
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: teoma
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Twitterbot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Yandex
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Yeti
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Applebot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: baiduspider
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Bingbot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Googlebot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: ia_archiver
Allow: /about/privacy
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /full_data_use_policy
Allow: /legal/terms
Allow: /policy.php
Allow: /safetycheck/

User-agent: msnbot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Naverbot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: seznambot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Slurp
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: teoma
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Twitterbot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Yandex
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Yeti
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: *
Disallow: /

原创文章,作者:SONIC SEO,如若转载,请注明出处:https://www.seo388.com/facebookwailian/

(1)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2019年11月30日 17:08
下一篇 2019年12月2日 23:18

相关推荐

  • 谷歌SEO:关于Ahrefs正版账号共享使用

    这次,小编来给大家说说,关于牛逼的谷歌SEO工具Ahrefs。正版太贵了,可以到某宝买到破解版的Ahrefs,两个月大概是100来元,而正版Ahrefs账号团购共享,也可以在某宝买到。希望能帮助各位谷歌SEO优化员降低优化的成本。好东西,当然要和大家分享啦! Ahrefs是国外最出名的一款SEO工具,可以导出分析竞争对手网站的外链,是我们做网站SEO的必备软…

    2019年11月20日 SEO优化工具
    06.8K
  • 搜索引擎排名优化SEO技术,三十个常用的白帽技术?您知道吗?

    SEO技术之经典30个白帽技术,对于网络推广的人来说,如何让搜索引擎搜索到你的网站及让你的网站能在主流的搜索引擎上有良好的排名一直是对于SEO技术员来说一个非常头痛的事情,网络推广的技术手段也有非常多手法,如黑帽SEO技术,白帽SEO技术等。   但是各种技术的用法和手段已经对搜索引擎的友好度都不一样的,今天呢我为大家介绍下如何能让搜索引起对你的网…

    2019年5月16日 百度SEO
    11.4K
  • 怎样设置域名才能让SEO优化得更好?有www好还是没www好?

    一般来说,对于首选域名是每个SEO新手都必须要知道的东西。 如果不设置的话,你的谷歌SEO优化一定事倍功半,杯水车薪。 什么是首选域名? 首先,每个URL都有两个版本(www和非www)。 以某博客为例,这两个版本分别是https://www.seo388.com 和 https://seo388.com ,对谷歌而言,它并不知道哪个版本更重要,所以我们要告…

    2019年3月16日
    11.4K
  • 外贸建站建议,购买SiteGround世界顶级主机商

    一、全球200万用户,满意度98%,支持40多种自建站程序 SiteGround成立于2004年,在EIG统治的国外虚拟主机界,算是一股清流。 不同于EIG旗下的双子皇帝bluehost和hostgator,SiteGround更注重产品,服务和性价比,这也导致它的利润很低,低到很少出现在广告和营销活动中,如果没有像我这样的人推荐,几乎没人知道,但正因为它不…

    2019年3月16日 外贸建站
    03.4K
  • SEO工作任务列表,SEOer必须要做的四种数据分析表,您知道吗?

    很多SEO半路出家,然后学完了以后,去公司上班,上级领导或者老板要他做一个SEO数据报 表都不会。 起码一大半做SEO的都是直接查询下排名,汇报工作,然后结束。 实际上这种SEO行为是很难给老板一个满意的答复,其次也没办法通过数据分析来达到自己优化了这么久是靠什么优化排名的,最后就是归结于所谓的发外链和写文章。 如果稍作数据分析,那么下次在做SEO优化的时候…

    2019年5月16日
    11.3K
  • SEO中的长尾关键词是什么鬼?来科普一下~

    SEO中的长尾关键词是什么鬼?(What is “Long Tail Keyword”? Why it is called “Long Tail Keyword”?  )   长尾关键词的特点是较为长,一般会是两到三个词组合而成,乃至是短语,出现于内容网页,除了内容网页的title标题里,还出现于文本…

    2019年4月10日 百度SEO
    11.2K
  • 再推一款谷歌SEO平台工具,每次可以查询5个关键词Serprobot

    服装辅料外贸老板推荐的一款免费的谷歌SEO工具,可以1次查询5个关键词。然而这个工具只能统计排名前100的关键词。每次只能输入5个关键词,有点烦躁,有点儿麻烦呗。免费嘛…..将就下呗。 https://www.serprobot.com/serp-check.php    

    2019年3月28日
    12.0K
  • 2021年如何对WordPress进行加速?

    WordPress是个大框架,也很多人在使用这个框架开源代码来搭建外贸独立站。最近有小伙伴问,如何对wordpress进行加速?小编推荐以下的几点方法。如下: WordPress加速 我觉得的方法有: 1)wordpress升级到最新版本; 2)php用比较高的版本7.4 左右; 3)设置伪静态 页面 设置 .html 后缀; 4)启用宝塔的加速插件; 5)…

    2021年4月9日
    01.6K
  • 2020年应该怎样创作英文博客文章内容?

    今天,小编来给大家说说,关于 “2020年应该怎样创作英文博客文章内容?” 希望对于做谷歌SEO的小伙伴们和做英文博客的站长小伙伴们有所帮助。 内容为王,搭建的网站没有内容肯定是不行的,做SEO,首先需要有内容才能展开工作,那么英文博客的文章内容如何创作,特别是对于新建的站点来说,这个尤为重要了,根据Wealthy Affiliate的站内数据,通过WA学习…

    2020年1月12日 谷歌SEO
    02.5K
  • 2022年跨境电商利用海外社交媒体的这些方法做好品牌营销

    这次,小嵘谷歌SEO优化的小编给大家分享的是“跨境电商利用海外社交媒体的这些方法做好品牌营销”。 2022年,现在全球拥有超过50亿的社交媒体用户,市场营销人员将其营销工作集中在Facebook、Instagram和Pinterest等社交平台,以在线吸引客户方面已经不是什么秘密了。社交媒体为品牌提供了一个与现有客户和潜在潜在客户建立联系的独特机会。 通过突…

    2022年6月28日 谷歌SEO
    0298
  • 谷歌SEO优化的外链问题解决方案

    这次,谷歌SEO小嵘,来给大家说说,关于 “谷歌SEO优化的外链问题解决方案”。希望能帮助做谷歌SEO优化的小伙伴们。 首先,谷歌SEO优化的外链是什么? 实际上,谷歌SEO优化的外链就是指从别的网站导入到自己网站的链接。导入链接对于外贸网站优化来说是非常重要的一个过程。导入链接的质量直接决定了我们的网站在搜索引擎中的权重。 1、超链接 也就是单击链接,就会…

    2022年6月28日 谷歌SEO
    0307
  • 谷歌SEO伪原创神器 v2022年版本(英语+小语种升级版)

    今天,小嵘谷歌SEO优化,来给小伙伴们推荐一款“谷歌SEO伪原创神器 v2022年版本(英语+小语种升级版)”。 做谷歌SEO,安排完前期的工作之后,需要做外链,外链做了些,然后需要什么呢?那必须是站内的内容和外链的内容。内容哪里来?别人的文章伪原创!那百度SEO有5118的神器,那谷歌SEO呢?谷歌SEO需要英文的伪原创神器是不是?小编推荐这款! 本人亲测…

    2022年7月14日 谷歌SEO
    0377