谷歌SEO:Facebook脸书内容是屏蔽所有蜘蛛抓取的

谷歌SEO:Facebook脸书内容是屏蔽所有蜘蛛抓取的。因此,做谷歌SEO习惯性地以为可以拿Facebook来做外链其实是不切实际的,虽然是可以引流,但是呢,Facebook脸书里面的这些外链是不会导权重的哦。

谷歌seo免费教程
谷歌seo免费教程

 

下面是Facebook脸书的robots.txt文件,它是禁止爬取的。

Facebook脸书的robots.txt文件地址:https://www.facebook.com/robots.txt

明细如下:(小编还发现,原来苹果也有抓取的机器人Applebot和推特机器人Twitterbot,国外的都喜欢用bot机器人,国内喜欢用spider蜘蛛,大同小异,都是同类)

# Notice: Crawling Facebook is prohibited unless you have express written
# permission. See: http://www.facebook.com/apps/site_scraping_tos_terms.php

User-agent: Applebot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: baiduspider
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Bingbot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Googlebot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Googlebot-Image
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /map_tile.php
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/
Disallow: /static_map.php

User-agent: ia_archiver
Disallow: /
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: msnbot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Naverbot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: seznambot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Slurp
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: teoma
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Twitterbot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Yandex
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Yeti
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Applebot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: baiduspider
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Bingbot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Googlebot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: ia_archiver
Allow: /about/privacy
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /full_data_use_policy
Allow: /legal/terms
Allow: /policy.php
Allow: /safetycheck/

User-agent: msnbot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Naverbot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: seznambot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Slurp
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: teoma
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Twitterbot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Yandex
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Yeti
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: *
Disallow: /

原创文章,作者:SONIC SEO,如若转载,请注明出处:https://www.seo388.com/facebookwailian/

(1)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2019年11月30日 17:08
下一篇 2019年12月2日 23:18

相关推荐

  • 网站Google 谷歌SEO如何优化到第一名或者第一页?

    这次,小嵘来给大家分享一下,关于“网站Google 谷歌SEO如何优化到第一名或者第一页?”的这个话题。 事实上,2021年现在的外贸企业在制定海外营销方式时最常听到的就是Google Ads和Google SEO。 我们知道Ads(ADwords)是指显示在搜索结果页面的网站链接广告。它属于CPC(cost-per-click)收费制,即按点击次数收取广告…

    2021年4月9日
    0963
  • SEO中的长尾关键词是什么鬼?来科普一下~

    SEO中的长尾关键词是什么鬼?(What is “Long Tail Keyword”? Why it is called “Long Tail Keyword”?  )   长尾关键词的特点是较为长,一般会是两到三个词组合而成,乃至是短语,出现于内容网页,除了内容网页的title标题里,还出现于文本…

    2019年4月10日 百度SEO
    11.1K
  • 谷歌高质量外链怎么找?

    转:看来以后要开启投稿模式了,最近事情越来越多,想像以前那样抽一整天时间原创或者翻译一篇七八千字的技术文章是基本不可能了,所以大家如果有好文章可以给我投稿,我审核通过了就会发在我的博客上,并给你一条文章链接。   好,言归正传。 对谷歌seo真正了解的应该很明白,目前高质量的比较容易操作的外链还是guest post:通过寻找相关行业博客,联系博主…

    2019年3月25日 谷歌SEO
    1975
  • Google 谷歌SEO快速增加网页自然流量的办法有哪些?

    这次,小编来给大家说说,关于“Google 谷歌SEO快速增加网页自然流量的办法有哪些?”的这个话题。 一般来说,Google谷歌SEO技巧的大多数提升技巧是通过“编写更好的内容”和“改善用户体验”等给出一般性建议,并向您提供数百种提示。今天Tabpear将会分享12个通过谷歌SEO快速为网站获得自然流量的最具实用性的技巧。以下是SEO技巧: 在缺少子主题的…

    2021年4月9日
    01.1K
  • 关于基础外贸网站自建教程

    现在做外贸如果没有一个网站,客户都不相信你,无论是正规军,还是外贸SOHO,如果你想要自建一个外贸网站,那么这篇文章绝对能帮到你,我会手把手教你从零基础开始学建站。很早以前,网站都要靠专业的程序员,用代码编写HTML & CSS 来制作页面。后来,有了dreamweaver这样的网页开发工具,才让人们可以像用office软件一样编辑网页。但这些建站方…

    2019年3月16日 外贸建站
    11.0K
  • 谷歌SEO建站优化,用什么建站程序会比较好呢?

    建站不排名,一切等于零。 虽然,这个说法有点儿夸张,但是从全球渠道流量排名来看,SEO优化一直是最佳流量来源。 那么问题来了,如果要做外贸SEO优化,用什么建站程序效果最好? WordPress、Drupal、Magento、Shopify、Joomla、Squarespace、Wix这么多外贸建站程序如何选择?我今天就给你最终答案,评测标准主要依托以下两个…

    2019年3月12日 谷歌SEO
    01.1K
  • 站长们该如何查看谷歌seo运营的效果?

    假如您想了解外贸网站的Google SEO效果,您必须学会获取有针对性的验证分析数据。这次教你通过第三方数据了解网站的SEO操作效果,并通过数据采集和分析的某些方面实现诊断网站运营效率的有效性。 分析一个网站的SEO效果主要从以下五个方面着手去做: 第一、网站权重 权重一直是评估一个网站运营效果很重要的的指标,日常大多数人都会通过爱站、站长工具去查询一个网站…

    2019年6月28日
    11.1K
  • 怎样设置域名才能让SEO优化得更好?有www好还是没www好?

    一般来说,对于首选域名是每个SEO新手都必须要知道的东西。 如果不设置的话,你的谷歌SEO优化一定事倍功半,杯水车薪。 什么是首选域名? 首先,每个URL都有两个版本(www和非www)。 以某博客为例,这两个版本分别是https://www.seo388.com 和 https://seo388.com ,对谷歌而言,它并不知道哪个版本更重要,所以我们要告…

    2019年3月16日
    11.1K
  • 我们怎样用内容营销来激活SEO长尾词?

    一个强大的视频或者短视频平台,可以驱动网民的大量搜索;一段好的视频,可以吸引成千上万的用户浏览或者点击,激活长尾词的搜索;一个强大的内容营销活动,可能会引导购物者搜索长尾关键词,从而产生额外的销量。   网站上的非目标关键词也可以带来搜索流量的关键词,称为长尾词;长尾词就是两个或两个以上普通关键词有逻辑性的组合。 例如,很多人会搜索“跑鞋”这个词,…

    2019年9月1日
    0933
  • 域名的年龄对SEO优化有哪些影响?

    这次,小编来给大家说说,关于 “域名的年龄对SEO优化有哪些影响?” 小编相信,目前有许多SEO站长都知道域名对于一个网站的重要性,为了注册更优质的域名,大部分的SEO站长往往都会去一些域名交易平台选择域名年龄比较老的域名,甚至还有的站长通过工具挖掘老域名在各个SEO站长群出售。那么为什么大家都在用老域名,而域名的年龄对于网站SEO的影响究竟有哪些呢? 毫无…

    2021年2月4日
    0863
  • 关于谷歌SEO网站测速工具,外贸SEO优化必备工具

    这次要给大家分享的是外贸网站测速工具,这些工具能明确的告诉你,你的外贸网站在国外打开需要几秒,到底是快还是慢,慢的原因是什么。 众所周知,网站打开速度对一个网站至关重要,从用户体验来说,如果3秒内网站打不开,80%的访客就会选择关闭这个页面。 从SEO来说,Google已经把网站打开速度作为Google排名的一个因素,加载速度快的网站更受搜索引擎欢迎,也能有…

    2019年3月16日 谷歌SEO
    01.5K
  • 海外社交媒体social media多久发一次软文或者推送比较好呢?

    想做海外社交媒体营销,发帖频率怎么定比较好? 是每日更新还是每周更新?多久发一次比较合适? 如果你现在正被这些问题困扰的话,那本文刚好可以为你答疑解惑,内容主要涉及Facebook、Twitter、Instagram、Pinterest、Linkedin、Youtube这六大主流海外社交媒体。 Facebook多久发布一次 像Hubspot这样的研究机构发现…

    2019年3月12日 谷歌SEO
    11.3K