谷歌SEO:Facebook脸书内容是屏蔽所有蜘蛛抓取的

谷歌SEO:Facebook脸书内容是屏蔽所有蜘蛛抓取的。因此,做谷歌SEO习惯性地以为可以拿Facebook来做外链其实是不切实际的,虽然是可以引流,但是呢,Facebook脸书里面的这些外链是不会导权重的哦。

谷歌seo免费教程
谷歌seo免费教程

 

下面是Facebook脸书的robots.txt文件,它是禁止爬取的。

Facebook脸书的robots.txt文件地址:https://www.facebook.com/robots.txt

明细如下:(小编还发现,原来苹果也有抓取的机器人Applebot和推特机器人Twitterbot,国外的都喜欢用bot机器人,国内喜欢用spider蜘蛛,大同小异,都是同类)

# Notice: Crawling Facebook is prohibited unless you have express written
# permission. See: http://www.facebook.com/apps/site_scraping_tos_terms.php

User-agent: Applebot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: baiduspider
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Bingbot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Googlebot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Googlebot-Image
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /map_tile.php
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/
Disallow: /static_map.php

User-agent: ia_archiver
Disallow: /
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: msnbot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Naverbot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: seznambot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Slurp
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: teoma
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Twitterbot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Yandex
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Yeti
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Applebot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: baiduspider
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Bingbot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Googlebot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: ia_archiver
Allow: /about/privacy
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /full_data_use_policy
Allow: /legal/terms
Allow: /policy.php
Allow: /safetycheck/

User-agent: msnbot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Naverbot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: seznambot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Slurp
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: teoma
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Twitterbot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Yandex
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Yeti
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: *
Disallow: /

原创文章,作者:SONIC SEO,如若转载,请注明出处:https://www.seo388.com/facebookwailian/

(1)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2019年11月30日 17:08
下一篇 2019年12月2日 23:18

相关推荐

  • SEO工作任务列表,SEOer必须要做的四种数据分析表,您知道吗?

    很多SEO半路出家,然后学完了以后,去公司上班,上级领导或者老板要他做一个SEO数据报 表都不会。 起码一大半做SEO的都是直接查询下排名,汇报工作,然后结束。 实际上这种SEO行为是很难给老板一个满意的答复,其次也没办法通过数据分析来达到自己优化了这么久是靠什么优化排名的,最后就是归结于所谓的发外链和写文章。 如果稍作数据分析,那么下次在做SEO优化的时候…

    2019年5月16日
    11.4K
  • 外贸建站必备工具VPN,你们在用吗?我推荐三款

    VPN这个是做外贸必须的,你要上谷歌,做谷歌SEO或者SEM,用谷歌站长工具,必须VPN。 我在这里介绍几个VPN: 第一: Node,在windows 10 系统里,微软商店可以找到并下载,此vpn要收费,但是在微软商店里的vpn是有质量保证的,可行。有试用,大家可以试试。(在其他版本的windows里面一般没有的哦,windows 10里面才有) &nb…

    2019年3月16日 外贸建站
    13.6K
  • 外贸建站,云虚拟主机推荐WPengine

    WPengine也叫WP发动机,是国外少数几家只做WordPress主机的主机公司。 由于WPengine只专注WordPress,与其它主机对比,它在速度,安全,服务上都是一流的,以下是使用WPengine的好处。 60天退款保证。 7×24小时的售后服务。 免费网站搬家,高级备份。 自行开发的EverCache和CDN ready技术。 高强度…

    2019年3月14日 外贸建站
    11.4K
  • 2020年应该怎样创作英文博客文章内容?

    今天,小编来给大家说说,关于 “2020年应该怎样创作英文博客文章内容?” 希望对于做谷歌SEO的小伙伴们和做英文博客的站长小伙伴们有所帮助。 内容为王,搭建的网站没有内容肯定是不行的,做SEO,首先需要有内容才能展开工作,那么英文博客的文章内容如何创作,特别是对于新建的站点来说,这个尤为重要了,根据Wealthy Affiliate的站内数据,通过WA学习…

    2020年1月12日 谷歌SEO
    02.7K
  • Google搜索博客公告:年底将停止索引Flash的内容

    据悉,近日谷歌Google搜索博客公告:年底将停止索引Flash的内容。这个对于谷歌SEO优化者来说,应该是一则比较重要的信息了。小编希望对大家做谷歌SEO的站长有所帮助哈。 Google 搜索将于今年晚些时候停止支持 Flash。届时,Google 搜索会忽略网页中的 Flash 内容(若有),并且会停止将独立的 SWF 文件编入索引。大多数用户和网站都不…

    2019年12月15日
    01.5K
  • 图片大小影响网站速度,推荐一款图片压缩工具

    图片大小影响网站速度,网站速度又会影响网站的优化排名,网站能快速地被打开和被浏览有助于排名的优化,有利于搜索引擎蜘蛛和机器人的抓取,图片的压缩也是SEO优化中重中之重的一环。 在这里,我推荐一款图片压缩工具 — Tiny Png,这里的图片经过处理后,被压缩后还可以保持清晰度,这是很腻害的! 是一款在线压缩图片的工具,地址:https://tin…

    2019年3月20日
    11.6K
  • 强烈推荐,谷歌SEO关键词工具THE NOTH(小红人)

    做谷歌SEO,必须用到关键词工具吧?下面我推荐一款比较好用的英文关键词查询和流量展现工具。 名字叫THE HOTH,有个红色的野人拿着个木棍作为logo图标,很有意思,也很容易记住。 而且是,这款关键词查找工具是免费的 ! 没错,它就是一款免费的谷歌SEO工具。 https://www.thehoth.com/orders/freetools?tool=Ke…

    2019年3月19日 谷歌SEO
    11.7K
  • 外贸独立站先做SEO还是先做社交媒体?

    这次,小编来说说,关于 “外贸独立站先做SEO还是先做社交媒体?” 的这个话题。 外贸自建站的推广和品牌建立,SEO和社交媒体都是好帮手,但多数公司限于时间、资金与成本问题,没办法同时在两种营销上大力投资。 在这样的情形下,就必须了解两者执行面和效益面的不同,因应品牌需求,择一投资。 一、SEO和社交媒体都能为品牌达到吸引新客户的效果,要针对两者选择确切的营…

    2019年9月3日
    0761
  • 病毒式引流,视频引流,权重高网站Youtube

    病毒式引流,视频引流,短视频引流,推荐权重高网站Youtube!谷歌SEO必备关键词和外链的发布根据地。 病毒式视频引流,实际上就是坚持持续发布视频,并且在视频发布前准备好视频的title,视频的description以及视频的tag标签。这是非常有效的霸屏方法之一,可以大量引流和促进转化,提高谷歌SEO排名。理由是:Youtube的权重高。视频引流,你做谷…

    2019年3月21日 谷歌SEO
    11.3K
  • 浅谈谷歌SEO和百度SEO的区别

    对于做搜索引擎优化的营销人员来讲,我们经常讨论的话题就是谷歌SEO和百度SEO,目前,由于国内并不能够顺畅的访问谷歌,这让新入行的SEO人员,往往疏于对谷歌SEO的了解,从而只能从基础层面理解两个搜索引擎。 客观上来讲,谷歌是世界上最大的搜索引擎(同时也是程序员用得最多的),百度是最大的中文搜索引擎,不同的社会环境,让这两个产品还是有一定的不同。 那么,谷歌…

    2019年8月28日
    01.2K
  • 一款每月97美金,超级给力的谷歌SEO工具,带你采集带你飞

    今天我来推荐一款谷歌SEO软件,有点高端,懂英文的可以使用流畅,英文不好的可以翻字典看教程慢慢摸索,其中当然是有中文教程和英文教程。 SEnukeTnG 这款软件原版也是贼贵的。97美金,几乎700人民币一个月的费用,和Ahrefs的正版会员每个月月费有得比。然后SEnukeTnG 在某宝的价格也才130元一个月。需要的朋友可以到某宝中搜索,如果找不到的可以…

    2019年3月28日
    13.0K
  • 如何用谷歌Google搜索引擎提交你的网站链接?

    如何用谷歌Google搜索引擎提交你的网站链接? google每次抓取网页时都会向索引中添加并更新新的网站,同时google也会邀请您提交您的网址。但不保证所有提交的网址都添加到索引中,也无法预测或保证这些网址是否 会显示以及何时会显示。请输入完整的网址,包括 http:// 的前缀。例如: http://www.google.cn/ 。您还可以添加评论或关…

    2020年11月25日 谷歌SEO
    02.3K