谷歌SEO:Facebook脸书内容是屏蔽所有蜘蛛抓取的

谷歌SEO:Facebook脸书内容是屏蔽所有蜘蛛抓取的。因此,做谷歌SEO习惯性地以为可以拿Facebook来做外链其实是不切实际的,虽然是可以引流,但是呢,Facebook脸书里面的这些外链是不会导权重的哦。

谷歌seo免费教程
谷歌seo免费教程

 

下面是Facebook脸书的robots.txt文件,它是禁止爬取的。

Facebook脸书的robots.txt文件地址:https://www.facebook.com/robots.txt

明细如下:(小编还发现,原来苹果也有抓取的机器人Applebot和推特机器人Twitterbot,国外的都喜欢用bot机器人,国内喜欢用spider蜘蛛,大同小异,都是同类)

# Notice: Crawling Facebook is prohibited unless you have express written
# permission. See: http://www.facebook.com/apps/site_scraping_tos_terms.php

User-agent: Applebot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: baiduspider
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Bingbot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Googlebot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Googlebot-Image
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /map_tile.php
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/
Disallow: /static_map.php

User-agent: ia_archiver
Disallow: /
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: msnbot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Naverbot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: seznambot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Slurp
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: teoma
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Twitterbot
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Yandex
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Yeti
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /dialog/
Disallow: /fbml/ajax/dialog/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /share.php
Disallow: /share/
Disallow: /sharer.php
Disallow: /sharer/

User-agent: Applebot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: baiduspider
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Bingbot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Googlebot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: ia_archiver
Allow: /about/privacy
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /full_data_use_policy
Allow: /legal/terms
Allow: /policy.php
Allow: /safetycheck/

User-agent: msnbot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Naverbot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: seznambot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Slurp
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: teoma
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Twitterbot
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Yandex
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: Yeti
Allow: /ajax/bootloader-endpoint/
Allow: /ajax/pagelet/generic.php/PagePostsSectionPagelet
Allow: /safetycheck/

User-agent: *
Disallow: /

原创文章,作者:SONIC SEO,如若转载,请注明出处:https://www.seo388.com/facebookwailian/

(1)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2019年11月30日 17:08
下一篇 2019年12月2日 23:18

相关推荐

  • 最新谷歌算法解析:提高网站排名的关键策略大揭秘!

    小嵘SEO技术博客,作为一位优秀的谷歌SEO优化师,我将为您解析最新的谷歌算法,揭示提高网站排名的关键策略。随着谷歌搜索引擎不断更新算法,了解并应对这些变化是关键。通过本文,您将学习到一些重要的策略和技巧,帮助您的网站在激烈的搜索排名中脱颖而出。现在就跟随我一起揭秘这些关键策略,提高您网站的可见性和排名! 关键词优化:通过深入的关键词研究,找到与您网站内容相…

    2023年7月19日
    0103
  • SEO优化与社交媒体如何相互帮助获取流量?

    现今社会,互联网中最大的流量来源是自然流量(社交媒体的流量随时会大于搜索引擎的自然流量),其次才是搜索引擎的,两者所占的比例旗鼓相当,只是自然流量是无法控制,而搜索引擎的流量则是可以通过合理的引导,进入到网站之中。 如何引导流量进入网站 SEO搜索引擎优化 + 社交媒体 SEO优化可以进一步提升网站的排名,在社交媒体上分享内容的时候,有助于增加网站的曝光率,…

    2019年9月1日 谷歌SEO
    01.7K
  • Moz Keyword Explorer获得竞品关键词

    今天,小编来给大家介绍一款,做谷歌SEO常用的工具,Moz Keyword Explorer有着很多强大的功能。Moz Keyword Explorer可以用来获得竞品关键词哦! 工具地址:https://moz.com/products/pro/keyword-explorer 进入之后,第一步,输入种词: 然后,你会得到如下图所示的搜索结果: 同SECo…

    2021年3月1日 SEO优化工具
    01.2K
  • 站群网站搭建工具和站群自动程序区别,选择适合你的站群方式!

    站群网站搭建工具和站群自动程序区别,选择适合你的站群方式! 站群是一种SEO策略,通过搭建多个网站来提高整体的排名和流量。在站群中,有两种常见的方式:站群网站搭建工具和站群自动程序。虽然它们都可以帮助你快速建立多个网站,但它们在实现方式和功能上有着不同之处。下面,我将详细介绍站群网站搭建工具和站群自动程序的区别,助你选择适合你的站群方式。 站群网站搭建工具:…

    2023年8月21日
    058
  • 关于Google谷歌搜索开始推荐《移动优先索引》的内容

    谷歌进一步推进“移动优先索引”。Google 于今日宣布,其已开始在搜索结果中推送“移动优先索引”。 谷歌今天在一篇博客文章中表示,谷歌搜索向“移动优先索引”的转变将扩展到更多网站。移动优先索引最早是谷歌在 2016 年提出的,意思是无论是 PC / 桌面还是移动端的搜索排名都以移动端的排名为基础。谷歌对其早期的表现比较满意,已经开始着手迁移那些“移动优先索…

    2019年3月14日
    01.4K
  • 谷歌SEO:Whatsapp批量群发消息营销工具

    这次,小编来给大家推荐一款关于聊天消息群发的谷歌SEO推广工具。“Whatsapp批量群发消息营销工具”。相信很多做外贸的小伙伴,肯定对Whatsapp这块聊天工具不会陌生。Whatsapp也是老外常用的聊天工具之一,2019年的今天,老外使用Whatsapp的频率可能比使用Facebook和instagram的频率还要高哦。这Whatsapp相当于老外的W…

    2019年11月21日 SEO优化工具
    05.2K
  • 美国白宫的官网是WordPress做的

    美国白宫的这个骚操作,你们知道吗?原来美国白宫的官网是Wordpress做的! 打开美国白宫的网站 https://www.whitehouse.gov/  然后 按键盘 F12 查看网站代码。 然后可以看到这个画面: 能看到 wp-content,这就毫无疑问是wordpress 开源框架做的。  

    2021年2月3日
    01.2K
  • SEO和SEM的区别是什么?用通俗易懂的语言解释

    SEO和SEM的区别是什么?用通俗易懂的语言解释 在我们谈论SEO和SEM之前,首先要了解它们分别代表着什么。SEO是搜索引擎优化(Search Engine Optimization)的缩写,而SEM则是搜索引擎营销(Search Engine Marketing)的缩写。 那么,SEO和SEM有什么区别呢?简单来说,SEO是通过优化网站,使其在搜索引擎的…

    2023年8月21日
    061
  • 谷歌SEO必备工具,谷歌站长工具Google Console

    谷歌必备工具,谷歌站长工具Google Console。在谷歌输入google console就可以找到入口,这个就是谷歌自带的站长工具,因为是免费的所以功能不太齐全,最详细的数据在google Ads里面才有。   具体操作如下:   点击箭头   然后点击添加资源 然后   选择右边的场景,比方说:我的网站则需要输…

    2019年3月18日 谷歌SEO
    01.4K
  • 小嵘的谷歌网站SEO运营计划书2019版

    一份谷歌SEO优化计划书   一:网站分析:(第一周内完成) 网站类型? 公司官方网站: 内部链接长度和层级的优化; 内部TDK的优化,着重优化Title,Title最重要; 用站长工具分析网站权重,关键词排名; 网站业务? 公司主要产品:服装辅料,包装 公司面向客户:国外客户,欧美地区 软文可以往服装和包装方向走 网站的操作使用流程是否简洁? 公…

    2019年3月19日
    01.3K
  • 谷歌SEO关键词工具推荐:kw finder

    这次,小编来给大家推荐一下,谷歌SEO的关键词工具:mangools的KWfinder。 理由只有一个,它实在是太好用了。 界面简单,功能强大。 下面是详细教程: 工具地址:https://kwfinder.com/,点击进入之后是这样的: 界面很简单,一般情况,我们直接在搜索框输入主词,其他选项全部保持默认,然后点击find keywords(绿色按钮)即…

    2021年3月1日 SEO优化工具
    01.3K
  • 咱们来聊聊Google 谷歌SEO的那些实际的事儿

    这次,小编来给大家说说,关于“咱们来聊聊Google 谷歌SEO的那些实际的事儿”的这个话题吧!在做谷歌seo或者外贸独立站seo的小伙伴们都来看看这个分享吧!这就是现实啊。 实际上,作为数字化营销发展最悠久的技术,SEO经过这些年的发展和调整,综合门槛越来越高了,要把SEO做到极致真的需要一个团队,一旦发力可以说是无价之宝。 这个行业在国外有不少大神级别的…

    2021年4月9日 谷歌SEO
    01.8K