推荐一款WordPress博客网站的采集插件工具

这次,小编来推荐一款WordPress博客网站的采集插件工具,希望能帮助使用Wordpress开源程序做网站的小伙伴们。

关于如何安装WordPress博客网站的采集插件工具

下载插件长腿蜘蛛-CTspider

  1. 然后到WordPress插件页面点击上传,安装启用即可。
  2. 如果使用FTP上传,请使用二进制上传协议。

关于采集插件工具如何授权?

登录长腿蜘蛛-CTspider官网注册账号(PS:注册账号需要邮箱验证激活码,请认真填写邮箱账号)。

  1. 点击用户中心->添加授权域名(PS:目前每位用户可以授权3个域名)。
  2. 得到授权码后,点击CTspider插件->系统配置->授权码配置->填入授权码->保存配置->验证授权
WordPress博客网站的采集插件工具
WordPress博客网站的采集插件工具

最近有很多网友问:为什么点击采集后显示没有任何数据只有两种可能

  1. 采集规则没有设置好。
  2. 如果确定采集规则没问题,请查看当前采集的网址是否是Ajax动态渲染加载(PS:目前长腿蜘蛛-CTspider 不支持动态渲染加载采集)

新建项目 / 基本配置

接下来我们详细说下如何采集一个项目

我们使用新浪科技为示例:

首先基本配置

  1. 任务名称:新浪科技(PS:自定义即可)
  2. 更新时间:默认60分钟(PS:当前任务60分钟自动执行一次)
  3. 字符集:默认选项就可以(PS:如果出现乱码情况,请针对当前web网页字符集选择即可)
  4. 随机IP:开启(PS:开启随机IP会在每次采集的时候自动更换IP,减少服务器IP被封的几率)
  5. 多线程采集:开启 (PS:开启后可提高采集速度)
  6. 多线程数量:默认10(PS:根据自己服务器配置酌情使用)
WordPress博客网站的采集插件工具
WordPress博客网站的采集插件工具

列表设置

  • 列表URL: http://roll.tech.sina.com.cn/internet_all/index.shtml (PS:如需多个,可换行添加)
  • 列表区域选择器:.contList>ul>li (PS:【完全和CSS选择器用法一样】【可填,可不填】如果采集当前页面有多个相同列表DOM节点就要填写,确保采集精准度)用谷歌浏览器右键审查元素,可以看出当前列表数据都在.contList>ul>li下面
WordPress博客网站的采集插件工具
WordPress博客网站的采集插件工具
  • 列表缩略图:如果有图可以直接填写当前缩略图CSS选择器
  • 文章网址匹配:a (PS:由于上面区域选择器已经定位,我们可以直接填入a标签即可,如果区域选择器没有定位则设置:.contList li a 或者.contList a 具体根据你采集页面dom结构自己分析)
  • 添加来源网址到自定义字段:source_url(PS:【自定义】可开启或不开启,设置后会在每天文章添加一个自定义字段source_url并且会把当前采集到网址链接赋值给该字段用于前台调用显示)如: get_post_meta(‘source_url’) 可调用该字段的值。

点击列表测试可以查看当前项目列表配置情况

WordPress博客网站的采集插件工具
WordPress博客网站的采集插件工具

文章设置

标题匹配规则:h1

文章内容设置:#article_content

WordPress博客网站的采集插件工具
WordPress博客网站的采集插件工具

可以看到标题在h1标签下,也可使用.main-title来获取标题

正文内容看上去有好多 class和id 如果有id属性尽量采用id,毕竟id是唯一性,定位精准。

我们还可以增加规则来采集TAG标签

长腿蜘蛛-CTspider 提供了6总规则添加采集,并且可以自定义字段规则(PS:自定义字段规则可以添加多个)

WordPress博客网站的采集插件工具
WordPress博客网站的采集插件工具

点击采集测试

采集结果完美呈现(原文:标题:TAG)正确显示

但是我们发现结果中出现了a链接和一些多于的css属性和id属性还有span标签

WordPress博客网站的采集插件工具
WordPress博客网站的采集插件工具

我们可以利用长腿蜘蛛-CTspider强大的内容过滤模块进行数据清洗工作

内容过滤

  1. 首先删除数据中所有a链接但不删除a标签内容
  2. 删除数据中span标签并且也不删除内容
  3. 删除数据中无用的class属性和id属性

具体设置如下图:

WordPress博客网站的采集插件工具
WordPress博客网站的采集插件工具

最后在进行采集测试(得到纯净的数据)

WordPress博客网站的采集插件工具
WordPress博客网站的采集插件工具

 

原创文章,作者:SONIC SEO,如若转载,请注明出处:https://www.seo388.com/wpcaiji/

(1)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2019年11月25日 22:26
下一篇 2019年11月25日 22:41

相关推荐

  • php版本升级?php哪个版本好?

    嗯哼,刚开始也不懂php是什么鬼。后来懂了,原来是一种环境语言,服务器和虚拟主机都需要它,必然是需要的。而本人一直以来心中有个疑惑,PHP版本是不是越高越稳定,越高就越好呢?在一般情况下,版本越新越好,就拿wordpress来说在PHP7.0环境下比之前的版本速度提升在3倍左右,3倍,3倍,3倍哦!飞起来了!   目前,PHP最高版本是7.2.x….

    2019年7月14日
    01.1K
  • Discuz论坛网站数据库迁移搬家修改配置文件

    关于discuz开源程序做的网站搬家 discuz搬家的话,必然是需要网站页面与数据库两部分的迁移。然后则是需要把网站页面部分连接上新的数据库账号和密码。 而discuz具体数据库变更与迁移如下: 对discuz论坛做了数据库信息变更或者迁移后需要修改下面三个文件的配置信息。 config/config_ucenter.php config/config_g…

    2019年9月14日
    01.4K
  • 关于如何修改wordpress后台登录入口

    这次,小编来给大家说说,关于如何修改wordpress后台登录入口。相信很多小伙伴也喜欢用wordpress来建站,简单便利而且优化效果好。虽然不是静态网站,其实伪静态网站排名也不差哦。 需要修改根目录里的wp-login.php和wp-includes文件夹下的general-template.php文件: 1. 首先在网站根目录下找到wp-login.p…

    2020年5月14日
    01.3K
  • 主域名已备案,二级域名还需要备案吗?

    今天,小编来给大家科普一下 “主域名已备案,二级域名还需要备案吗?” 的这个问题。 许多网站发展到一定程度的时候会拓展二级域名,但是呢,二级域名还需要备案吗? 二级域名还需要备案吗?(子域名需要备案吗?) 1)如果顶级域名有备案号,但备案接入商与空间提供商不一致,还需您在空间提供商处提交备案转入申请。顶级域名可以存在多家接入商; 2)如果顶级域名没有备案号,…

    2019年10月29日
    01.7K
  • 服务器入门篇,Web服务器是什么东西?

    新手服务器入门必学,Web服务器是什么意思? 您在使用云服务器 ECS 的时候,可能会遇到各种问题,例如远程连接、更换操作系统、扩容、升降配、使用快照和镜像等。本文介绍了以下资源的最常用操作,方便您参考,包括: 实例、磁盘、快照、自动快照策略、镜像、安全组 服务器基础入门2分钟视频,帮助你了解服务器常用操作。 链接:https://pan.baidu.com…

    2019年3月13日
    11.0K
  • 关于phpwind找回密码的办法

    今天,小编在自己的努力下,终于找回密码,进去了phpwind的后台。我来分享一下自己的经验心得。 老版本的phpwind 密码是直接放在sql_config.php文件里面的,直接修改./data/sql_config.php文件内容: $manager=’admin’;            //管理员用户名 $manager_pwd=’21232f297…

    2019年11月4日 免费建站教程
    01.6K
  • 关于WordPress博客类网站速度优化攻略

    今天,小编来给大家说说 “关于WordPress博客类网站速度优化攻略”。希望对于用wordpress开源程序来建站的小伙伴有所帮助。 使用Wordpress搭建的网站普遍打开速度太慢,针于SEO来讲提升网站打开速度才能获得好的体验。如何提升Wordpress网站打开速度,让WP博客程序实现速度秒开,经过研究实践终于突破了速度这一难题。 要提升Wordpre…

    2019年12月15日 免费建站教程
    01.1K
  • 购买宝塔专业版后如何在线升级到专业版?

    这次,小编给大家说说,关于 “购买宝塔专业版后如何在线升级到专业版?” 的话题。希望对购买了宝塔专业版的您有所帮助。 有三种方式,请根据你的需求选择其中一种升级为专业版,然后使用代金券支付即可。 方法一:未安装面板的用户,登录SSH直接安装专业版,然后登录面板,选择代金券支付Centos安装脚本 yum install -y wget && …

    2019年11月16日 免费建站教程
    0954
  • 关于wordpress的php.ini修改,修改系统文件的限制

    很简答地把wordpress安装完了,然后wordpress的主题也安装完了,稍微有点逼格的主题都会有System Status系统状态提示,里面的红绿参数和php.ini文件一直困扰着很多人,今天小编就教大家如何突破这些参数限制。   首先,System Status系统状态里的红绿参数指的是wp主题对wordpress和主机空间的配置要求。 红…

    2018年8月24日 免费建站教程
    02.6K
  • 关于wordpress安全、通用的搬家方法

    WordPress搬家,一直以来都没有比较官方、安全的搬家方法。目前网上多见的都是通过phpmyadmin导出数据库,然后在新的服务器上导入数据库,以实现搬家的目的。但是这样做受到很多外在因素的限制,比如说新服务器中的mysql数据库版本不同、新服务器的数据库名不同、用户名密码不同等等,导致某些特殊情况下搬家不成功。有时候发生误操作,还有可能导致网站数据库崩…

    2019年6月13日 免费建站教程
    11.2K
  • 服务器建站必备:宝塔Linux面板安装教程分享

    这次,小编要给大家带来的是,关于 “ 服务器建站必备:宝塔Linux面板安装教程分享”。希望能帮助想用宝塔面板搭建服务器环境的小伙伴们哦。 安装要求: 内存:512M以上,推荐768M以上(纯面板约占系统60M内存) 硬盘:100M以上可用硬盘空间(纯面板约占20M磁盘空间) 系统:CentOS 7.1+ (Ubuntu16.04+.、Debian9.0+)…

    2020年9月3日 免费建站教程
    01.4K
  • 关于Discuz!X3.4安装详细图文教程,安装简单

    说明:本文档用于帮助您全新安装完整的 Discuz! X3.4 社区软件 一、下载 Discuz! X3.4 到本地或者服务器上 下载地址:https://gitee.com/3dming/DiscuzL/attach_files 二、解压并上传 Discuz! X3.4 程序到服务器且修改相应目录权限 1、上传 Discuz! X3.4 程序到服务器上解压…

    2019年7月21日 免费建站教程
    11.8K