您所在的位置:下载吧 > 软件下载 > 网络软件 > 网络辅助 > CTspider(长腿蜘蛛采集插件)下载

CTspider(长腿蜘蛛采集插件) v2.5 官方版

  • 软件大小:2.73 MB
  • 软件语言:英文
  • 更新时间:2020-07-31
  • 授   权:免费软件
  • 适用平台:WinAll
  • 推荐度: 6
  • 开发商:未知
无病毒官方版
点击查看大图
软件介绍

  CTspider是一款全自动的爬虫插件工具,通过使用这款插件帮助用户在网站中爬取文章数据进行发布,用户的工作效率将会大大的提升;该插件支持几乎所有的平台网站,使用方式也比较简单,只需要用户设置一个定向的采集网址就可以开始针对该网址进行内容采集,并且通过CSS选择器来设置识别采集区域,用户可以轻松选择采集的内容,可以获取网页中的文章摘要,TAG,缩略图等等;这款工具从采集到发布会全自动完成,抓取内容之后程序会对文章进行去重处理,然后再更新发布,在整个过程中基本不需要用户干预。

CTspider(长腿蜘蛛采集插件)

软件特色

  1、支持内容CSS选择器定向删除和索引删除。

  2、支持HTML标签定向过滤和索引过滤。

  3、支持HTML属性过滤,以保障内容更加纯净。

  4、支持特例标签设置,让用户可以设置直观的参考案例。

  5、内容替换模块,帮助用户快速的完成内容文字替换。

  6、支持标题关键字替换,将文章标题的关键字快速的替换成其它内容。

  7、支持标题或内容前后插入自定义文本,用户可以在插入的文本中编辑任何内容。

软件功能

  1、多任务URL采集,让用户更加高效的完成工作收集信息等。

  2、采用定位更加准确的区域选择器,让您采集的内容更精准。

  3、列表缩略图采集,软件可以采集列表中的缩略图片并保存。

  4、用户完全可以设置相关参数,自定义缩略图的采集属性。

  5、支持用户自定义添加网站来源以及网址的字段。

  6、支持自动采集列表动态的渲染。

使用方法

  直接安装即可使用,需要授权可以安装下面的步骤进行授权操作。

  1、登录长腿蜘蛛-CTspider官网并注册账号(官网地址:https://www.ctspider.com/)

CTspider(长腿蜘蛛采集插件)

  2、填写相关的的注册信息进行注册,邮箱需要填写真实的,便于验证用户。

CTspider(长腿蜘蛛采集插件)

  3、登录网站之后,点击用户中心的添加授权域名以获取授权码,每一个用户可以授权三个域名。

  4、获取授权码之后,再按照步骤点击CTspider插件->系统配置->授权码配置->填入授权码->保存配置->验证授权

  5、进入下图界面中,将授权码输入到输入框中,然后点击保存,再点击授权验证,现在就完成授权了。

CTspider(长腿蜘蛛采集插件)

官方教程

  新建项目 / 基本配置

  接下来,让我们谈谈如何收集项目

  我们以新浪科技为例:

  一、基本配置

  任务名称:新浪科技(PS:用户定义)

  更新时间:默认为60分钟(PS:当前任务每60分钟自动执行一次)

  字符集:默认选项为OK(PS:如果代码乱码,请选择当前网页的字符集)

  随机IP:开启(PS:打开随机IP将在每次收集IP时自动更改IP,从而降低了阻止服务器IP的可能性)

  多线程采集:打开(PS:打开后可以提高采集速度)

  多线程数:默认情况下为10(PS:根据您自己的服务器配置使用)、

CTspider(长腿蜘蛛采集插件)

  列表设定

  列表URL:http://roll.tech.sina.com.cn/internet_ all / index.shtml(PS:如果需要多个,则可以在新行中添加)

  列表区域选择器:。 Contlist> UL> Li(PS:[与CSS选择器完全相同] [可以填充,但不能填充]如果当前页面上有多个相同的列表DOM节点以确保收集的准确性),请右键单击 在Google浏览器中查看元素,您可以看到当前列表数据在下面。 竞争者> UL> Li

CTspider(长腿蜘蛛采集插件)

  列出缩略图:如果有图片,您可以直接填写当前缩略图CSS选择器

  文章URL匹配:a(PS:由于已找到上述区域选择器,因此我们可以直接填写一个标记。如果未找到区域选择器,则将其设置为。根据DOM结构,按Lia或Contlist a。 所收集页面的

  将源URL添加到自定义字段:source_ URL(PS:[自定义]可以启用或不启用。设置后,自定义字段源将每天添加到文章中_URL,并将当前收集的URL链接分配给该字段作为前景 调用显示,例如:get_ post_ meta('source_ URL')以调用该字段的值。

  单击列表测试以查看当前项目列表配置

  点击列表测试可以查看当前项目列表配置情况

CTspider(长腿蜘蛛采集插件)

  文章设置

  标题匹配规则:H1

  文章内容设置:文章内容

CTspider(长腿蜘蛛采集插件)

  您可以看到标题在H1标签下,或者可以使用。 获得标题的主要标题

  正文内容似乎有许多类和IDS。 如果有ID属性,请尝试使用ID。 毕竟,ID是唯一且准确的。

  我们还可以添加规则来收集标签

  长腿蜘蛛ctspider提供6种通用规则来添加集合,并且可以自定义字段规则(PS:自定义字段规则可以添加多个)

  点击获取测试

  正确显示收集结果(原始文本:标题:标签)

  但是,我们发现了一个链接,而不仅仅是一个CSS属性和ID属性,以及一个span标签

CTspider(长腿蜘蛛采集插件)

  我们可以使用长腿蜘蛛ctspider强大的内容过滤模块进行数据清理

  内容过滤

  首先,删除数据中的所有链接,但不要删除标签的内容

  删除数据中的span标签,而不删除内容

  删除数据中无用的类属性和ID属性

  具体设置如下:

CTspider(长腿蜘蛛采集插件)

  最后,收集并测试数据

CTspider(长腿蜘蛛采集插件)

CTspider(长腿蜘蛛采集插件)下载地址

你可能感兴趣的软件
  • 懒喵采文器 1.0.9 官方版

    42.22 MB/2017-07-17

    懒喵采文器是致掂科技推出的一款信息采集工具,傻瓜式的界面,可视化流程,无需懂技术,点点鼠标,即可进行文章抓取。懒喵的特色是一键采集,一键发布,还能批量操作,非常简单方便,最适合

  • 网页文字采集器 1.6 官方版

    1.03 MB/2016-02-27

    网页文字抓取器,也就是大家常说的采集软件,可自动获取指定网页上的所有文字。可冲破一些禁止复制的电子书。简单的设定程序后,它就可以工作。

每日更新软件推荐
  • 一周最热
  • 总排行榜

您可能感兴趣的专题

  • 女生必备

    女生必备

      女生必备app是拥有众多女性用户的手机软件,作为一个女生,生活中像淘宝、京东这类线上购物软件可以说是少不了的,小红书这种穿搭、化妆分享平台也很受欢迎,类似于西柚大姨妈、美柚这种专为女生打造的生理期app更是手机必备,还有大家用的最多拍照美颜app是绝对不能忘记的,除此之外对于一些追星女孩来说,微博也是一个必不可少的软件。超多女生必备软件尽在下载吧!

  • 迅雷看看使用教程

    迅雷看看使用教程

    迅雷看看播放器是一款多功能在线高清多媒体视频播放器,支持本地播放与在线视频点播,采用P2P点对点传输技术,可以在线流畅观看高清晰电影。不仅如此,迅雷看看不断完善用户交互和在线产品体验,让您的工作与生活充满乐趣。

  • 驱动精灵

    驱动精灵

    驱动精灵是一款集驱动管理和硬件检测于一体的、专业级的驱动管理和维护工具。驱动精灵为用户提供驱动备份、恢复、安装、删除、在线更新等实用功能,也是大家日常生活中经常用到的实用型软件之一了。

  • 拼音输入法

    拼音输入法

    对于电脑文字输入,拼音输入法是一种非常受欢迎的输入法,搜狗拼音输入法、百度拼音输入法、QQ拼音输入法、谷歌拼音输入法、紫光拼音输入法、智能拼音输入法等,你在用哪款呢?一款好用适合自己的拼音输入法一定对您平时帮助很大!下载吧收集了最热门国人最喜欢用的拼音输入法给大家。

  • b站哔哩哔哩怎么使用

    b站哔哩哔哩怎么使用

    很多人都喜欢在b站哔哩哔哩上观看视频,不单是因为可以提前看到一些视频资源,B站的一些弹幕、评论的玩法也是被网友们玩坏了!下面下载吧小编带来了b站哔哩哔哩怎么使用的教程合集!希望能帮到你啦!

  • 抖音短视频app

    抖音短视频app

    抖音短视频app,这里汇聚全球潮流音乐,搭配舞蹈、表演等内容形式,还有超多原创特效、滤镜、场景切换帮你一秒变大片,为你打造刷爆朋友圈的魔性短视频。脑洞有多大,舞台就有多大!好玩的人都在这儿!

  • 开心手机恢复大师

    开心手机恢复大师

    日常生活中,因为各种原因我们常常丢失随身设备中的数据,怎么高效实用的恢复成了困扰许多用户的问题,今天下载吧小编为大家带来一款强大的苹果手机恢复软件,果粉们新技能还不get起来!开心手机恢复大师是一款强大的苹果数据恢复软件,操作简单,兼容Windows和Mac平台,支持iOS设备微信聊天记录恢复及短信,通讯录,备忘录,照片等删

  • 2018春节抢红包神器

    2018春节抢红包神器

    春节在外和小伙伴聚会,家里的群突然有红包抢,没看手机错过了?不用怕,有了下面这些手机抢红包神奇,再也不怕抢不到红包了!