小兔网

网络矿工数据采集软件稳定版是一款面向个人及专业用户分享的一款专业的数据采集软件,即适用于简单化配置操作,也适应针对复杂数据采集的能力,所见即可采。网络矿工数据采集软件稳定版独有的代理轮询采集机制,可有效的解决网站屏蔽问题,同时还分享了网络雷达功能,可用于互联网数据动态监控,一套软件的价格两套软件的功效,绝对是您的首选!

网络矿工数据采集软件稳定版

网络矿工数据采集软件稳定版软件功能

数据采集功能

1、 多任务、多线程,支持一个任务运行多个实例;采集规则与运行实例分离的好处是修改任务信息后,并不影响已经运行的任务;

2、支持图片、Flash及文件下载;下载并不支持多线程处理;

3、网址配置支持参数定制,及外部字典参数;通过字典方式可扩展自定义的参数值;

4、支持Cookie、POST采集;可记录Cookie,采集需要登录的网站数据,也可通过手工登录进行采集;

5、支持导航、自动翻页;可进行网址导航,譬如:通过新闻列表采集新闻内容;支持多层导航;

6、可采集Ajax数据;关于Ajax技术网站,需要通过HTTP嗅探器探测其真实地址;推荐使用Fiddler;

7、采集数据临时存储、断点续采;临时存储数据格式为XML;

8、支持数据导出,文件、数据库;数据库支持Access、MS SqlServer、MySql,文件支持文本文件和Excel;数据导出支持手工和自动,手工导出仅支持文件形式;

9 、分享网址编/解码工具;支持UTF-8、GB2312、GBK、Big5;

10、在线数据发布;支持在线数据发布,数据发布支持Cookie;

11、 数据采集支持采集数据加工; 可对采集数据进行字符串替换、截取、附加等操作,可自动去除网页符号,支持正则;

12、支持任务计划;可定时执行任务,最小间隔为:0.5小时;

13、支持任务触发器;可触发采集任务、数据库存储过程及可执行文件,支持采集完成及发布完成触发;

14、支持采集数据网址的自动输出;可作为内容引用、错误查找使用;

15、支持采集延时; 针对访问限制的网站,可采用采集延时控制单位时间内对网站的采集次数;

16、支持分层数据采集; 即通常所说的分页采集、级联采集,支持1对1及1对N的数据关系;

17、支持Url Base64编码 针对部分网站采用Base64编码Url进行了支持,可采集此类网站数据;

18、支持外部字典数据导入可成批导入字典数据;

19、 支持HTTPHeaders自定义支持HTTPHeaders自定义;

20、增加了导航自动翻页功能 ;

21、支持采集规则通配符及自定义正则表达式 ;

22、支持U码识别、网址转移 ;

23、增加代理轮询引擎支持数据采集 ;

24、增加导航提取范围;

25、增加自定义导航规则处理;大部分导航都是由可识别的Url进行的,但也存在特殊情况,譬如:是由提交表单来完成,针对此种情况采用此功能可实现对导航规则的处理;

26、支持外部参数采集任务; 利用此种类型的采集任务可以再本地配置搜索引擎,用户网站信息的搜索;典型应用:企业黄页查询;

27、支持导航层分页;利用此功能可以按照简化采集任务的配置,甚至可以通过一个入口地址采集所有的信息内容;

28、直接入库;可将采集的数据直接存入数据库,利用此种方式,系统可采集成百上千万条数据,而不影响系统性能。数据库支持Access、MS Sqlserver及MySql;

数据编辑功能

1、采集数据输出数据多种规则加工;对采集数据可实现多种数据加工规则的应用,通过此方法,可以更加灵活的采集到需要的数据内容。;

2、分享数据加工模块;可对采集数据灵活的进行数据修改,调整表结构,然后再进行数据发布操作。同时还可利用此功能实现外部数据的加工及发布操作;

3、支持数据合并; 可应用于分页文章采集,并自动合并成一篇文章的采集形式;

网络矿工数据采集软件稳定版使用教程

1、创建采集分类,选择一个你想要调查的类别。

2、配置采集任务,需要细致的填写,保证数据的可靠性。

网络矿工数据采集软件稳定版

3、运行采集任务,可以选择直接储存到数据库。

4、查看下载数据,然后可以进行存储、发布等操作。

下载仅供下载体验和测试学习,不得商用和正当使用。

下载体验

请输入密码查看内容!

如何获取密码?

 

点击下载