高级功能介绍

0 讨 论 176 浏览量 云采集引擎

高级功能包含了采集中涉及到的几个功能

1.分布式节点

对于某些网站封IP,提供分布式节点。

2.多线程采集

采集线程数量,影响采集的速度快慢。

3.采集间隔

采集间隔,对于某些网站频繁刷新会屏蔽的情况,加长间隔可以避免

4.采集数据上限

采集数据的上限,免费版为1/数据源

5.采集周期

对于需要定时采集的的数据,可以通过周期设定自动采集。

6.保存图片到云端

将网站上的图片下载到服务器保存,如果需要可以联系我们直接从服务器下载在。

7.图片链接前缀

对于有些图片链接不全无法下载的需要补充图片链接的前缀。

8.启用post

post网页类型下载需要启动这个功能,使用方式配合链接配置中的#POSTFIELDS=一起使用

9.请求验证cookies

对于某些需要登录的网站,直接cookie跳过登录。

Finndy Copyright©2017 | Powered by Q2A

...