高级功能——功能配置

0 讨 论 430 浏览量 高级功能

数据源的其它功能配置

全球高匿名节点

使用全球高匿名可以最大限制的避免IP频繁访问限制。不过由于匿名节点网速或访问原因可能对速度有一定的影响。(例如美国节点访问国内网站会有速度限制)因此,推荐对于没有限制的网站不使用分布式策略。
默认: 不启用
使用场景:某些网站频繁访问会跳出验证码或者禁止访问的情况,这时候使用多节点就可以有效的避免这个情况。

采集线程数量

可根据业务需求适当增加线程数量加快采集速度
默认: 2 线程
使用场景:需要快速完成的抓取任务,比如获取多支股票某一固定时间的价格,需要快速完成任务就可以开启多线程。

单次采集上限

采集任务单次爬取url链接的数量限制。可根据业务需求更改限制
默认: 10万
更新周期
对于需要定时获取信息或者定期更新的数据可以设置循环时间,单位:小时
默认: 99999
使用场景:通常用于数据监控。
设置一小时,和多线程同时使用用来监控每小时的股票价格情况。
设置24小时更新一次,获取每天早上的新闻。
设置24*7小时,监控某生活服务类网站商铺每周评论人数和评分变化。

下载图片到云端

抓取图片下载到云端服务器,如果需要下载到本地可以调用api借口或者直接查看链接
默认: 否
使用场景:获取一些图片网站的图片包不用手动单独下载。

下载图片链接URL补充前缀

如果在网页上面需要下载文件的链接不完整,需要配置此规则,将其补充完整

是否启用POST请求

对于某些网站下载使用post下载可以设置启用
默认: 否

请求COOKIE验证

对于网站需要登录或者验证后访问的,可以手动访问然后获取cookie,在有效期内可以一直使用(过期需要手动替换)

Finndy Copyright©2017 | Powered by Q2A

...