关于字段配置中必须包含和不得包含的使用

0 讨 论 188 浏览量 云采集引擎

在数据抓取过程中我们经常遇到对于某些数据抓取或者跳过某些敏感数据的情况。

这时候就可以在数据字段的标题和内容两个字段中设置必须包含或者不得包含来完成。

必须包含:设置关键字,抓取的信息必须包含关键字才抓取,否则跳过这条信息

实例:

必须包含关键字:首页

抓取到的信息1:首页中显示的信息

抓取结果:正常获取

抓取到的信息2:当我们打开这个页面

抓取结果:跳过这条信息

不得包含:和必须包含正好相反,通常用来过滤一些敏感信息等

实例:

不得包含关键字:隐私

抓取到的信息1:隐私信息手机号:136263252146

抓取结果:跳过这条信息

抓取到的信息2:公开信息:公司名称

抓取结果:正常抓取

Finndy Copyright©2017 | Powered by Q2A

...