文字实例——自定义脚本JSON数据采集

6 讨 论 103546 浏览量 云采集引擎

自定义脚本JSON数据采集
适用于json数据接口获取内容

比如:http://v.duowan.com/ 我们想采集这个网站上的视频标题和视频链接。

1.数据入口配置

经过我们的分析得到。这个网站的数据是使用json加载的。数据链接如下:

page 表示的就是加载的第几页。经过分析数据加载到第8页再往后就没有了:

所以数据入口配置如下

2.数据链接

由于我们所需要的数据在json格式里面已经包含,不需要进行再次解析URL。 根据列表页采集URL然后从URL再采集数据字段的形式不适合这种。所以我们需要用到单页采集的原理。

我们可以分析出来每条数据都有一个特别的vid作为识别字段。然后可以给原来的URL加上这个后缀。然后每次采集还是用的入口的URL但是每次的数据都会带上这个vid作为标识。标识我们每次要采集那一条数据。

然后就可以配置数据连接如下,在数据链接URL识别规则填写:

"vid":"[url]","video_title"

这里我们只是获取了每个数据的vid标识而已。

我们获取的每一个vid并不是一个url,要想获取字段的话,引擎是只识别url才会继续采集啊,所以我们要想办法给采集引擎一个完整的URL用于下一步采集字段使用。上面我们已经采集到了每条数据的标识。

在数据链接URL补充前缀填写:

[entryurl]#

[entryurl] 表示的是入口的URL,然后#是一个拼接符号,这样生成的链接会在#后面加上每条数据的vid

这样就获取了一个完整的URL.然后我们就可以进行下一步字段采集了。

3.核心字段

还记得我们在数据连接后面用#后面拼接起来的vid么。这时候可以用[poundstr]来接受#后面的内容。

那么数据标题识别规则填写为:

"vid":"[poundstr]","video_title":[subject],

[subject]这个表示我们要采集的标题。[poundstr]是#后面的内容。这里是每条数据的vid**。

数据标题我们获得到了但是数据很明显不是我们想要的样子。我们可以看出来这很明显是json_encode之后的数据。那么我们需要将这个数据json_decode来获得我们想要的样子。

数据标题自定义脚本处理:

<?php
function CUSTOMFUN($inputstr){
// TODO: Coding Here
$outputstr = json_decode($inputstr); //在这里进行json_decode处理
return $outputstr;
}
echo CUSTOMFUN($PARASTR); // Not Allowed to Modify
?>

数据标题有了,内容也是必填的,那么。

数据内容识别规则填写如下:

"vid":"[poundstr]",*"video_url":[message],"video_channel":"lol",

数据内容自定义脚本处理:

<?php
function CUSTOMFUN($inputstr){
// TODO: Coding Here
$outputstr = json_decode($inputstr);
return $outputstr;
}
echo CUSTOMFUN($PARASTR); // Not Allowed to Modify
?>

调试下,内容也有了。

然后 点击提交发布。

好了 点击执行试试吧。

__END__

6讨 论
已讨论 1月 15日 作者: Miajex
<a href="https://diflucan10.com/">diflucan tablet price</a> <a href="https://metformin360.com/">metformin 500 for sale</a> <a href="https://valtrex24.com/">where can i buy valtrex</a> <a href="https://albendazole365.com/">albendazole 400 mg</a> <a href="https://amoxicillincaps.com/">generic amoxicillin 500mg</a>
已讨论 1月 15日 作者: Nickjex
<a href="http://accutanrx.com/">accutane 10mg</a> <a href="http://clomid150.com/">clomid price</a> <a href="http://lisinoprilmd.com/">3 lisinopril</a> <a href="http://albendazole365.com/">where can i buy albendazole</a> <a href="http://lisinoprilhcz.com/">lisinopril generic</a> <a href="http://furosemidelab.com/">cost of furosemide 40 mg</a> <a href="http://ventolin911.com/">ventolin discount</a>
已讨论 1月 17日 作者: RobertHiess
<a href="https://docs.google.com/forms/d/15Vkprmj1UA_MnnnnFZ_4LyIp5Ml8utBHIES2ZH_xpq0/viewform">я переспала с сыном</a>
<a href="https://docs.google.com/forms/d/1Vf0G3Ty_ld9vFBVhOXzWSwqr5m7hdZR-Li_mRy2-IX0/viewform">баста порно</a>
<a href="https://docs.google.com/forms/d/14cdvusJCO6pdD6vzAVGXpaZSi-wZX17B3U43S1hcIn8/viewform">грудастая красотка</a>
<a href="https://docs.google.com/forms/d/1cN_4FrIsAqtwn7LnYlieIOt6C1kXAfaiVvnjuHZKUXI/viewform">горловой минет</a>
<a href="https://docs.google.com/forms/d/1IHCT2_ulTiw4JclE1JjDpuQCjxgVz6Y1Vw6HUKZl4oc/viewform">порно с училкой</a>
<a href="https://docs.google.com/forms/d/1m9KuG7jA7Q2pkK1ZGYsH_GMPOUhh8QRLe2LYJ43i1BY/viewform">видео секс чат онлайн</a>
<a href="https://docs.google.com/forms/d/1HXYTDGTF-BWJSLwsQXEolMZxskGjL4VVIfu0LpUREnE/viewform">бдсм видео</a>
<a href="https://docs.google.com/forms/d/16638bv--1n9P7Vd1iTWcip6xKSAqPQnQ9on4dfNp0-E/viewform">блондинку в анал</a>
<a href="https://docs.google.com/forms/d/1ky-mLzL3_P28NYoGsThX1sqi0dB7bTWiayyU7nEy7mA/viewform">порно ганг банг</a>
<a href="https://docs.google.com/forms/d/1mz93WiOcP9GDGXRnANifIYok6ihBU4RhwtQDvlCquz8/viewform">кончил в рот</a>
 
https://docs.google.com/forms/d/1W-1jYc0FeT6De_4Ire1xy1GJXHs4DLs0Bp3WJtb92fA/viewform
https://docs.google.com/forms/d/1bYwI0-MvM6RLZQRQp3KJENq3tlYszLEQ1snpzQ9SUJo/viewform
https://docs.google.com/forms/d/19Waws2v1mtcPslGX68_clsfV1My1KzBWtK-BXlT6RGI/viewform
https://docs.google.com/forms/d/1yiLYPOx4CD5iXnHChxNAeg1P5ZnnTWV5GAulHDe-KIc/viewform
https://docs.google.com/forms/d/1hKAImtYwd9zumvMPCcb-5yU5zz3_bn6aESqzWHvv-Vc/viewform
https://docs.google.com/forms/d/1-swBAGzhsPlCIaCrEPzwYRseSXU87AxYKIGxntXZF0g/viewform
https://docs.google.com/forms/d/1cc9-7_VAylzPRcFj2Pr8hWO8q1MGDQ6wpHWLhMdu0zk/viewform
https://docs.google.com/forms/d/1O_2r8EO32qOwK1CbSLyl2BRf_T7Ww1NzmRCuJ3jo3mY/viewform
https://docs.google.com/forms/d/1ZwM9S1q1UMfJpAtSDVxUvNe9KQU7qA5tQv6l5s_JNow/viewform
https://docs.google.com/forms/d/16tVKHgxfwpp3EaA31URanxHvFw5zz0IBnaHnOqS8Kwg/viewform
 
http://images.google.tm/url?q=https://promomaster.org/
http://www.google.co.il/url?q=https://promomaster.org/
http://www.google.nu/url?q=https://promomaster.org/
http://www.google.bs/url?q=https://promomaster.org/
https://www.google.com.bo/url?q=https://promomaster.org/
已讨论 1月 19日 作者: Ashjex
Do not take <a href="http://tadalafilx.com/">tadalafil</a> if you are likewise making use of any type of nitrate based medications. If you presume an overdose of Tadalafil and have such signs as flushing, pain in the back, priapism (unusually long and unpleasant erection), heartburn, runny or stale problem, indigestion, and nose, state them to your neighborhood emergency situation center and get assist. This medication has not been mentioned to improve libido or reason sexual desire - but it does work at a bodily level (by allowing more blood to flow into the penis) and emotional degree (by assisting the man to regain self-confidence and not be scared of failure).
已讨论 1月 19日 作者: Jackjex
<a href="https://vardenafill.com/">vardenafil online mexico</a> <a href="https://arimidexsale.com/">canadian pharmacy arimidex</a> <a href="https://avodartgen.com/">avodart capsules 0.5 mg</a>

Finndy Copyright©2017 | Powered by Q2A

...