文字实例——自定义脚本JSON数据采集

6 讨 论 80760 浏览量 云采集引擎

自定义脚本JSON数据采集
适用于json数据接口获取内容

比如:http://v.duowan.com/ 我们想采集这个网站上的视频标题和视频链接。

1.数据入口配置

经过我们的分析得到。这个网站的数据是使用json加载的。数据链接如下:

page 表示的就是加载的第几页。经过分析数据加载到第8页再往后就没有了:

所以数据入口配置如下

2.数据链接

由于我们所需要的数据在json格式里面已经包含,不需要进行再次解析URL。 根据列表页采集URL然后从URL再采集数据字段的形式不适合这种。所以我们需要用到单页采集的原理。

我们可以分析出来每条数据都有一个特别的vid作为识别字段。然后可以给原来的URL加上这个后缀。然后每次采集还是用的入口的URL但是每次的数据都会带上这个vid作为标识。标识我们每次要采集那一条数据。

然后就可以配置数据连接如下,在数据链接URL识别规则填写:

"vid":"[url]","video_title"

这里我们只是获取了每个数据的vid标识而已。

我们获取的每一个vid并不是一个url,要想获取字段的话,引擎是只识别url才会继续采集啊,所以我们要想办法给采集引擎一个完整的URL用于下一步采集字段使用。上面我们已经采集到了每条数据的标识。

在数据链接URL补充前缀填写:

[entryurl]#

[entryurl] 表示的是入口的URL,然后#是一个拼接符号,这样生成的链接会在#后面加上每条数据的vid

这样就获取了一个完整的URL.然后我们就可以进行下一步字段采集了。

3.核心字段

还记得我们在数据连接后面用#后面拼接起来的vid么。这时候可以用[poundstr]来接受#后面的内容。

那么数据标题识别规则填写为:

"vid":"[poundstr]","video_title":[subject],

[subject]这个表示我们要采集的标题。[poundstr]是#后面的内容。这里是每条数据的vid**。

数据标题我们获得到了但是数据很明显不是我们想要的样子。我们可以看出来这很明显是json_encode之后的数据。那么我们需要将这个数据json_decode来获得我们想要的样子。

数据标题自定义脚本处理:

<?php
function CUSTOMFUN($inputstr){
// TODO: Coding Here
$outputstr = json_decode($inputstr); //在这里进行json_decode处理
return $outputstr;
}
echo CUSTOMFUN($PARASTR); // Not Allowed to Modify
?>

数据标题有了,内容也是必填的,那么。

数据内容识别规则填写如下:

"vid":"[poundstr]",*"video_url":[message],"video_channel":"lol",

数据内容自定义脚本处理:

<?php
function CUSTOMFUN($inputstr){
// TODO: Coding Here
$outputstr = json_decode($inputstr);
return $outputstr;
}
echo CUSTOMFUN($PARASTR); // Not Allowed to Modify
?>

调试下,内容也有了。

然后 点击提交发布。

好了 点击执行试试吧。

__END__

6讨 论
已讨论 3 天 作者: oholohi
Keynes, ozl.rapd.help.finndy.com.rvv.sm erosions [URL=http://prettysouthernbk.com/female-viagra/ - female viagra online[/URL -  [URL=http://wellnowuc.com/canadian-pharmacy-price/ - canadian pharmacy price[/URL -  [URL=http://prettysouthernbk.com/bimat/ - bimat for sale[/URL -  [URL=http://cheapflights-advice.org/lyrica/ - discount lyrica[/URL -  [URL=http://vintagepowderpuff.com/buy-prednisone/ - prednisone[/URL -  [URL=http://myquickrecipes.com/buy-prednisone/ - buy prednisone online[/URL -  [URL=http://takara-ramen.com/provigil/ - cheap provigil[/URL -  [URL=http://10selects.com/cafergot/ - cafergot pills[/URL -  [URL=http://gaiaenergysystems.com/cialis-5-mg/ - research cialis[/URL -  corruption; <a href="http://prettysouthernbk.com/female-viagra/">female viagra</a> <a href="http://wellnowuc.com/canadian-pharmacy-price/">cialis online pharmacy</a> <a href="http://prettysouthernbk.com/bimat/">bimat generic</a> <a href="http://cheapflights-advice.org/lyrica/">lyrica lowest price</a> <a href="http://vintagepowderpuff.com/buy-prednisone/">prednisone</a> <a href="http://myquickrecipes.com/buy-prednisone/">prednisone</a> <a href="http://takara-ramen.com/provigil/">order provigil online</a> <a href="http://10selects.com/cafergot/">buy cafergot online</a> <a href="http://gaiaenergysystems.com/cialis-5-mg/">cialis canadian</a> cialis online notify flow http://prettysouthernbk.com/female-viagra/ buy female viagra http://wellnowuc.com/canadian-pharmacy-price/ canadian online pharmacy http://prettysouthernbk.com/bimat/ cheapest bimat http://cheapflights-advice.org/lyrica/ lyrica online http://vintagepowderpuff.com/buy-prednisone/ buy prednisone http://myquickrecipes.com/buy-prednisone/ prednisone 20 mg http://takara-ramen.com/provigil/ provigil http://10selects.com/cafergot/ cafergot http://gaiaenergysystems.com/cialis-5-mg/ cialis 10mg demonstrating gluteus conflict.
已讨论 3 天 作者: Loans
<a href="https://ikunudiruk.tk/">geico auto quote</a> <a href="https://yxyvynuwipas.cf/">whole life insurance policies</a> <a href="https://ipupisenuzej.tk/">loan assumption</a> <a href="https://ufenypolacyj.tk/">personal loans</a> <a href="https://mukukywirony.ga/">home loan interest rates today</a> <a href="https://owyqivebiz.tk/">college paper writing service</a> <a href="https://omodovepisyw.gq/">independent health insurance agents</a> <a href="https://abafexyq.tk/">best used car loans</a> <a href="https://umyfyrorusod.tk/">usaa homeowners insurance for veterans</a> <a href="https://ohiwasywoz.ml/">permanent life insurance</a>
已讨论 1天 作者: ecaszix
Ischaemic rjm.cymc.help.finndy.com.hkc.jo clean, [URL=http://recipiy.com/naprosyn/ - generic naprosyn[/URL -  [URL=http://lifestylescenter.net/trental/ - discount trental[/URL -  [URL=http://wellnowuc.com/buying-prednisone-on-the-interent/ - buying prednisone on the interent[/URL -  [URL=http://circulateindia.com/ventolin-inhaler/ - salbutamol inhaler buy online[/URL -  [URL=http://vintagepowderpuff.com/tadalafil-20mg-lowest-price/ - cialis[/URL -  self- digesting magnification <a href="http://recipiy.com/naprosyn/">cheapest naprosyn</a> <a href="http://lifestylescenter.net/trental/">trental pills</a> <a href="http://wellnowuc.com/buying-prednisone-on-the-interent/">prednisone</a> <a href="http://circulateindia.com/ventolin-inhaler/">salbutamol inhaler</a> <a href="http://vintagepowderpuff.com/tadalafil-20mg-lowest-price/">generic cialis</a> generic cialis positives, basis: http://recipiy.com/naprosyn/ price of naprosyn http://lifestylescenter.net/trental/ trental online discount trental http://wellnowuc.com/buying-prednisone-on-the-interent/ prednisone without dr prescription prednisone http://circulateindia.com/ventolin-inhaler/ ventolin http://vintagepowderpuff.com/tadalafil-20mg-lowest-price/ generic cialis myopes appetite convention.
已讨论 1天 作者: xexecogu
Prolactinoma, rko.pxfl.help.finndy.com.vjm.xi hyporeninaemic [URL=http://charlotteelliottinc.com/priligy/ - priligy dapoxetine[/URL -  [URL=http://myquickrecipes.com/propecia-online/ - propecia[/URL -  [URL=http://myonlineslambook.com/lamictal/ - lamictal lowest price[/URL -  [URL=http://huekymigia.com/actonel/ - actonel[/URL -  [URL=http://myonlineslambook.com/robaxin/ - robaxin lowest price[/URL -  after matched acute <a href="http://charlotteelliottinc.com/priligy/">buy priligy</a> dapoxetine online <a href="http://myquickrecipes.com/propecia-online/">propecia online</a> <a href="http://myonlineslambook.com/lamictal/">lamictal</a> <a href="http://huekymigia.com/actonel/">actonel online</a> <a href="http://myonlineslambook.com/robaxin/">order robaxin online</a> criterion http://charlotteelliottinc.com/priligy/ priligy 30mg http://myquickrecipes.com/propecia-online/ buy generic propecia http://myonlineslambook.com/lamictal/ lamictal http://huekymigia.com/actonel/ order actonel online cheap actonel http://myonlineslambook.com/robaxin/ robaxin father, cardiomyopathy white.
已讨论 10 小时 作者: Janejex

Finndy Copyright©2017 | Powered by Q2A

...