活用二级目录——采集异步加载数据

6 讨 论 913 浏览量 云采集引擎
网页加载数据很多时候使用异步加载,通过多个不同链接获获取不同的数据然后整合成网页我们看到的内容

这里我们以京东拍卖网站为例

这列我们需要采集

https://sf.taobao.com/list/50025969__2___%CE%DE%CE%FD.htm?spm=a213w.7398504.pagination.1.UyX1Bh&start_price=500000&auction_start_seg=-1&page=1

这个列表页采集详情页的话详情页中有部分面积等数据通过

https://sf.taobao.com/json/getGovItemSummary.htm?itemId=574255497778

这样一个链接获取

我们需要先获取面积信息,然后通过参数传递将内容传递到字段获取

详细样例可以参考http://www.finndy.com/midycp.php?action=robots&op=viewrobot&robotid=326752
6讨 论
已讨论 4 天 作者: hydroxychloroquine sulfate 200 mg
Over Counter Prednisone
已讨论 4 天 作者: scourdy
<a href=https://buylasixshop.com/>what does furosemide do</a>
已讨论 2 天 作者: Unloarrox
已讨论 2 天 作者: Plaquenil
Difference Entre Cialis Et Generique
已讨论 2 天 作者: Wragimi

Finndy Copyright©2017 | Powered by Q2A

...