活用二级目录——采集异步加载数据

0 讨 论 129 浏览量 云采集引擎
网页加载数据很多时候使用异步加载,通过多个不同链接获获取不同的数据然后整合成网页我们看到的内容

这里我们以京东拍卖网站为例

这列我们需要采集

https://sf.taobao.com/list/50025969__2___%CE%DE%CE%FD.htm?spm=a213w.7398504.pagination.1.UyX1Bh&start_price=500000&auction_start_seg=-1&page=1

这个列表页采集详情页的话详情页中有部分面积等数据通过

https://sf.taobao.com/json/getGovItemSummary.htm?itemId=574255497778

这样一个链接获取

我们需要先获取面积信息,然后通过参数传递将内容传递到字段获取

详细样例可以参考http://www.finndy.com/midycp.php?action=robots&op=viewrobot&robotid=326752

Finndy Copyright©2017 | Powered by Q2A

...