Skip to content

Latest commit

 

History

History
12 lines (10 loc) · 825 Bytes

README.md

File metadata and controls

12 lines (10 loc) · 825 Bytes

amazon-spider

amazon crawler、亚马逊分布式爬虫系统,已在生产环境中稳定运行两年,支撑每天6千万+爬取量,包含亚马逊前台所有数据的爬取,如商品、关键词(可指定邮编)、广告、5大榜单、评论、类目、商户、买家信息、跟卖信息、QA、促销活动等

解决以下几个问题:

一、大规模爬取亚马逊前台所有数据,目前每天爬取6千万+数据;
二、反反爬,突破亚马逊反爬策略,稳定爬取;
三、获取高质量数据,当亚马逊风控系统怀疑你是爬虫后返回的数据质量将下降很多,比如返回的关键词页面、商品页面缺少广告数据;

合作方式

一、提供api接口
二、私有化部署

联系方式,微信:Dml-2021