amazon crawler、亚马逊分布式爬虫系统,已在生产环境中稳定运行两年,支撑每天6千万+爬取量,包含亚马逊前台所有数据的爬取,如商品、关键词(可指定邮编)、广告、5大榜单、评论、类目、商户、买家信息、跟卖信息、QA、促销活动等
一、大规模爬取亚马逊前台所有数据,目前每天爬取6千万+数据;
二、反反爬,突破亚马逊反爬策略,稳定爬取;
三、获取高质量数据,当亚马逊风控系统怀疑你是爬虫后返回的数据质量将下降很多,比如返回的关键词页面、商品页面缺少广告数据;
一、提供api接口
二、私有化部署