1.程序主要使用Python语言编写,爬虫获取亚马逊listing页面数据,亚马逊卖家后台数据,亚马逊搜索页面数据,Tiktok红人数据,Tiktok视频数据等;
2.通过和亚马逊/Tiktok API交互,获取商家销售数据,库存数据,广告数据,财务数据等;
3.采集程序为分布式架构,使用Redis+Webmin做任务的发布和管理,使用RDS, OSS, TableStore,AnalyticDB等做数据的存储,中转,备份等,使用RocketMQ做跨系统,跨地域交互和流量管理;
4.使用VPC对等连接打造跨地域服务直连和数据传输.
5.使用SLS做统一日志管理和运行检测