亚马逊/Tiktok大数据采集系统

基本信息

案例ID:209231

技术顾问:鬼剑士 - 7年经验 - xxx

联系沟通

微信扫码,建群沟通

项目名称:亚马逊/Tiktok大数据采集系统

所属行业:电子商务 - B2C

->查看更多案例

案例介绍

1.程序主要使用Python语言编写,爬虫获取亚马逊listing页面数据,亚马逊卖家后台数据,亚马逊搜索页面数据,Tiktok红人数据,Tiktok视频数据等;
2.通过和亚马逊/Tiktok API交互,获取商家销售数据,库存数据,广告数据,财务数据等;
3.采集程序为分布式架构,使用Redis+Webmin做任务的发布和管理,使用RDS, OSS, TableStore,AnalyticDB等做数据的存储,中转,备份等,使用RocketMQ做跨系统,跨地域交互和流量管理;
4.使用VPC对等连接打造跨地域服务直连和数据传输.
5.使用SLS做统一日志管理和运行检测

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服