1: 抖音app、抖音网页数据采集:
独立负责整个抖音所有站点的开发和维护工作,日采集数据量上亿条。采集内容主要分为抖音电商模块、抖音视频模块、抖音直播和抖音本地生活模块。实时性要求较高
1: 解决了抖音pc端的参数X-Bogus、_signature,以及msToken、ttwid等问题
2: 解决了抖音app的算法x-gorgon、x-khronos、x-argus、x-ladon,以及封设备id的问题
3:解决了抖音的滑块问题
4: 由于实时性较高,一些接口无法补采。爬虫出问题后及时响应解决爬虫稳定,保证数据源的稳定