内容 利用rabbitmq组建集群,利用celery将任务划分,综合性能消耗、带宽等因素给不同的任务分配线
程数,保证任务可以大批量下发,可持续运行;负责爬虫和网络对抗,对异常网站的特征进行捕获,
进而进行前后端分析(包括数据加密、机器人检测等),最终获取数据;负责项目整体代码包括从任
务下发、任务调度,用Redis传递消息队列,各个模块的error log,warning log的收集,从而修改
代码;最后进行整体代码的压测。
内容 1、全程参与GlobalBuyer大数据平台策划、开发。负责平台底层数据和公司运营数据,帮助公司打
造GlobalBuyer大数据平台,成功上线。;
2、收集全司经营和运营数据,做好整理、定义、结构拆解,沉淀公司业务数据链路;
2、根据业务需求及分析路径,输出公司管理级数据日/周/月报;
4、通过数据分析,洞察业务关联性,根据各类数据结果及业务需求,提出运营解决方案,推动业务
落地,迭代优化过程;
5、与各中心有效沟通,确保业务开展过程中发生的突发性问题得到快速解决;
6、拉通数据埋点、数据获取、数据报表、数据分析、数据建模等数据相关工作链路,挖掘并验证数
据驱动能力;
通过海关数据定位全球采购商,再通过爬虫等大数据挖掘技术,自研接口等定位国外采购商的联系方式、工商信息,为国内供应商提供商机。
公司内部搭建的线上展览平台,负责采集国内的供应商数据和展品信息。数量级上亿。………………………………