负责过大数据项目环境搭建及维护,擅长大数据项目数据清洗和相关管理平台开发,spark,hive,kafka,es,mongodb等大数据组件都熟悉,,做过银行项目,主持开发过数据中台,熟悉数据中台开发过程,做过粉丝运营数据分析,为公司的提效降本提供了数据支撑。
通过对标签系统和粉丝运营活动的有效运作,2020年间对公司业务提供了巨大帮助,公司所有公众号粉丝总数增长了250W,年利润增加了300W元,并有继续向上发展的趋势。
● 负责spark任务开发:流量数据统计,日志范式化处理、关联告警匹配处理; ● 负责离线ETL任务的开发和维护:kafka数据同步ES和postgresql,等保检测文件分析入库,威胁 情报获取和匹配http流量数据产生告警事件; ● 参与系统维护、调优与监控; ●
某银行自研平台针对用户日活、用户留存、活动参与度、优惠券领取及核销、各分行补贴金额等数据分析报表系统。