熟悉JAVA语言,了解数据挖掘算法,了解Hadoop分布式框架、Hive数据仓库
熟悉Linux开发环境,了解Shell常用命令和Vim文本编辑器
熟悉Python语言,曾参与MindSpore机器学习框架开发,熟悉常见的机器学习框架的使用
项目经验
日志迁移KAFKA
责任描述:开发、测试
项目简介:为解决因Hadoop集群维护(重启NameNode)导致日志文件上传HDFS失败问题,实现日志上传HDFS自动化。将日志文件迁移至KAFKA集群,利用KAFKA集群高性能的分布式发布订阅消息特性,实现实时日志收集和离线数据分析处理。
效果转化数据
责任描述:开发、维护
项目简介:为观察广告投放带来的效果情况,从全站订单和全站浏览中将带有特殊标记的订单记录和浏览日志提取出来,经过加工处理,统计PV、UV、GMV、订单量、订单金额等维度数据,以此为依据对广告投放效果进行评估,从而对广告投放方式和投放量进行优化和调整。
App消息推送
责任描述:详细设计
项目简介:基于上游提供的App消息推送日志,对日志进行加工处理生成hive表,从hive表中统计出广告主感兴趣的多个维度数据,通过特定的接口提供给下游使用。
参与开发MindSpore机器学习框架,熟练掌握pytorch和Mindspore机器学习框架的使用
参与FusionInsight产品开发,包括大数据处理产品Strom、Kafka、Hadoop等产品