熟悉 Hadoop⽣态系统,数仓构建,ELK日志分析系统
开发语言方面熟悉 Scala,Python语言
算法方面熟悉 聚类,TF-IDF等算法
其他脚本语言熟悉HiveSql,SparkSql ,MySql,Linux,Shell
项目一:广告平台数据增长研发
⼀:项⽬背景 围绕公司⼴告业务产品做数据研发,客⼾可根据时间,媒体账⼾,曝光与点击次数等功能圈选出特 定⼈群做⼴告投放与后期数据分析。
⼆:项⽬实施
与产品沟通数据业务逻辑,与后端协调定义返回json数据结构,与测试完成数据的测试及最终的功 能上线,做数据调度维护数据接⼝稳定性 三:主要职责 1、编写scala完成底层数据逻辑,使⽤python-flask创建回调接⼝打通后端数据接⼝服务,基于 linux系统编写shell脚本,返回计算成功与失败做任务告警; 2、完成底层数据源的计算,存储与调度的资源分配; 3、数据功能的服务与后期维护
项目二:ELK实时⽇志分析系统项⽬实施
项⽬背景:针对公司⽇渐增⻓的实时⽇志数据对订单数据进⾏分析与数据告警,解决败单率问题及 针对订单流程问题提供可视化分析窗⼝
项⽬职责:
1、与产品,运营协作确定数据需求;
2、项⽬实施,设计并构建数据仓库模型,使⽤logstash进⾏数据的采集,清洗,python进⾏数据 业务的逻辑处理,Elasticsearch作为存储数据库达到实时数据的传输;
3、需求可视化,利⽤kibana实现数据可视化,针对产品⽅与研发⽅设置不同可视化窗⼝,提⾼对 数据的理解。