猿急送>

上海后端兼职程序员

ID：171888

STXxx

大数据开发工程师

公司信息：
乐推传媒

工作经验：
5年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日

所在区域：
上海
徐汇

技术能力

1. 掌握Scala。Java开发语言，并进行熟练编程
2. 熟悉spark1.0及spark2.0的框架底层原理并熟练使用spark处理大数据相关内容，对spark集群调优有一定心得
3. 熟悉Hadoop1.0及2.0以及周边生态圈技术的底层原理和架构
4. 熟悉hbase底层原理和架构及优化与维护，熟练使用该库处理非结构化数据存储及检索
5. 熟练掌握和使用hive做数据分析
6. 熟练使用elasticsearch做数据存储和索引查询和数据检索
7. 掌握OLAP引擎kylin的底层原理和框架
8. 熟练使用Mysql，Mongodb等大中型主流关系型与非关系型数据库，并熟悉基本原理和相关维护
9. 熟悉Kafka，flume基本原理和架构，并做数据采集和流向操作
10. 熟练操作Linux命令以及熟练使用shell脚本

项目经验

Nexus智能客户数据平台 2018.03-至今
项目架构：cdh5+SPARK+AKKA+SCALA+HIVE+HBASE+ElacticSearch+SQOOP+MYSQL
项目描述：一个企业级客户数据平台，通过多渠道打通数据源实现数据收集和大型数据集的处理，到运行高级分析，最终将洞察变为营销活动，服务客户包括Starbucks，Maserati，MK，饿了么等等
项目指责：1.集群环境搭建 2.数据源接入 3.接口及各个核心功能点设计 4.spark核心功能开发与集群的优化 5.项目后期优化维护等等

数据分析平台
2017.08 – 2018.01
项目架构：cdh5+SPARK+SCALA+HIVE+HBASE+MongoDB+KYLIN
项目描述：为公司提供数据展示化支持，通过前后端接口对接，实现决策层提供方便的数据展示。
项目职责：1.集群环境搭建1.数据库设计2.数据迁移和入库hive，hbase 3.数据清洗4.olap分析kylin接口设计5.项目后期优化和服务维护

智能大数据平台
2017.01 - 2017.07
项目架构：Ambari+HADOOP+ZOOKEEPER+HIVE+KYLIN
项目描述：一款基于开源管理框架ambari的适用于海量数据存储和计算的大数据平台，用户通过此平台可以更方便的安装软件，配置，启动，停止和监控服务和管理集群，通过不断添加集成当下业界流行的组件进来使其功能更强大。
项目职责：1.对kylin的前期调研和集成架构设计。2.核心功能及脚本的实现。3.项目后期的测试调优

棱镜系统
2016.09 – 2016.12
项目架构：SPARK+HADOOP+HBASE+ElasticSearch +KAFKA+KeepAlived
项目描述：棱镜系统主要服务于国内股票金融领域，是一个综合股市行情，实时媒体舆情，实时互联网用户金融行为大数据交叉分析并预测股票趋势系统，且通过API、Socket WEB、APP等方式实时输出，自主研发的金融舆情监控国内首个基于全网用户行为的系统。
项目职责： 1.实时数据批量插入es 2.核心功能热词报警的实现 3.测试spark集群并将产品上线 4.产品上线后的优化与维护

GA网站监测
2016.03 - 2016.7
项目架构：FLUME+SPARK+HBASE+HIVE+BOS存储服务
项目描述：类似于GA(Google Analytics)的一个网站提供的数据统计服务的检测系统。可以对目标网站进行访问数据的统计和分析，主要是对网站统计,流量,广告效果,用户体验,以及营销获得的效果的分析，可以让网站的推广方向更加的明确。
项目职责： 1.源数据的收集与入库 2.项目核心功能的开发 3.hbase数据库与spark集群的调优 4.项目上线后期的维护

Search Retargeting(搜索再营销)
2015.10 - 2016.01
项目架构：FLUME+HBASE+HIVE+SPARK+BLS集群服务
项目描述：精准定位搜索过目标关键词的用户群体，通过DSP程序化购买渠道针对目标用户进行再营销，以此带来更高的投资回报率。
项目职责： 1.Flume收集源数据及各个数据源的处理流程 2.Hbase数据库的调优 3.与第三方(百度)进行技术沟通交流 4.产品上线后的维护工作

魔方
2015.04 - 2015.06
项目描述：魔方项目是一款基于数据挖掘的推荐引擎产品，基于运营商通道优势，跨渠道、跨设备追踪、分析构建全网全维度的自然人用户，并为用户推荐有价值的、个性化的信息，提供连接人与信息、人与人的新型服务.
项目职责： 1.将数据导入hive数据库并分区 2.根据大量网站的URL提取用户信息 3.进行动态用户画像分析

日志安全审计系统
2015.01 - 2015.03
项目架构： AJAX+FUSIONCHART+SPRING MVC+FLUME-NG+HBASE + PHOENIX+HADOOP
项目描述：日志采集分析系统主要针对企业服务器，应用系统日志以及应用系统数据库操作日志数据采集与分析，帮助信息管理员检测系统运行是否符合安全策略，还可以为管理员提供系统在出现故障和安全事故时提供情报，直至分析定位事件的根源。根据大量日志信息通过分析挖掘手段为公司管理者提供决策手段。主要功能有：图表展示，用户行为分析，预警功能，菜单管理，数据管理等，日志原始文件存储，搜索。
项目职责： 1.参与日志项目需求，和解决方案谈论 2.设计各个数据源的数据处

案例展示

CDP客户数据平台

一个企业级客户数据平台，通过多渠道打通数据源实现数据收集和大型数据集的处理，到运行高级分析，最终将洞察变为营销活动，服务客户包括Starbucks，Maserati，MK，饿了么等等
CDP数据平台

一个企业级客户数据平台，通过多渠道打通数据源实现数据收集和大型数据集的处理，到运行高级分析，最终将洞察变为营销活动，服务客户包括Starbucks，Maserati，MK，饿了么等等