猿急送>

上海运维兼职程序员

ID：196197

仓皇

大数据运维经理

公司信息：
上海艾瑞咨询有限公司

工作经验：
6年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
上海
杨浦

技术能力

1、熟悉HIVE/HDFS/YARN/SPARK/HUE/IMPALA/KYLIN/SQOOP/ALLUXIO（TACHYON）；
2、熟练搭建/维护linux系统各类服务；
3、熟练搭建/维护Hadoop集群生态圈（Ambari/CDH），集群调优；
4、熟练搭建/维护GP（Greenplum）集群，集群调优；
5、熟练掌握集群资源/权限控制；
6、精通Shell；
7、熟练掌握Kettle等ETL工具。

项目经验

2017.10-2019.9 悟空洞察
项目描述：移动互联网洞察平台，其中包括自动化智能调研、推荐净值、概念测试、名称测试、广告效果追踪、品牌健康追踪。
个人职责： 1. 短信队列开发；
2. 全套环境部署：Node.js前端+PM2托管+Nginx反向代理+PHP后端+Redis缓存+Mysql信息数据+MongoDB主要数据+Flask分析引擎；
3. 推送引擎开发，基于gitlab+runner实现持续集成。

2017.10-2019.9 谛听
项目描述：直接指导决策的商业洞察平台，其中包括品牌竞争表现、行业分析、营销效果监测、电商竞价分析、消费者画像、媒体营销渠道分析。
个人职责： 1. 数据清洗、转化、打标签等ETL工作；
2. 指标算法开发；
3. 计算引擎调度开发；
4. 推送引擎开发；
5. Hadoop大数据平台搭建/自动化监控/调优。

2017.01-2019.9大数据平台路由仓库
项目描述：路由数据，用户行为分析。
个人职责： 1、基于Centos服务器搭建hadoop大数据平台集群，环境搭建采用CDH，200个节点；
2、基于Centos服务器搭建GP集群，100个节点；
3、脚本编写；
4、Spark开发及调优。
5、任务调度后端引擎开发。
6、任务接口封装开发。
7、集群资源管理、权限控制/分配。
8、ETL设计开发。
9、OS维护及各类服务优化。
10、Hadoop大数据平台搭建/自动化监控/调优。

2016.02-2016.08 中国银联（银联钱包）DMP（一期/二期）
项目描述：银联钱包APP，用户行为分析。
个人职责： 1、基于Suse离线服务器的搭建hadoop大数据平台集群，环境搭建采用cloudera manager；
2、集群资源/权限控制；
3、shell脚本开发；
4、Hive Sql编写；
5、数据分析；
6、BI设计；
7、调度引擎开发；
8、ETL设计开发；
9、日志分析。

2015.10-2016.07 华为（用户设备使用助手）DMP（一期/二期）
项目描述：华为售后论坛，用户画像分析。
个人职责： 1、基于Redhat离线服务器搭建hadoop大数据平台集群，环境搭建采用cloudera manager；
2、脚本编写；
3、Spark开发及调优。
4、任务调度后端引擎开发。
5、任务接口封装开发。
6、集群资源管理、权限控制/分配。
7、ETL设计开发。
8、OS维护及各类服务优化。
9、Hadoop大数据平台搭建/自动化监控/调优。

2015.05-2016.12 中国电信DMP（一期/二期）
项目描述：中国电信，用户行为分析。
个人职责： 1、基于Centos服务器搭建hadoop大数据平台集群，环境搭建采用ambari，200个节点；
2、SPARK SQL编写/调优；
3、数据分析；
4、脚本编写；
5、ETL设计开发。

2015.01-2015.04 中国移动DMP
项目描述：中国移动，用户行为分析。
个人职责： 1、基于Centos离线服务器，搭建web环境，采用源码LNMP；
2、安全合规率整改，漏洞修复；
3、后端开发；
4、监控引擎开发；
5、DBA。

案例展示

毕方-基于Samba控制交叉复杂权限

与传统的解决方案相比，本发明在传统的跨平台资源共享服务的基础上增加了访问控制列表技术，克服现有技术中存在的无法简单地管理复杂交叉权限。另外，实际使用中真实存在的短板和弊端通过本发明的实现也迎刃而解。一方面保证用户权限的高复杂度规则，另一方面兼顾易用性，使用户通过简单的操作就能进行
大数据CDH安全管理

1、基于Centos服务器搭建hadoop大数据平台集群，环境搭建采用CDH，200个节点； 2、基于Centos服务器搭建GP集群，100个节点； 3、脚本编写； 4、Spark开发及调优。 5、任务调度后端引擎开发。 6、任务接口封装开发。 7、集群资源管理、权限