猿急送>

北京后端兼职程序员

ID：280148

wangxq

高级大数据分析师

公司信息：
亚信科技

工作经验：
6年

兼职日薪：
600元/8小时

兼职时间：
下班后
周六
周日

所在区域：
北京
海淀

技术能力

1.熟悉Linux操作系统以及各项基本操作
2.熟悉使用hive、GreenPlum、mysql、oracle、mongodb、clickhouse、hbase、redis数据库产品
3.有良好shell、python、Tcl脚本编写能力
4.熟悉HiveSql执行语句优化和参数调优
5.熟悉hadoop系统的hdfs、yarn、zookeeper及kafka、flume等生态圈环境
6.熟悉linux+tomcate部署项目

项目经验

项目一：某省大数据精准营销分析
项目描述：
基于中国移动大云平台构建互联网数据分析，对用户上网行为进行深度分析，挖掘用户深度需求进行流量以及内容推荐做精准营销，实现增量拉动，存量维稳的客户目标。平台主要以处理互联网内容的行为分析为主，识别用户的生活轨迹和上网偏好，进而得到用户基于移动互联网行为分享为数据部精准营销提供数据依据。
责任描述：
1.设计和开发互联网应用服务分析模型：用户画像、用户上网流量释疑、金融服务验真等应用模型
2.负责需求分析、模型设计、语料收集、程序开发、数据稽核等
3.负责验证和分析互联网数据的特征，提供分类策略
4.负责服务内容标签管理、用户群体分析特征提取等多个模块功能设计开发落地
5.构建数据治理自动检查报告体系，定期检查不符合规范的开发模型和程序，及时修正并完善数据质量
6.选用hive处理数据汇总计算、hbase存储结果数据，构建快速查询接口表，快速输出用户上网日志查询数据，提高客服回复及时性，提高客户满意度
7.外部厂家接口对接联调，及时发现和定位厂家部署的各种模型处理程序的报错，快速处理故障问题，保障数据处理流程及时恢复正常状态。

项目二：大数据平台业务升级迁移项目
项目描述：
伴随着23G网络升级4G网络，用户上网日志数据骤增、以及营销变现业务需求增多，导致原有系统常有超负荷运行，造成资源紧张。原有集群扩容也不能有效缓解，因此需要升级部署新的大数据集群平台。为实现跨平台业务对接，根据相应需求，对用户上网行为日志、用户位置轨迹、传统经分模型进行分主题分域存储，制定相应模型，并将数据汇总沉淀结果同步前台库表进行变现，并对精准营销业务需求提供数据支撑等。
责任描述：
1.完成新机群大数据平台程序运行环境测试，以及hdfs、zookeeper、hive、hbase系统功能验证；
2.确定两平台数据同步方案，数据同步脚本的开发测试；
3.华为BDI调度工具的功能测试；
4.梳理程序以及数据迁移表，并完成调度流程上线、数据的同步工作；
5.制定数据仓库开发规范，完成数据治理标准化。