猿急送>

武汉其它兼职程序员

ID：319363

Seven7Ya

大数据开发工程师

公司信息：
文思海辉科技有限公司

工作经验：
2年

兼职日薪：
500元/8小时

兼职时间：
可工作日远程

所在区域：
武汉
全区

技术能力

1、熟悉数仓建模，做过大型项目的数仓开发经验。
2、精通sql，做过很多复杂的sql指标运算，包括MR、spark作业调优。
3、熟悉bi工具，可以做报表展示。
4、熟悉spark，可以用spark计算指标。
5、熟悉python，掌握常用的python方法，负责过数据治理功能的开发，包括但不限于（数据产出监控，数据质量监控，hdfs和yarn运行资源的监控，自动化开发工具等）
6、掌握数据治理理论，包括元数据管理和数据管理，数据地图，数据血缘开发等。

项目经验

一、网盘核心数仓表全链路迭代
项目背景：出于公司降本指标，核心指标稳定性问题频发，故迭代升级历史核心任务链路（包括：sql 链路调优，spark 性能参数调优，表功能迭代）。
主要职责：
1、调研需要迭代的指标数量，分析各个计算链路存在问题，并设计优化方案。
2、优化上游调用表链路，拉取更合理的分区，以及 sql 调整减少 shuffle ，调整 spark 参数提高性能，并通过 sapark web 观察 stage 的实际产出效能，调整 executor 、core partition 数量，以及内存的大小等参数来提高效能，并尽量精确节约计算资源降低成本。
3、测试优化后的链路是否通路，并校验数据的准确性，并对比优化前后的成本和效能。
项目业绩：
1、提高了任务链路例行成功率，做到除系统故障外几乎0失败。
2、降低了计算资源成本35%，提高了计算效率20%。

二、网盘部门计算资源治理系统开发
背景:部门确少全局的资源和任务监管系统，很多队列存在资源浪费和作业不规范的情况，故，开发网盘队列资源和作业相关的监管系统，实现全局治理计算资源。
项目职责：个人开发
1、通过对队列资源信息的抓取，实现队列稳定性相关的监控。
2、通过一些策略对队列任务进行管控，保证队列资源的稳定性和规范性
3、提取队列上的作业的核心信息入库并通过可视化展示查询。（包括各个时间作业运行时间，是否触发报警，各个作业运行在哪个队列，消耗多少内存以及 core ，并统计资源占用 top榜，各个时间段的队列资源占比，以及各个时间各队列作业数量统计等相关维度展示）
项目业绩:
大盘上实现了网盘队列和作业的稳定性和规范性。
通过该监控系统，节约大盘计算资源成本 20%。
可以全盘监控和统计网盘运行作业的信息，对后续网盘业务链路迭代提供了数据基础。

三、网盘埋点数据用户pv uv 留存的全链路开发和可视化
1、协同 PM 确认数据口径和需求指标。
2、从数据库和埋点数据进行采集 etl 处理入 ods层。
3、对数据纬度进行加工聚合，行转列降维成 dws 层宽表，方便 ads 指标取数。
4、对各个埋点类型的用户（包括 tool、card 、资源位、小飞机、电商、push 等多渠道）进行分类统计展现 pv,uv 点击 pv，uv 和留存，留存率，ads 层指标。
5、将指标数据通过开发 shell 倒库脚本导入到数据库。
6、通过 bi 可视化展示收益指标