猿急送>

北京Java兼职程序员

ID：333977

东海|博爱分享

大数据开发专家/高级开发工程师

公司信息：
用友网络科技股份有限公司

工作经验：
11年

兼职日薪：
1200元/8小时

兼职时间：
可工作日驻场（离职原因）

所在区域：
北京
海淀

技术能力

技能标签
Hive,MapReduce,SparkCore,SparkSQL,SparkStreaming,Flink;
HDFS,Kafka,HBase,Redis;
Flume,DataX,YARN,Zookeeper,Azkaban;
Scala,CDH,Linux,Shell,Maven,Git;
JavaSE：异常机制,集合容器,IO 流,并发编程,网络编程,反射,函数式编程
数据结构：栈结构,链表结构(单项/双向链表),树形结构(二/多叉树)

1. 熟悉掌握 Hive,MapReduce,SparkSql,SparkStreming,Flink 分布式计算框架原理和研发；
2. 熟悉掌握 HDFS,Kafka,HBase,Redis 分布式存储框架原理和研发；
3. 熟悉掌握 Flume,DataX,YARN,Zookeeper,Azkaban 数据传输/资源管理/协调/调度原理和研发；
4. 熟悉掌握 Scala,CDH,Linux,Shell,Maven,Git 等基础性技术原理于研发；
5. 拥有扎实 JavaSE 原理实践：异常/集合/IO/并发编程/网络编程/反射/函数式编程；
6. 熟悉数据结构原理实践：栈/队列/链表/树；并熟悉传统 J2EE/WEB 项目开发；

项目经验

一、用友云平台数据中台数据工场项目
从 0 到 1 建设：
1.完成关系模型模块后端建设，支持：达梦、 GreenPlum、 Hive1/2/3、 Impala、星环、人
大金仓、 Matrix、 Mysql、 Oracle、 Oscr、 OscarMpp、 PostgreSql、 SapHana 13 种引擎
逻辑模型与物理模型相互转换与物化查询服务。
2.完成基于策略模式的各引擎 DDL 物化组件、 DQL 查询组件设计与研发并维护。
3.完成基于策略模式的逻辑模型转物理模型组件设计与研发并维护。
4.完成关系模型应用服务后端接口设计研发与维护。

二、用友客户成功智能运营中台项目
从 0 到 1 建设：
1. 完成客户成功 YCSInsight 大数据平台(CDH)设计与搭建并维护；
2. 完成异构数据源端到端传输通道建设(DataX)，并维护和优化；
3. 客户成功指标体系研发建设(活跃指标、 KPI 指标、运营指标等)
4. 创新组合： Azkaban+Shell+Python+DataX 优化提升数据共享与服务能力
5. 建设基于 IUAP5.0 数据中台：数据移动+数据工场+数据湖+智能分析的研发闭环流程；落地活跃报表线上化等业务；
6. 探索应用 DataGrip+Git 实现异构据源元数据的统一管理、研发效率提升，数仓体系共享与交流的便捷性实现大幅提升；
7. 创新优化数据指标底层数仓体系建设管理(活跃健康分[U8C,电子发票]、 KPI 指标等)

三、好多书-自然人模型和Spark 重构 Python 版电商分模型项目
职责：
1. 负责好多数金融业务相关数据项目的设计、研发和优化;
2. 构建离线/定时数据处理框架、流程和功能；
3. 为业务功能需求/产品设计/运营提供有力支持；
代表性业绩：
1. 负责自然人模型、自然人订单模型、电商归属模型、失联修复模型基础数据项目的设计、
研发和优化;
2. 负责定时整合离线数据入 Hive 库、构建增量业务数据表、业务 Hbase 表增量更新;
3. 在联合建模业务中给合作伙伴 AFU、 CCX 等建模任务提供有力支持；
4. 研发全网 15 亿电商地址文本经纬度化作业流程及增量更新功能;
5. 负责高净值地址库、异常号库数据项目的设计、研发和优化;
6. 提炼共通任务封装 Spark 任务提交、多任务依赖控制、执行日志备份于一体的工具性
shell 脚本模块;
7. 针对小型数据需求多且迭代快，若单独开发 Job 响应慢问题，开拓 Scala 脚本式编程
高效响应小型数据需求任务；

案例展示

用友云平台数据中台数据工场

数据中台是为融合企业数据打破数据孤岛，把 CRM,ERP,OA 等数据进行汇聚加工，最后通过数据+算法产生商业创新；分 3 层，底层引擎层构建存储、计算和调度等能力；中间工具层由智能分析/数据工场/智能搜素组成；数据工场负责数据同步、加工处理、资产管理 3 大业务；
用友客户成功智能运营中台

用友客户成功智能运营中台是为实现用友云客户全生命周期运营管理，而建设的 YCSInsight 用友客户成功智能运营中台，用以掌握公司云业务核心经营指标，跟踪客户 360 度信息，管理客户成功关键经营过程；同时，建立客户触点，洞察客户评价与反馈，以持续优化产品和服务平台。