ID:349941

落一 有团队

高级大数据研发工程师

  • 公司信息:
  • 北京金山云网络技术有限公司
  • 工作经验:
  • 10年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 可工作日远程
  • 所在区域:
  • 北京
  • 海淀

技术能力

1. 计算机科班出生,具备java后端研发、更具备大数据研发的多年一线实战经验
2. 在北京工作9年,有从0到1组建研发团队、有在大小各类型公司担任过重要岗位有能力按时按质完
成公司目标、有小型微服务更有大平台项目/技术积累经验
3. 担任过研发组长、项目经理、架构师、部门经理等岗位,拥有技术/管理/运维/良性沟通多方面的能
力,具备代码管理、进度把控、团队技术评审把控、提升团队战力的职业素养与才能
4. 在工作中有使用过丰富的技术栈,仅java方面就有涉及:ssh、springboot+mybatis、
springcloud+Eureka、springcloud+nacos、docker、k8s等多种框架体系
5. 在业务方面涉及:第三方/单点登陆、数据脱敏/接口加密传输、审计、审批流、跨服务事务调用、
性能限流、监控等复杂的业务场景
6. 大数据方面有7年实战经验,采集、数据中台、数据仓库、数据湖、各种场的离线/实时计算都有较高的架构/作战经验,在北京金山云公司做的主要也是大数据平台的研发工作

项目经验

***项目:金山云大数据云平台
主要工作内容:1. 打通kafka\hive\hbase等大数据组件kerberos认证相关的配置,实现在传统数据库与这些nosql数据库之间的数据传递前的认证、权限控制;2. 调研可嵌套兼容spark/flink两种sql引擎的即席查询的kyuubi开源组件,并修改源码以实现用户在sql窗口内任何输入SQL以适配两种引擎的SQL解析并实现yarn查询日志实时回显到UI界面;3. 在开源的ambari中集成hue组件并实现中文切换、支持连接spark引擎,并实现支持多环境的jenkins上进行构建rpm包
***项目:代维共享平台
主要工作内容:1. 搭建企业、平台、运维人员三方的微服务平台,采用springcloud+nacos配置注册服务、使用mybatis+plus、oauth2认证、数据脱敏、接口秘文传输、定时任务、订单实时处理推送等功能;2. 引入k8s云原生,调研并将公司多服务部署易扩展、容错高的自动容器编排
中,实现自动化部署/扩容;3. 基于开源审批流对接到公司的代维平台中,以支持企业方、平台方多个平台的复杂审批流程;4. 对项目日志进行收集存储、开发报错时快速定位问题的工具;5. 将动环告警数据采用flink2influxdb来存储多维告警数据与逻辑数据用以监控大屏动态灵活、查询提高性能并降低维护成本
***项目:采集平台
主要工作内容:1. 采用建spring-cloud框架,通过jsoup解析html来完成部分网站的配置化采集;2. 实现了多渠道数据
的统一采集、配置和预处理,采集LTS的分布式任何调度,集成了数据库、分布式文件系统等多种方式的统一存储,且采用storm实时引擎对监控采集数据进行预警,提供了根据业务场景灵活定义采集流程的能力

团队情况

  • 整包服务: 微信小程序开发   PC网站开发   H5网站开发   文档原型图   运维类开发   
角色 职位
负责人 高级大数据研发工程师
队员 产品经理
队员 安卓工程师
队员 前端工程师
队员 后端工程师

案例展示

  • 多环境ambari集成hue

    多环境ambari集成hue

    KDE集群是金山云自己基于开源大数据集群开发的一个集群管理平台。维护着hdfs、hive、hbase、spark等所有金山产品用到的大数据引擎/存储组件。hue也属于查询组件其中之一,但默认是不维护此组件的。我主要是基于开源ambari、hue组件进行改造源码以完成hue组件集成

  • aiops智能运维平台

    aiops智能运维平台

    为解决客户银行运维中心经常出现的运维问题,公司开发了该智能运维产品,以解决在性能\交易等发生 异常前能及时告警,并可快速定位问题所在。核心功能: 1. 通过 spark-streaming 收集监控平台监控的的性能、交易、告警等类型的数据, 根据模型进行加 载、转换、存储入

查看案例列表(含更多 0 个案例)

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服