工作中主要以Java语言为主,对于主流的框架比较精通,具有良好的编码习惯和问题解决能力。而且,做的项目主要以大数据应用为主,对于大数据相关的知识有较深的理解和应用,例如hadoop、spark、hive、hbase等,在写spark相关代码时主要以Scala开发语言为主。此外,工作中会自己搭建和部署服务,对shell和python语言也具有一定的功底,以及对docker和ansible等部署工具能够熟练的使用。在3年多的工作中,也担任过公司产品项目研发的负责人,对于人员的沟通、需求的理解以及项目全局的把控都有相应的经验。
数据可视化项目:后端主要难点在于不同数据库下、不同图表类型,在选择不同字段时,如何获取相应的数据,并方便前端获取和解析。
数据分析项目:基于大数据平台做的上层应用,该项目涉及到hadoop/hive/hbase/sqoop/kylin等,通过串通以上应用,并保证系统能够满足使用和性能方面要求。
中国银行技术支持:目前主要为中国银行做了微服务框架调优、k8s集群搭建、内部大数据运维平台解决方案的编辑以及大数据基于不同存储格式的性能对比
数据资源管理平台:基于大数据平台实现对数据的采集、清洗、开发以及共享,实现数据全生命周期的管理。主要包括数据集成、数据资产、数据处理、标准管理、质量管理、数据共享等核心功能。
数据探查工具:通过数据探查工具,对关系型数据库数据进行摸排,了解所拥有数据的情况,为数据治理工作提供支持。
角色 | 职位 |
负责人 | 高级Java开发工程师、大数据工程师 |
队员 | iOS工程师 |
队员 | 前端工程师 |
队员 | 后端工程师 |
描述:一款基于浏览器的可视化平台,主要包括用户管理、项目管理、添加数据源、可视化编辑、管理驾驶舱几大模块,能够便捷的对文本类型数据、关系型数据库数据以及部分大数据库数据进行可视化展示,并基于驾驶舱实现对可视化图表的管理和展示,提高业务人员的工作效率,提升管理者决策能力。 职责:
描述:此项目是一款基于大数据的分析平台,平台主要包括用户管理、数据对接、项目管理、 数 据分析(多维分析和算法分析)、任务监控以及数据查询模块。平台支持文本数据、数据 库数据 的对接,供多维分析和算法分析功能,通过构建数据模型和数据立方体,对原始 数据进行预计算,并把计算结果保
项目描述:该项目是接收焊机设备采集的数据,然后对数据进行处理,然后在页面中实时显示解析后的数据。当前阶段,每台设备每秒会上传一条数据,当前总共有100台设备。为了保证项目的实时性与可扩展性,使用微服务架构将数据接收、数据处理和系统基础应用划分为三个微服务,提高项目的扩展性。最终能