精通java,springcloud,springboot等;
熟练掌握hadoop生态搭建;分布式存储和数据库技术ElasticSearch/Hbase/starrocks/doris/Presto/Mysql等。
熟练使用IDEA、Git、Maven、Jenkins、Docker等IDE和构建工具,有Devops的实际经验。
熟练掌握高可用、高并发、高性能的分布式系统的设计及应用。
项目1 、数据中台 Java大数据高级开发
项目描述:数据中台基于Hadoop生态和Flink计算引擎构建批流一体化实时数仓,打造一站式大数据分析平台。通过数据中台的数据汇聚、数据开发模块建立企业数据资产。通过资产管理与治理、数据服务把数据资产变为数据服务能力,服务于企业业务。支撑企业业务创新,随时随地透视经营,辅助企业科学决策,加速企业数据驱动转型变革。
主要模块:数据治理平台、ETL采集服务平台、离线/实时开发IDE、数仓模型设计中心、资源调度平台、统一数据服务发布和订阅平台、安全管理等。
项目职责:
个人负责:大数据中台整体架构设计,相关设计文档编写,核心功能的开发。
参与协助:参与研究大数据技术应用解决方案等,解决海量数据实时计算问题。
技术应用:
数据采集:采用Flinkx的源码改写,可插件形式开发,支持多Source和Sink。
数据计算:采用Spark/Flink流批一体化,计算离线实时数据。
调度平台:采用Dolphinschedule实现工作流任务调度,支持简单拖拉拽即可实现复杂多种任务类型的调度。
数据存储:采用Kafka、Kudu+Impala存储实时数据,Hive+Presto存储离线数据。
服务框架:采用SpringCloud微服务框架,Nacos注册中心,实现零代码,可配置化API接口服务开发
项目2 、数据灯塔 Java大数据开发
项目描述:该平台整合顺丰物流营运各环节异常监控点,摆脱现有问题:调度对异常监控和决策(通过各个单环节
项目描述:数据灯塔充分运用大数据计算与分析技术,融合了顺丰科技内部自有20余年物流领域持续积累海量数据。
基于此大数据进行多维度深层次高精度的专业分析,以及通过快递实时直播、监控快件状态、预警分析、仓储分析、消费者画像研究、行业对比分析、供应链分析、智慧商圈、智慧云仓、促销作战室等数据清洗、整合、洞察与分析,为商户提供分行业分场景的一站式咨询、分析、营销和运营服务的专业解决方案,目前已经覆盖生鲜、食品、3C、服装等多个行业。
主要模块:灯塔物流、灯塔商业和行业解决方案、灯塔大屏、分仓模拟、定制数据等。
项目职责:
个人负责:负责大数据实时计算平台搭建开发和维护;实时计算模块、接口开发,编写接口相关文档。
参与协助:参与研究大数据技术应用解决方案等。
技术应用:
数据计算:数据计算层(采用Kafka、Flink实时计算分析);历史数据(采用sparksql 离线数据处理分析)。
数据存储:采用Elasticsearch、Hbase、Mysql、Hive、Redis等数据库。
服务框架:应用服务层采用springcloud+vuejs框架。
角色 | 职位 |
负责人 | Java大数据高级工程师 |
队员 | 后端工程师 |
数据丰景台是数据可视化分析工具,帮助用户快速分析数据并洞察业务趋势,从而实现业务的改进与优化。支持丰富的数据源连接,能够通过拖拉拽方式快速制作图表,并可以方便的与他人分享,框架采用springcloud+mysql,经过flink实时计算推送到starrocks、mysql,丰景
数据中台是依托领先大数据技术的混合云数据湖产品,通过存算分离和极致弹性帮助客户实现多云数据湖统一管理、大数据存算资源的极致弹性;同时提供跨云大数据数据工场能力,支持跨云数据集成、跨云数据开发、跨云数据资产管理等数据全链路能力,助力客户打造混合云场景下的数据湖