1. 熟悉Java开发语言,sql应用语法,熟悉Linux常用命令及shell脚本
2. 具备 CDH 集群搭建经验及 Kafka 监控工具搭建经验
3. 熟悉Hadoop 生态,熟悉Mapper/Reduce 原理,了解hdfs 、yarn 原理
4. 熟悉 Hive 、Kafka 、Flink 、HBase 等大数据计算存储组件
5. 熟悉 Oracle 、Mysql 等关系型数据库,熟悉impala+hive查询语法及后台常用命令,熟悉PLSQL,dbeaver等工具
6. 了解SpringMVC 、Spr ing 、MyBatis等开源框架以及SpringBoot集成开发
7. 了解dubbox+zookeeper 、Spring Cloud 分布式存储引擎
某国有企业-大数据平台数据管理及数据共享服务系统
本项目将依托某财务有限公司(以下简称“公司”)新一代核心业务系统建设项目,实现数据标准落标,旨在打造“架构统一、业务全面、数据贯标”的企业级数据平台,该公司项目统一整合各个分公司各类数据 ,形成统一的数据平台,在此基础上建设各类数据应用及数据服务。集成的数据 包括 核心系统,保理系统,资管系统,信管系统,风险系统等。为满足客户运监大屏展示需求,由行业大牛带领进行规划设计该公司级大数据平台-实时数据架构。
涉及技术:Airflow+Sqoop+CDH+Impala+Smartbi
Ogg+Kafka+Flink+Hive+Hbase