熟悉Linux 开发环境,能够使用 Java、Scala、Shell 进行项目开发。
熟悉Hadoop 的相关原理、工作流程、HDFS读写流程以及 Hadoop 的生态组件。
熟悉Hive的基本架构,能够熟练使用HQL对数据进行分析,熟悉Hive的常见函数、窗口函数和自定义函数的使用。
熟悉Flink实时计算框架,理解Flink的时间语义与Watermark、状态编程、CEP及容错机制等相关原理。
熟练掌握Java基础、熟练使用Spring/SpringMVC/MybatisPlus等常见的开发框架。
熟练掌握SpringBoot、SpringCloud等微服务开发技术,。
熟悉 Spring 的 IOC和 AOP 思想、SpringMVC 的核心执行流程和 Mybatis 的动态SQL 语句。
熟悉Kafka的基本架构、集群部署以及参数优化,有Kafka处理实时数据的经验。
能够使用Flume搭建日志采集系统,熟悉Flume的三大组件。
熟悉使用Mysql、Hbase、ClickHouse 等常用数据库的使用。
熟练掌握使用Sugar,QuickBI,Superset等可视化工具对数据进行展示。
能够使用Redis数据缓存技术对数据进行存储和查询。
能够使用Azkaban,DolphinSchedulerd 和Airflow等调度工具实现Job的定时调度。
能够使用Sqoop/Datax进行HDFS与MySQL之间的导入导出。
了解并且掌握Canal/Maxwell的原理以及在实际场景的应用。
了解数据仓库建设理论、维度建模理论,并有实际应用经验。
1 公司的离线数仓搭建调度 及报表可视化输出。
2 实时数仓的搭建。
3 后台管理系统的开发。
3 商城系统开发包括订单模块,商品模块,导入导出功能等,。