精通Spark体系架构,包括SparkCore,SparkSQL,SparkStreaming,SparkMLlib, spark的核心源代码
熟练掌握hadoop体系架构,深入理解HDFS、YARN以及MapReduce原理
掌握Hive和HBase的系统架构
熟练使用常见的日志处理框架flume, kafka, ES,
数据库:熟悉MySql数据库、NoSql数据库、Redis、hive、等;
熟练掌握Java、Scala编程
熟练使用Spring SSM,Spring boot 等Web开发框架和技术
--sparksql/hive离线数仓,kafka+sparkstreaming+hive/hbase/redis/mysql实时数仓
--springboot
项目主要功能是对交通流量进行监控, 实时获取车流量, 计算车辆行驶轨迹, 道路行车速度等, 通过BI显示数据. 使用kafka, hive, spark, hbase, mysql, redis, echarts
汽车租赁系统, 具有菜单管理,角色管理,用户管理,车辆管理,租赁管理,客户管理等功能. 使用最流行的spring boot架构