java、scala、sql等
Hadoop、Spark生态
实时数仓、Hive离线数仓、数据湖、湖仓一体
能够独立的搭建数据仓库
常用的OLAP,如impala、presto、clickhouse、kylin
SparkSQL、SparlStreaming、StructureStreaming
Delta lake数据湖搭建
Kafka、MQ、Flume等
Hue、echarts等数据可视化方案
SpringBoot,能独立支撑后端开发
大数据可视化大屏展示等
项目: 融合交通大数据疫情管控平台
项目描述:针对疫情期间车辆限流、危险车辆监控、轨迹分析、行驶预测等助力公安部打造疫情车辆管控平台
项目: 人脸大数据融合平台
项目描述: 负责安防人脸大数据抓拍数据的入库、清洗、建模后的数据查询、抓拍统计、比对、同行人、同乘人、 人车关系图谱等开发工作
新冠肺炎疫情分析系统,通过爬虫爬取疫情数据,实时录入疫情数仓 通过清晰过滤整合最后生成结果数据 通过SpringBoot+Echarts对疫情数据进行推送,展示 提供交互式应用,数据定期爬取,实时更新
能够熟练搭建CDH集群,Apache原生集群, 包括Hadoop生态、Spark生态等 能够独立搭建Hive离线数仓 能够独立的承担大数据从采集、etl、入库、分析、可视化等的开发, 能够整合大数据和后端的开发