1.熟悉 oracle、mysql 关系型数据库
2.熟悉 Hbase 数据库,熟练使用客户端进行数据操作
3.熟悉 kafka+flink+clickhouse/mysql 流式架构开发
4.会使用 Spark-Streaming 实时计算过滤、清洗数据 Spark-sql 分析数据
5.熟悉 hadoop 生态圈
6.熟用 java。可以使用 SSM,springboot 进行 web 应用开发,
7.熟悉 shell,可以使用 shell 脚本建设平台自动化及监控
8.熟悉 dataworks 平台
项目: 大数据项目
实时统计pu,pv,离线统计pu,pv等各种报表,在dataworks上定制化开发
shell 可开发部署脚本,部署监控
项目: java项目
审批流的前后端代码实现
定时任务管理页面前后代码开发,定时清理服务器数据,发送邮件
系统表数据维护
shell代码片段,获取impala元数据导出文件用md5值进行对比监控元数据变化。flink实例代码片段
shell代码片段,获取impala元数据导出文件md5值对比元数据监控元数据变化,flink代码片段。