使用java、scala、shell、python、js等开发语言,专于java开发
使用原生hadoop和cloudera hadoop搭建大数据平台
使用Spark、MapReduce、Strom等计算框架开发分布式离线和实时任务
使用kafka等分布式消息中间件
使用mysql、Oracle、hive、hbase、es等实现数据存储和查询,使用sql嵌套查询
使用mvc、ssh、ssm、spring boot等框架开发java程序
了解过基本的机器学习算法原理,能参与模型训练
能看懂英文官方文档、快速学习实现新技术
能使用阿里云ECS、阿里云MaxCompute、阿里云RDS等组件实现任务调度规划
能根据官方文档安装部署大数据软件
1、准实时数据平台,主要做的是cdh软件安装部署、spark streaming开发,spring boot开发,给平台用户提供技术支持
java代码,spark,flink,hbase,kafka,spring boot开发,可以做简单的页面
使用linux服务器,shell脚本、定时任务,sql数据查询,nosql数据复杂查询。代码优化。集群安装。